既然完成了安装,你要做的无非就两样:
1. 数据存在哪?
2. 怎么计算处理数据?
对于前者,你可以使用hbase或者hive作为数据存储,当然你也可以使用hadoop自己的分布式存储系统hdfs,不过hbase和hive可以提供给你数据库类的结构存储,更方便操作。
对于后者,你可以使用hadoop自己的计算框架Map-Reduce,这里无所谓数据存储在哪,你可以使用MR计算处理离线数据;如果使用hive,也可以使用hive的hql直接以sql方式进行统计计算离线数据线;也可以使用storm等处理实时数据流。当然以上几种计算,用Spark一样可以处理,这也是一个相当于MR这个等级的计算框架。
1、首先启动hadoop集群,查看你的进程是否都启动起来
3884 jps
1776 resourcemanager
1613 secondarynamenode
1872 nodemanager
1467 datanode
1377 namenode
2、然后创建一个目录,比如 /djt ,然后上传一个文件djt.txt到该目录下
如果上面步骤都正常,代表hadoop伪分布集群安装成功!
热门文章更多>>
标签更多>>
专题更多>>
最新文章更多>>
- 团队城市未满足要求:MSBuildTools12.0_x86_Path 存在
- 使用 MSBuild.exe 在发布模式下构建 C# 解决方案
- 当我发布 Web 应用程序时,AfterPublish 脚本不运行
- 构建时 T4 转换的产品仅在下一个构建中使用
- ASP.NET Core Application (.NET Framework) for Windows x64 only error in project.assets.json
- 新的 .csproj 格式 - 如何将整个目录指定为“链接文件"到子目录?
- 如何将条件编译符号(DefineConstants)传递给 msbuild
- MSBuild 支持 Visual Studio 2017 RTM 中的 T4 模板
- NuGet 包还原找不到包,没有源
- 使用 C# 6.0 功能运行 TFS 构建
一叶知秋8230477