Hadoop OpenStack
返回首页
当前位置: 主页 > 云计算大数据 > Hadoop >
  • [Hadoop] 大数据架构hadoop初体验 日期:2017-09-23 14:45:57 点击:172 好评:0

    前言 hadoop已经不算新技术了,只是我在实际项目中一直没有太好的机会应用,主要受限于数据量不够大、团队资源紧张、公司成本控制等原因。对此我一直觉得很遗(落)憾(伍),一个不熟悉大数据的CTO不是一个好的将军,于是乎抽时间近期实际操练了下hadoop的基本...

  • [Hadoop] CentOS7系统虚拟机,搭建Hadoop+Spark的全过程 日期:2017-07-22 14:44:03 点击:119 好评:0

    CentOS最小化安装 注:这一part基本没什么难度,简单叙述下就略过。 访问CentOS官网,选择DVD ISO,下载CentOS-7-x86_64-DVD-1511.iso。 在VMware中创建虚拟机,安装CentOS7,选择Minimal ISO安装。 安装过程中,设置root用户的密码,并新建一个管理员用户hadoo...

  • [Hadoop] 如何启动AM并申请和分配资源 日期:2017-07-16 11:03:03 点击:68 好评:0

    1、如何申请资源 1.1 如何启动AM并申请资源 1.1.1 如何启动AM val yarnClient = YarnClient.createYarnClient setupCredentials yarnClient.init(yarnConf) yarnClient.start // Get a new application from our RM val newApp = yarnClient.createApplica...

  • [Hadoop] 如何使用hadoop mapreduce 日期:2017-07-16 09:50:54 点击:145 好评:0

    最简单的MapReduce应用程序至少包含3个部分:一个Map函数、一个Reduce函数和一个main函数。main 函数将作业控制和文件输入/输出结合起来。在这点上,Hadoop提供了大量的接口和抽象类,从而为Hadoop应用程序开发人员提供许多工具,可用于调试和性能度量等。 M...

  • [Hadoop] hive的常用操作 日期:2017-07-16 09:48:25 点击:153 好评:0

    机器学习和人工智能越发越热,大数据的浪潮越掀越高。随着数据量的增大,传统的关系型数据库已经无法满足当前的计算要求,进而转型数据集群,分布式并发处理,在提高计算效率的同时也加大了存储容量。 在大数据的前景下,hive无疑是数据仓库的最佳选择之一,...

  • [Hadoop] hadoop中访问hdfs文件系统的方法 日期:2017-07-14 15:44:31 点击:74 好评:0

    1.Configuration 配置对象,加载配置文件。 addDefaultResource();从classpath加载。 2.FileSystem DistributedFileSystem,是FileSystem的一个实现,用于和hadoop的hdfs进行交互。 3.Path 文件或者目录的名称。/是路径分隔符,有绝对路径和相对路径之分。...

  • [Hadoop] 客户机的两个模式如何切换 日期:2017-07-14 15:28:12 点击:193 好评:0

    1.ctrl + alt + f6//文本模式 2.ctrl + alt + f7//桌面模式 开机进入文本模式 --------------------- 1.修改/etc/default/grub文件 [/etc/default/grub] #图形模式 #GRUB_CMDLINE_LINUX_DEFAULT=quiet #文本模式 GRUB_CMDLINE_LINUX_DEFAULT=text #修改文本...

  • [Hadoop] MapReduce 的工作机制 日期:2017-07-14 14:15:45 点击:113 好评:0

    一、MapReduce基本原理 MapReduce是一种编程模型,用于大规模数据集的分布式运算。 1、MapReduce通俗解释 图书馆要清点图书数量,有10个书架,管理员为了加快统计速度,找来了10个同学,每个同学负责统计一个书架的图书数量。 张同学统计 书架1 王同学统计...

  • [Hadoop] HDFS的简单介绍(三) 日期:2017-07-14 11:10:10 点击:90 好评:0

    传统的数据存储只能纵向扩展,也就是对单个机器的性能要求比较高,但是Hadoop的文件系统对机器性能的要求并不高,因为Hadoop平台设置了单点故障,一个数据块会备份出多个相同的数据块,并且会把这些相同的数据块分布在不同的节点上。这样当访问其中的一个数...

  • [Hadoop] HDFS和MapReduce的配置流程 日期:2017-07-14 10:56:49 点击:114 好评:0

    如果没有那么多的机器就可以在虚拟机上搭建一个小型的集群,下面是大体的步奏: 安装jdk,并且修改etc/profile文件,配置java的环境变量。 修改主机名,这里一般会涉及到两个文件,这里指的是永久修改主机名,etc/hostname以及etc/hosts,注意:为了让集群中...

推荐内容