- Hadoop大数据
- hadoop培训教程：Flume环境搭建、安装、部署
hadoop培训教程：Flume环境搭建、安装、部署1、搭建环境部署节点操作系统为CentOS，防火墙和SELinux禁用，创建了一个shiyanlou用户并在系统根目录下创建/app目录，用于存放Hadoop等组件运行包。因为该目录用于安装hadoop等组件程序，用户对shiyanlou必须赋予rwx权限(一般做法是root用户在根目录下创建...
- hadoop培训教程：Sqoop介绍、搭建、安装、部署
hadoop培训教程：Sqoop介绍、搭建、安装、部署
- hadoop培训教程：HBase介绍、搭建、环境、安装部署
hadoop培训教程：HBase介绍、搭建、环境、安装部署
- hadoop培训教程：Mahout环境、搭建、应用
hadoop培训教程：Mahout环境、搭建、应用
- hadoop培训教程：Hive环境、架构、搭建、安装
hadoop培训教程：Hive环境、架构、搭建、安装1、搭建环境部署节点操作系统为CentOS，防火墙和SELinux禁用，创建了一个shiyanlou用户并在系统根目录下创建/app目录，用于存放Hadoop等组件运行包。因为该目录用于安装hadoop等组件程序，用户对shiyanlou必须赋予rwx权限(一般做法是root用户在根目录下创...
- hadoop培训教程：Pig搭建环境、安装与应用
hadoop培训教程：Pig搭建环境、安装与应用1、搭建环境部署节点操作系统为CentOS，防火墙和SELinux禁用，创建了一个shiyanlou用户并在系统根目录下创建/app目录，用于存放Hadoop等组件运行包。因为该目录用于安装hadoop等组件程序，用户对shiyanlou必须赋予rwx权限(一般做法是root用户在根目录下创建/a...
- hadoop培训教程：MapReduce环境、原理、架构及操作
hadoop培训教程：MapReduce环境、原理、架构及操作
- hadoop培训教程：HDFS环境、原理及操作
hadoop培训教程：HDFS环境、原理及操作
- hadoop培训教程：Hadoop2.X64位环境搭建、安装配置
hadoop培训教程：Hadoop2.X64位环境搭建、安装配置
- hadoop培训教程：Hadoop2.X 64位编译
hadoop培训教程：Hadoop2.X 64位编译 编译环境、安装部署
- hadoop培训教程：Hadoop1.X伪分布安装
hadoop培训教程：Hadoop1.X伪分布安装 l单机模式：安装简单，几乎不用作任何配置，但仅限于调试用途; l伪分布模式：在单节点上同时启动NameNode、DataNode、JobTracker、TaskTracker、Secondary Namenode等5个进程，模拟分布式运行的各个节点; l完全分布式模式：正常的Hadoop集群，由多个各司其职的...
- hadoop培训教程：什么是Hadoop
hadoop培训教程：什么是Hadoop Apache Hadoop软件库是一个框架，允许在集群服务器上使用简单的编程模型对大数据集进行分布式处理。
- hadoop集群默认配置和常用配置
获取默认配置配置hadoop，主要是配置core-site.xml,hdfs-site.xml,mapred-site.xml三个配置文件，默认下来，这些配置文件都是空的，所以很难知道这些配置文件有哪些配置可以生效，上网找的配置可能因为各个hadoop版本不同，导致无法生效。浏览更多的配置，有两个方法:1.选择相应版本的hadoop,下载解压...
- hadoop配置文件说明
hadoop配置文件说明 1、dfs.hosts 记录即将作为datanode加入集群的机器列表 2、mapred.hosts 记录即将作为tasktracker加入集群的机器列表 3、dfs.hosts.exclude mapred.hosts.exclude 分别包含待移除的机器列表
- hadoop部署注意项
hadoop部署注意项 namenode磁盘: sas带RAID,多磁盘存储文件系统元信息. datanode配置: 不带RAID, 双网卡: 一个用于内部数据传输，一个用于外部数据传输. hadoop各节点的分布:namenode和jobtracker部署:namenode与jobtracker分离.tasktracker与datanode配对.
- hadoop集群部署
1) 安装jdk下载jdk-6u21-Linux-i586.bin然后修改/etc/profile：export JAVA_HOME=/usr/local/jdkexport CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATHexport PATH=$PATH:$JAVA_HOME/bin保存，并执行source /etc/profile2) 配置hostNamenode的机器，需要配置集群中所有机器的ip修改/etc/hosts1...
- Hadoop入门基础课程2-2--编译Hadoop
编译Hadoop2.1下载Hadoop源代码 Release2.2.0在/app目录下新建compile子目录，在该文件夹通过SVN获取Hadoop2.2.0源代码，命令如下：cd /appmkdir compilecd compilesvn checkout http://svn.apache.org/repos/asf/hadoop/common/tags/release-2.2.0获取时间较长，大小约75.3M2.2编译Hadoop源代码由于...
- Hadoop入门基础课程2-1--编译环境
1、编译环境1.1软硬件环境说明所有节点均是CentOS系统，防火墙和SELinux禁用，所有节点上均创建了一个shiyanlou用户，并在系统根目录下创建/app目录，用于存放Hadoop等组件运行包。因为该目录用于安装hadoop等组件程序，用户对shiyanlou必须赋予rwx权限(一般做法是root用户在根目录下创建/app目录，并...
- Hadoop入门基础课程1-3--Hadoop变量配置
2.3.1解压并移动hadoop安装包在Apache的归档目录中下载hadoop-1.1.2-bin.tar.gz安装包，也可以在/home/shiyanlou/install-pack目录中找到该安装包，解压该安装包并把该安装包复制到/app目录中cd /home/shiyanlou/install-packtar -xzf hadoop-1.1.2-bin.tar.gzmv hadoop-1.1.2 /app2.3.2在hadoop-1.1....
- Hadoop入门基础课程1-2--Hadoop1.X伪分布安装
l单机模式：安装简单，几乎不用作任何配置，但仅限于调试用途; l伪分布模式：在单节点上同时启动NameNode、DataNode、JobTracker、TaskTracker、Secondary Namenode等5个进程，模拟分布式运行的各个节点; l完全分布式模式：正常的Hadoop集群，由多个各司其职的节点构成
- Hadoop入门基础课程1-1--Hadoop简介
Apache Hadoop软件库是一个框架，允许在集群服务器上使用简单的编程模型对大数据集进行分布式处理。Hadoop被设计成能够从单台服务器扩展到数以千计的服务器，每台服务器都有本地的计算和存储资源。Hadoop的高可用性并不依赖硬件，其代码库自身就能在应用层侦测并处理硬件故障，因此能基于服务器集群提...
