- Hadoop大数据
- Hadoop认证培训：HDFS配额管理
Hadoop认证培训：HDFS配额管理，Hadoop分布式文件系统HDFS允许管理员为每个目录设置配额。新建立的目录是没有配额的，最大的配额是Long.Max_Value。配额为1可以强制目录保持为空。目录配额是对目录树上该目录下的文件及目录总数进行硬性限制，如果创建文件或目录时超过了配额，该操作会失败;重命名不...
- Hadoop大数据课程：HDFS配置参数
Hadoop大数据课程：HDFS配置参数，1.权限检查配置，2.Web服务器用户权限配置，3.其他相关配置
- Hadoop认证培训：HDFS超级用户
Hadoop认证培训：HDFS超级用户，超级用户即运行NameNode进程的用户。宽泛地讲，如果你启动了NameNode，你就是超级用户。超级用户可以干任何事情，因为超级用户能够通过所有的权限检查。没有永久记号来保留谁过去是超级用户，当NameNode开始运行时，进程自动判断谁现在是超级用户。HDFS的超级用户不一...
- Hadoop认证教程：系统实现
Hadoop认证教程：系统实现，每次对文件或目录进行操作都传递完整的路径名给NameNode，每一个操作都会对此路径做权限检查。客户框架会隐式地将用户身份与NameNode的连接关联起来，从而减少改变现有客户端API的需求
- Hadoop认证培训：HDFS用户身份
Hadoop认证培训：HDFS用户身份，HDFS权限管理采用UNIX的机制，文件用户分文件属主、文件组和其他用户，权限分为读、写和执行。在最简单的情况下，客户端用户身份可以通过宿主操作系统给出。对UNIX系统来说可以执行：
- Hadoop大数据教程：HDFS权限管理
Hadoop大数据教程：HDFS权限管理，HDFS系统实现了一个和POSIX系统类似的文件和目录的权限模型。每个文件和目录有一个所有者(owner)和一个组(group)。文件或目录对其所有者、同组的其他用户，以及所有其他用户分别有着不同的权限。
- Hadoop大数据基础：HDFS升级和回滚机制
Hadoop大数据基础：HDFS升级和回滚机制，作为一个大型的分布式系统，Hadoop内部实现了一套升级机制，当在一个集群上升级Hadoop时，像其他的软件升级一样，可能会有新的bug或一些会影响现有应用的非兼容性变更出现。
- Hadoop认证教程：HDFS负载均衡
Hadoop认证教程：HDFS负载均衡，HDFS的数据也许并不是非常均匀地分布在各个DataNode中。HDFS集群非常容易出现机器与机器之间磁盘利用率不平衡的情况，一个常见的原因是在现有的集群上经常会增添新的DataNode。
- Hadoop认证教程：HDFS的健壮性设计
Hadoop认证教程：HDFS的健壮性设计，HDFS的主要目标就是实现在失败情况下数据存储的可靠性。常见的三种失败情况是：NameNode failures、DataNode failures和网络分割(network partitions)，这几种失败很容易导致HDFS中的组件失效。
- Hadoop大数据课程：安全模式
Hadoop大数据课程：安全模式，安全模式是这样一种特殊状态：当系统处于这个状态时，不接受任何对名称空间的修改，同时也不会对数据块进行复制或删除。
- Hadoop大数据培训：HDFS空间回收
Hadoop大数据培训：HDFS空间回收，1.文件的删除和恢复，2.减小副本系数
- Hadoop大数据入门：HDFS数据组织
Hadoop大数据入门：HDFS数据组织包括1.数据块，2.Staging，3.流水线式的复制
- Hadoop入门课程：HDFS数据副本存放策略
Hadoop入门课程：HDFS数据副本存放策略，副本的存放是HDFS可靠性和高性能的关键。优化的副本存放策略是HDFS区分于其他大部分分布式文件系统的重要特性。这种特性需要做大量的调优，并需要经验的积累。
- Hadoop认证教程：HDFS的数据复制
Hadoop认证教程：HDFS的数据复制，HDFS被设计成在一个大集群中可以跨机器可靠地存储海量的文件。它将每个文件存储成Block序列，除了最后一个Block，所有的Block都是同样的大小。文件的所有Block为了容错都会被冗余复制存储。
- Hadoop入门课程：HDFS的块大小
Hadoop入门课程：HDFS的块大小，Block的大小是HDFS关键的设计参数之一，默认的参数是64MB，这个尺寸远远大于一般文件系统的Blocksize。每个Block的副本都以普通Linux文件的形式保存在DataNode服务器上，只有在需要的时候才扩大。
- Hadoop培训教程：HDFS文件存取机制
Hadoop培训教程：HDFS文件存取机制，一个分布式文件系统最基本的功能就是读和写，本节将描述HDFS的文件存取机制。1.HDFS读文件数据流，2.HDFS写文件数据流
- Hadoop基础课程：NameNode和Secondary NameNode
Hadoop基础课程：NameNode和Secondary NameNode，NameNode将对文件系统的改动追加保存到本地文件系统上的一个日志文件edits。当一个NameNode启动时，它首先从一个映像文件(fsimage)中读取HDFS的状态，接着执行日志文件中的编辑操作。
- Hadoop培训教程：HDFS的Master/Slave架构
Hadoop培训教程：HDFS的Master/Slave架构，相比于基于P2P模型的分布式文件系统架构，HDFS采用的是基于Master/Slave主从架构的分布式文件系统，一个HDFS集群包含一个单独的Master节点和多个Slave节点服务器，
- Hadoop培训教程：HDFS设计目标有哪些
Hadoop培训教程：HDFS设计目标有哪些，HDFS作为Hadoop的分布式文件存储系统和传统的分布式文件系统有很多相同的设计目标。例如，在可伸缩性及可用性上。但是HDFS的设计前提是假设和较早的文件系统有着明显的不同之处。下面简述HDFS的设计思路和目标。
- Hadoop大数据课程：HDFS有哪些特性
Hadoop大数据课程：HDFS有哪些特性，HDFS和传统的分布式文件系统相比较，具有以下明显的特性：
- Hadoop大数据课程：HDFS的块
Hadoop大数据课程：HDFS的块，块是文件系统中的一个很重要的概念。在UNIX/Linux系统中有一个数据块(Data Block)的概念，Data Block是文件系统读写的最小数据单元。
- Hadoop大数据培训：HDFS的客户端
Hadoop大数据培训：HDFS的客户端，访问HDFS的程序或HDFS shell命令都可以称为HDFS的客户端(client)，在HDFS的客户端中至少需要指定HDFS集群配置中的NameNode地址以及端口号信息，或者通过配置HDFS的core-site.xml配置文件来指定。
- Hadoop大数据培训：HDFS的DateNode介绍
Hadoop大数据培训：HDFS的DateNode介绍，DataNode就是负责存储数据的组件，一个数据块Block会在多个DataNode中进行冗余备份;而一个DataNode对于一个块最多只包含一个备份。所以可以简单地认为DataNode上存储了数据块ID和数据块内容，以及它们的映射关系。一个HDFS集群可能包含上千个DataNode节点，这...
- Hadoop大数据培训：HDFS的NameNode介绍
Hadoop大数据培训：HDFS的NameNode介绍，HDFS采用Master/Slave架构。NameNode就是HDFS的Master架构。HDFS系统包括一个NameNode组件，主要负责HDFS文件系统的管理工作，具体包括名称空间(namespace)管理，文件Block管理。
- Hadoop大数据教程：基于Pipes实现作业提交
Hadoop大数据教程：基于Pipes实现作业提交，在提交Hadoop Pipes作业之前首先需要将编译好的Pipes可执行程序上传到HDFS上。
- Hadoop大数据教程：基于Streaming实现作业提交
Hadoop大数据教程：基于Streaming实现作业提交，通过执行2.4.2中Streaming方式的编译命令后，会得到可执行程序WordcountMap和WordcountReduce，分别为词频统计的Map和Reduce，然后就可以使用Hadoop Streaming命令来实现作业提交。提交运行脚本的命令如下：
- Hadoop大数据教程：基于Java API实现作业提交
Hadoop大数据教程：基于Java API实现作业提交，使用Hadoop的提交命令就可以将在本地编译并打包好的程序提交到Hadoop集群运行，提交的脚本命令如下：
- Hadoop大数据教程：基于Pipes实现的编译
Hadoop大数据教程：基于Pipes实现的编译，在使用Pipes编写MapReduce程序时是需要依赖于Hadooppipes和Hadooputils静态库的，因此建议用户在使用Pipes接口时针对自己的运行环境重新编译这两个库，重新编译Pipes库很简单，编译命令如下：
- Hadoop大数据教程：基于Streaming实现的编译
Hadoop大数据教程：基于Streaming实现的编译，在Streaming接口实现的程序中，用户的Map和Reduce都是单独的可执行程序，在上节实现中是使用C++实现的，包括Map程序WordcountMap.cpp，Reduce程序WordcountReduce.cpp。
- Hadoop大数据教程：基于Java API实现的编译
Hadoop大数据教程：基于Java API实现的编译，如果用户使用Eclipse开发，则需要导入hadoop-core-x.y.x.jar核心包，由于Eclipse会自动编译，则直接使用export功能导出词频统计的jar包即可;如果使用Linux中的vim开发，则应使用下面的方法进行编译并打包。
