散文精选网hadoop主要由两部分构成？
Hadoop组成：主要由两部分组成，一个是HDFS，一个是MapReduce。
hadoop是一个由Apache基金会所开发的分布式系统基础架构。是根据google发表的GFS(Google File System)论文产生过来的。Hadoop是一个能够让用户轻松架构和使用的分布式计算平台。用户可以轻松地在Hadoop上开发和运行处理海量数据的应用程序。
hadoop到底是什么？
Hadoop细分的话包含两部分，一部分是HDFS，这个是分布式文件系统，包含NameNode和DataNode，用于存储pb级数据，特点就是大，可以部署到上前台上万台机器上，用于存储。 还有一个部分是MapReduce,这个是一个计算框架，用于离线分析数据，还有一个Yarn，这个是Rarn可以说是一个资源管理类和任务调度器，用于管理和调度程序，包括MapReduce但又不限于MapReduce，也可以运行Spark等。
下面就是生态圈了，hadoop生态圈还包含spark，flume，hbase，kakfa等等
hadoop的发展及原理？
Hadoop的发展历史
2004年— 最初的版本(现在称为HDFS和MapReduce)由Doug Cutting和Mike Cafarella开始实施。
2005年12月— Nutch移植到新的框架，Hadoop在20个节点上稳定运行。
2006年1月— Doug Cutting加入雅虎。
2006年2月— Apache Hadoop项目正式启动以支持MapReduce和HDFS的独立发展。
2006年2月— 雅虎的网格计算团队采用Hadoop。
2006年4月— 标准排序(10 GB每个节点)在188个节点上运行47.9个小时。
…………
Hadoop的工作原理是：
Hadoop 由许多元素构成。其最底部是 Hadoop Distributed File System(HDFS),它存储 Hadoop 集群中所有存储节点上的文件。HDFS(对于本文)的上一层是MapReduce 引擎,该引擎由 JobTrackers 和 TaskTrackers 组成。………
hadoop的使用？
hadoop的用途有：分布式存储数据、日志处理、ETL、机器学习、搜索引擎、数据挖掘等。Hadoop是专为离线和大规模数据分析而设计的，它是一个处理实际问题的编程模型，它提供了一些基础模块或软件做支撑。
相比于传统的数据，处理大数据需要的存储量大、计算量也大，除了数字、还有文字、声音、视频、网络日志、视频、图片、地理位置信息等多种数据，处理这样的数据，就需要Hadoop技术来实现。作为目前主流的大数据处理分布式架构之一，Hadoop就是基于大规模数据处理任务需求的满足。并且，相对于其他的分布式处理架构，Hadoop具有很明显的优点：
可扩展性强，Hadoop可以在一组计算机集群当中分配任务完成数据计算，这些集群可以更方便地扩展到数千节点当中。
高效性，Hadoop的分布式文件系统，能够保证高效的数据交互，通过并行处理加快数据处理速度。
高可靠性，Hadoop的分布式文件系统将数据分块储存，每个数据块在集群节点上依据一定的策略冗余储存，确保能够针对失败的节点重新分布处理，从而保证了数据的可靠性。
hadoop的特点是？
hadoop是一个能够对大量数据进行分布式处理的软件框架，并且是一种可靠，高效，可伸缩的方式进行处理的，它有一下几方面特性：
1.高可靠性：采用冗余数据存贮方式，即使一个副本发生故障，其他副本也可以保证对外工作的正常进行。
2.高效性：作为并行分布式计算平台，hadoop采用分布式存贮和分布式处理两大核心技术，能够高效的处理PB级别的数据
3.高可扩展性：hadoop的设计目标是可以高效稳定的运行在廉价的计算机集群上，可以扩展到数以千计的计算机节点上。
4.高容错性：采用冗余数据存贮方式，自动保存数据的多个副本，并且能够自动将失败的任务重新分配。
5.成本低：hadoop采用廉价的计算机集群，普通的用户也可以pc机搭建环境
6.运行在linux平台上，hadoop是基于java语言开发的，可以较好的运行在linux的平台上
hadoop平台能做什么？
Hadoop是一个适合大数据的分布式存储和处理平台。这是一个开源框架
1.搜索引擎（Hadoop的初衷是快速索引大型网页）。
2. 大数据存储，利用Hadoop的分布式存储能力，如数据备份、数据仓库等。
3. 大数据处理，利用Hadoop的分布式处理能力，如数据挖掘、数据分析等。
hadoop生态系统具体功能？
Apache Hadoop是一个开放源代码软件框架，用于开发在分布式计算环境中执行的数据处理应用程序。
使用HADOOP构建的应用程序可在分布在商用计算机群集上的大型数据集上运行。商品计算机便宜且可广泛获得。这些主要用于以低成本实现更大的计算能力。
在Hadoop中，数据驻留在称为 Hadoop分布式文件系统的分布式文件系统中。处理模型基于 “数据局部性” 概念，其中计算逻辑被发送到包含数据的群集节点(服务器)。这种计算逻辑无非是用高级语言(例如Java)编写的程序的编译版本。这样的程序可以处理存储在Hadoop HDFS中的数据。
hadoop生态系统是什么？
Hadoop是一个能够对大量数据进行分布式处理的软件框架。具有可靠、高效、可伸缩的特点。Hadoop的核心是HDFS和MapReduce，hadoop2.0还包括YARN。
2、HDFS（Hadoop分布式文件系统）
是Hadoop体系中数据存储管理的基础。它是一个高度容错的系统，能检测和应对硬件故障，用于在低成本的通用硬件上运行。HDFS简化了文件的一致性模型，通过流式数据访问，提供高吞吐量应用程序数据访问功能，适合带有大型数据集的应用程序。
Hadoop是什么？
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。
Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，而MapReduce则为海量的数据提供了计算。
hadoop是一种什么技术？
Hadoop 是一个能够对大量数据进行分布式处理的软件框架，用户可以轻松在 Hadoop 上开发和运行处理海量数据的应用程序，充分利用集群的威力进行高速运算和存储。
怎么使用 Hadoop：
Hadoop 集群的搭建
简单点说就是把 Hadoop 的安装包放在每一台服务器上，改改配置再启动，就完成了 Hadoop 集群的搭建。
上传文件到 Hadoop 集群
Hadoop 集群搭建好以后，可以通过 web 页面查看集群的情况，还可以通过 Hadoop 命令上传文件到 hdfs 集群，通过 Hadoop 命令在 hdfs 集群上建立目录，通过 Hadoop 命令删除集群上的文件等等。
编写 map/reduce 程序
通过集成开发工具（例如 eclipse）导入 Hadoop 相关的 jar 包，编写 map/reduce 程序，将程序打成 jar 包扔在集群上执行，运行后出计算结果。
hadoop 生态圈中各个组件的作用描述：
① hdfs：一个文件系统，可以存储海量数据。
② mapreduce：从海量数据中，通过一定的算法，计算出有用信息。
③ hive：就是sql语句解释器，接收用户输入的sql语句，然后将该sql语句翻译成复杂的mapreduce程序，并发布到mr集群中进行运算，计算出有用的信息。
④ hbase：是基于hdfs文件系统的数据库。
⑤ flume：就是将数据从一个文件中抽取到另一个文件中。
⑥ sqoop：将hdfs文件系统的文件，导出到linux文件系统的文件中。
⑦ ooize/azkaban：该组件是负责协调各个任务的执行顺序。
