技術棧是什么

相信很多學java的同學都有轉大數據或者學大數據的想法，但是在網上看到大數據的技術棧，就看了一下，比如hadoop，hdfs，mapreduce，hive，卡夫卡，zookeeper，hbase，sqoop，flume，spark，storm，flink等等。

童鞋可能突然慌了，想學java的有ssm，跳羚，春云，mysql等。臺詞很清楚，所以學起來相對簡單，但是大數據就不一樣了。技術棧太多，剛開始可能會被嚇到外面。，博主們把大數據技術棧和java技術棧進行對比，告訴你這些大數據技術棧是為了什么。

架構圖

在我們開始解釋之前，讓我們看一下下圖：

數據連接器模塊

我們按照圖的順序逐一介紹。第一，sqoop(發音：skup)是一個開源工具，主要用于hadoop(hive)和傳統數據庫(mysql、postgresql、……)之間的數據傳輸，可以從一個關系型數據庫(比如mysql、oracle、postgres等)導入數據。)到hadoop hdfs

如果非要比較功能的話，很像阿里的canal組件，用來同步數據。

水道

水槽是一個高度可用、可靠和分布式的系統，用于收集、聚合和傳輸cloudera提供的大量日志。水槽支持定制日志系統中的各種數據發送器，用于收集數據；同時，flume提供了簡單處理數據和到達各種數據接收者(可定制)的能力。

水槽的功能類似于elk(日志實時檢索系統)中的logstash，用于傳輸和處理日志數據。

卡夫卡

卡夫卡是一個高吞吐量的分布式發布訂閱消息系統，可以處理網站中消費者的所有動作流數據。

說白了就是一個mq消息傳遞系統，和java常用的rabbitmq、rocketmq一樣，只是側重點不同?？ǚ蚩▽Ｗ⒂诟咄掏铝?，能夠處理海量數據。

分布式文件系統

hadoop分布式文件系統(hdfs)是指設計為在商用硬件上運行的分布式文件系統。它與現有的分布式文件系統有許多共同之處。但同時也明顯不同于其他分布式文件系統。hdfs是一個高容錯系統，適合部署在廉價的機器上。hdfs可以提供高吞吐量的數據訪問，非常適合大規模數據集。

像java這樣的項目，不可避免的會涉及到文件上傳和。此時，您要么自己構建分布式文件系統，要么使用第三方。一般來說，gfs、hdfs、lustre、ceph、gridfs、mogilefs、tfs、fastdfs等。如果用第三方，一般會用七牛云，騰訊云oss對象存儲，阿里巴巴云oss對象存儲。

儲備

hive是基于hadoop的數據倉庫工具，用于數據的提取、轉換和加載。它是一種能夠存儲、查詢和分析hadoop中存儲的大規模數據的機制。hive數據倉庫工具可以將結構化數據文件映射成數據庫表，提供sql查詢功能，將sql語句轉換成mapreduce任務執行。

與java相比，有點類似于mysql(不太準確)，它不僅可以存儲表結構數據，還可以通過sql查詢這些數據，但不能修改，只能離線操作。

數據庫

hadoop數據庫是一個高度可靠、高性能、面向列和可擴展的分布式存儲系統。通過使用hbase技術，可以在廉價的pc服務器上構建大規模的結構化存儲集群。

糖化血紅蛋白實際上是一種nosql，類似于java中常用的redis，只是它們的底層實現不同。

動物園管理員

zookeeper是一個分布式、開源的分布式應用協調服務，是google chubby的開源實現，是hadoop和hbase的重要組成部分。它是為分布式應用提供一致服務的軟件，功能包括配置維護、域名服務、分布式同步、群組服務等。

zookeer在java里也很有名，基于dubbo的注冊中心一般都是用zookeer實現的。類似的有：尤里卡、執政官等等，都是著名的微服注冊中心。

大數據

hadoop是apache基金會開發的分布式系統基礎設施。用戶可以開發分布式程序，而不知道分布式的底層細節。充分利用集群的力量進行高速計算和存儲。hadoop實現了hadoop分布式文件系統(簡稱hdfs)。

hdfs具有高容錯性的特點，設計用于低成本硬件。而且它提供了訪問應用數據的高吞吐量，適合大數據集的應用。

hdfs放寬)posix的要求，并可以流式訪問文件系統中的數據。hadoop框架的核心設計是hdfs和mapreduce。hdfs為海量數據提供存儲，而mapreduce為海量數據提供計算

從java的角度來看，hadoop和spring cloud有些類似。它們不僅僅是一種特定的技術，而是一個生態圈。hadoop包括hive、mapreduce、hdfs等。所以不要把hadoop僅僅當作一種單一的技術。

數據處理技術

mapreduce、spark、storm/flink都是用來處理數據的，比如數據清理、計算、統計等等。

數據處理

mapreduce是一種大數據并行處理的計算模型、框架和平臺，隱含以下三層含義：

mapreduce是一個基于集群的高性能并行計算平臺(集群基礎設施)。它允許市場上常見的商用服務器形成一個具有數十、數百到數千個節點的分布式并行計算集群。

mapreduce是一個用于并行計算和運行的軟件框架。它提供了一個龐大但設計良好的并行計算軟件框架，可以自動完成計算任務的并行處理，自動劃分計算數據和計算任務，在集群節點上自動分配和執行任務，收集計算結果，并將并行計算中涉及的數據分布式存儲、數據通信、容錯處理等許多系統底層的復雜細節移交給系統，大大減輕了軟件開發人員的負擔。

mapreduce是一種并行編程模型方法。借助函數式編程語言lisp的設計思想，提供了一種簡單方便的并行編程方法。它使用map和reduce函數對基本并行計算任務進行編程，并提供抽象操作和并行編程接口，從而簡單方便地完成大規模數據編程和計算處理

技術的概念一般比較嚴謹復雜。這里mapreduce縮寫為mr，主要功能是處理線下大數據。它可以通過分析大量離線數據來計算我們需要的結果。

火花

apache spark是一款專為大規模數據處理設計的快速通用計算引擎。spark是一個類似hadoop mapreduce的通用并行框架，由加州大學伯克利分校amp實驗室開放。spark具有hadoop mapreduce的優勢。然而，與mapreduce不同，——job的中間輸出結果可以保存在內存中，因此不再需要讀寫hdfs。因此spark可以更好的應用到需要迭代的mapreduce算法中，比如數據挖掘、機器學習等。

spark是一個類似hadoop的開源集群計算環境，但兩者有一些區別。這些有用的差異使spark在某些工作負載中表現更好。換句話說，spark啟用了內存分布式數據集，這不僅可以提供交互式查詢，還可以優化迭代工作負載。

從概念上可以看出，spark不僅僅是一種技術，而是類似于hadoop，有一個成熟的生態系統，比如spark sql和spark streaming，類似于hadoop中的hive和mr。目前spark廣泛用于處理海量數據，因為它既能實現離線數據分析，又能實現實時數據分析。

storm/flink

apache flink是apache software foundation開發的開源流處理框架，其核心是用java和scala編寫的分布式流數據流引擎。flink以并行和流水線方式執行任意流數據程序，flink的流水線運行時系統可以執行批處理和流處理程序。另外，flink的運行時本身也支持迭代算法的執行(storm的功能和上面類似，這里就不啰嗦了)。

spark streaming是一個實時數據處理框架。為什么需要storm/flink？因為實時和實時是有時間差的，看下圖就能看出兩者的區別。