大數(shù)據(jù)分析的工具有哪些

大數(shù)據(jù)分析的工具有哪些

大數(shù)據(jù)分析的工具有哪些？大數(shù)據(jù)是一個龐大復雜的數(shù)據(jù)集，通常需要專門的硬件以及軟件進行處理，那都有什么工具呢？下面小編就來講講大數(shù)據(jù)分析的工具有哪些，千萬別錯過!

1.Hadoop

它是一個分布式處理大量數(shù)據(jù)的軟件框架。Hadoop是以一種可靠、高效和可擴展的方式處理數(shù)據(jù)的。它會假定計算元素和存儲失敗，因此會去維護工作數(shù)據(jù)的多個副本，確�？梢葬槍κ�敗的節(jié)點重新分布處理。Hadoop之所以高效，是因為它是并行工作的，通過并行處理加快處理速度。Hadoop也是可擴展的，可以處理pb級的數(shù)據(jù)。此外，Hadoop依賴于社區(qū)服務器，所以它的成本很低，任何人都可以使用它。

2.HPCC

高性能計算和通信的縮寫。HPCC是美國實施的信息高速公路計劃，將花費數(shù)百億美元來實施。其主要目標是開發(fā)可伸縮計算系統(tǒng)和相關軟件，以支持位級網(wǎng)絡性能，發(fā)展千兆網(wǎng)絡技術(shù)，并擴大研究和教育機構(gòu)和網(wǎng)絡連接能力。

3.Storm

Storm是免費的開源軟件，是一個分布式的、容錯的、實時的計算系統(tǒng)。Storm可以可靠地處理大型數(shù)據(jù)流，并用于處理來自Hadoop的大批處理數(shù)據(jù)。Storm使用簡單，支持許多編程語言，Storm是來自Twitter的開源軟件。

4.Apache Drill

Apache軟件基金會最近啟動了一個名為“Drill”的開源項目，幫助企業(yè)用戶找到更高效、更快的查詢Hadoop數(shù)據(jù)的方法。Apache Drill實現(xiàn)了Google’s Dremel。

Hadoop制造商MapR Technologies的產(chǎn)品經(jīng)理托梅爾•施賴(Tomer Shiran)表示，Drill一直作為一個Apache孵化器項目運行，并將繼續(xù)得到全球軟件工程師的推廣。

該項目將創(chuàng)建谷歌Dremel Hadoop工具的開源版本，Drill將幫助Hadoop用戶實現(xiàn)更快查詢海量數(shù)據(jù)集的目標。

5.RapidMiner

RapidMiner是世界領先的數(shù)據(jù)挖掘解決方案，擁有非常大規(guī)模的先進技術(shù)。它的數(shù)據(jù)挖掘任務涵蓋廣泛，包括多種數(shù)據(jù)藝術(shù)，可以簡化數(shù)據(jù)挖掘過程的設計和評價。