1樓：匿名使用者
這個只能說主流技術吧，不能說核心技術；現在國內很多公司大資料方面的主要使用時hadoop生態圈內的技術，比如hadoop、yarn、zookeeper、kafka、flume、spark 、hive、hbase ,這些事使用比較多的，並不是說就只有這些技術，而且只是應用技術方便的，還有資料分析方向的等等。所以你這個問題首先就有問題，大資料是一個方向領域，就好比你問飲食是什麼，飲食有哪些方面一樣。
2樓：中公教育it優就業
隨著大資料分析市場迅速擴充套件，哪些技術是最有需求和最有增長潛力的呢？在forrester research的一份最新研究報告中，評估了22種技術在整個資料生命週期中的成熟度和軌跡。這些技術都對大資料的實時、**和綜合洞察有著巨大的貢獻。
1. **分析技術
這也是大資料的主要功能之一。**分析允許公司通過分析大資料來源來發現、評估、優化和部署**模型，從而提高業務效能或降低風險。同時，大資料的**分析也與我們的生活息息相關。
**會**你每次購物可能還想買什麼，愛奇藝正在**你可能想看什麼，百合網和其他約會**甚至試圖**你會愛上誰……
2. nosql資料庫
nosql，not only sql，意思是「不僅僅是sql」，泛指非關係型資料庫。nosql資料庫提供了比關聯式資料庫更靈活、可伸縮和更便宜的替代方案，打破了傳統資料庫市場一統江山的格局。並且，nosql資料庫能夠更好地處理大資料應用的需求。
常見的nosql資料庫有hbase、redis、mongodb、couchbase、leveldb等。
3. 搜尋和知識發現
支援來自於多種資料來源(如檔案系統、資料庫、流、api和其他平臺和應用程式)中的大型非結構化和結構化資料儲存庫中自助提取資訊的工具和技術。如，資料探勘技術和各種大資料平臺。
4. 大資料流計算引擎
能夠過濾、聚合、豐富和分析來自多個完全不同的活動資料來源的資料的高吞吐量的框架，可以採用任何資料格式。現今流行的流式計算引擎有spark streaming和flink。
5. 記憶體資料結構
通過在分散式計算機系統中動態隨機訪問記憶體(dram)、快閃記憶體或ssd上分佈資料，提供低延遲的訪問和處理大量資料。
6. 分散式檔案儲存
為了保證檔案的可靠性和存取效能，資料通常以副本的方式儲存在多個節點上的計算機網路。常見的分散式檔案系統有gfs、hdfs、lustre 、ceph等。
7. 資料虛擬化
資料虛擬化是一種資料管理方法，它允許應用程式檢索和運算元據，而不需要關心有關資料的技術細節，比如資料在原始檔中是何種格式，或者資料儲存的物理位置，並且可以提供單個客戶使用者檢視。
8. 資料整合
用於跨解決方案進行資料編排的工具，如amazon elastic mapreduce (emr)、apache hive、apache pig、apache spark、mapreduce、couchbase、hadoop和mongodb等。
9. 資料準備
減輕採購、成形、清理和共享各種雜亂資料集的負擔的軟體，以加速資料對分析的有用性。
10. 資料質量
使用分散式資料儲存和資料庫上的並行操作，對大型高速資料集進行資料清理和充實的產品。
3樓：最新資訊資料
想學習大資料技術，是不是首先要知道大資料技術有哪些呢？也好知道自己未來應該往哪個方向發展，應該重點學習哪些知識？
抽象而言，各種大資料技術無外乎分散式儲存 + 平行計算。具體體現為各種分散式檔案系統和建立在其上的並行運算框架。這些軟體程式都部署在多個相互連通、統一管理的物理或虛擬運算節點之上，形成叢集(cluster)。
因此不妨說，雲端計算是大資料的基礎。
下面介紹幾種當前比較流行的大資料技術：
1.hadoop
hadoop無疑是當前很知名的大資料技術了。
2023年到2023年間，google釋出了關於gfs、mapreduce和bigtable三篇技術**(這幾篇**成為了後來雲端計算、大資料領域發展的重要基石)。當時一位因公司倒閉賦閒在家的程式設計師doug cutting根據前兩篇**，開發出了一個簡化的山寨版gfs – hdfs,以及基於其的mapreduce計算框架，這就是hadoop當初的版本。後來cutting被yahoo僱傭，得以依賴yahoo的資源改進hadoop,並將其貢獻給了apache開源社群。
簡單描述hadoop原理：資料分散式儲存，運算程式被髮派到各個資料節點進行分別運算(map)，再將各個節點的運算結果進行合併歸一(reduce)，生成結果。相對於動輒tb級別的資料，計算程式一般在kb – mb的量級，這種移動計算不移動資料的設計節約了大量網路頻寬和時間，並使得運算過程可以充分並行化。
在其誕生後的近10年裡，hadoop憑藉其簡單、易用、高效、免費、社群支援豐富等特徵成為眾多企業雲端計算、大資料實施的首選。
2.storm
hadoop雖好，卻有其「死穴」.其一：它的運算模式是批處理。
這對於許多有實時性要求的業務就無法做到很好的支援。因此，twitter推出了他們自己的基於流的運算框架——storm。不同於hadoop一次性處理所有資料並得出統一結果的作業(job)，storm對源源匯入的資料流進行持續不斷的處理，隨時得出增量結果。
3.spark
hadoop的另一個致命弱點是：它的所有中間結果都需要進行硬碟儲存，i/o消耗巨大，這就使得它很不適合多次迭代的運算。而大多數機器學習演算法，恰恰要求大量迭代運算。
2023年開始，uc berkeley amp lab開始研發分散式運算的中間過程全部記憶體儲存的spark框架，由此在迭代計算上大大提高了效率。也因此成為了hadoop的強有力競爭者。
4.nosql 資料庫
nosql資料庫可以泛指非關係型資料庫，不過一般用來指稱那些建立在分散式檔案系統(例如hdfs)之上，基於key-value對的資料管理系統。
相對於傳統的關係型資料庫，nosql資料庫中儲存的資料無需主鍵和嚴格定義的schema。於是，大量半結構化、非結構化資料可以在未經清洗的情況下直接進行儲存。這一點滿足了處理大量、高速、多樣的大資料的需求。
當前比較流行的nosql資料庫有mongodb,redis,cassandra,hbase等。
nosql並不是沒有sql,而是不僅僅有(not only)sql的意思。為了相容之前許多執行在關係型資料庫上的業務邏輯，有很多在nosql資料庫上執行sql的工具湧現出來，典型的例如hive和pig,它們將使用者的sql語句轉化成mapreduce作業，在hadoop上執行。
大資料產業已進入發展的「快車道」，急需大量優秀的大資料人才作為後盾。能夠在大資料行業崛起的初期進入到這個行業當中來，才有機會成為時代的弄潮兒。
4樓：王波趙楠楠
實時處理 flink框架，批處理spark框架。
大資料核心技術有哪些
5樓：西安it優就業
大資料技術的體系龐大且複雜，基礎的技術包含資料的採集、資料預處理、分散式儲存、nosql資料庫、資料倉儲、機器學習、平行計算、視覺化等各種技術範疇和不同的技術層面。首先給出一個通用化的大資料處理框架，主要分為下面幾個方面：資料採集與預處理、資料儲存、資料清洗、資料查詢分析和資料視覺化。
資料採集有硬體採集，如obd，有軟體採集，如滴滴，**。資料儲存就包括nosql，hadoop等等。資料清洗包括語議分析，流**格式化等等。
資料探勘包括關聯分析，相似度分析，距離分析，聚類分析等等。資料視覺化就是web的了。
6樓：加米穀大資料科技
簡單說有三大核心技術：拿資料，算資料，賣資料。
1、大資料採集與預處理：
flume ng實時日誌收集系統，支援在日誌系統中定製各類資料傳送方，用於收集資料，同時，對資料進行簡單處理；
logstash是開源的伺服器端資料處理管道，能夠同時從多個**採集資料、轉換資料，然後將資料傳送到「儲存庫」中；
sqoop，用來將關係型資料庫和hadoop中的資料進行相互轉移的工具，可以將一個關係型資料庫中的資料匯入到hadoop中，也可以將hadoop中的資料匯入到關係型資料庫中；
zookeeper是一個分散式的，開放原始碼的分散式應用程式協調服務，提供資料同步服務。
2、處理和分析大資料：
算資料需要計算平臺了，資料怎麼存(hdfs, s3, hbase, cassandra)，怎麼算(hadoop, spark)。兩大重點：
hadoop：一種通用的分散式系統基礎架構，具有多個元件：hadoop分散式檔案系統(hdfs)，它將檔案以hadoop本機格式儲存並在叢集中並行化; yarn，協調應用程式執行時的排程程式; mapreduce，這是實際並行處理資料的演算法。
spark：專注於在叢集中並行處理資料，使用rdd(彈性分散式資料集)處理ram中的資料。
3、大資料應用：
大資料的實際應用場景，如金融大資料、教育大資料、餐飲大資料、交通大資料、工業大資料、農業大資料等。
大資料的核心技術有哪些
7樓：加米穀大資料科技
大資料技術的體系龐大且複雜，基礎的技術包含資料的採集、資料預處理、分散式儲存、資料庫、資料倉儲、機器學習、平行計算、視覺化等。
1、資料採集與預處理：
flume ng實時日誌收集系統，支援在日誌系統中定製各類資料傳送方，用於收集資料；
zookeeper是一個分散式的，開放原始碼的分散式應用程式協調服務，提供資料同步服務。
2、資料儲存：
hadoop作為一個開源的框架，專為離線和大規模資料分析而設計，hdfs作為其核心的儲存引擎，已被廣泛用於資料儲存。
hbase，是一個分散式的、面向列的開源資料庫，可以認為是hdfs的封裝，本質是資料儲存、nosql資料庫。
3、資料清洗：mapreduce作為hadoop的查詢引擎，用於大規模資料集的平行計算
4、資料查詢分析：
hive的核心工作就是把sql語句翻譯成mr程式，可以將結構化的資料對映為一張資料庫表，並提供 hql(hive sql)查詢功能。
spark 啟用了記憶體分佈資料集，除了能夠提供互動式查詢外，它還可以優化迭代工作負載。
5、資料視覺化：對接一些bi平臺，將分析得到的資料進行視覺化，用於指導決策服務。
汽車的核心技術是什麼，車的核心技術是什麼？
汽車的核心技術是什麼？我認為最最最首要的是安全技術，世界上最寶貴的是人的生命，保護人的安全是第一的。汽車的核心技術第一就是汽車設計時，如何把安全的核心技術的設計和應用，汽車的安全分為主動安全和被動安全兩個方面，主動安全，比如剎車系統的，防抱死系統，制動力分配系統 車身穩定系統。還有倒車雷達 倒車影像...
人工智慧的核心技術是什麼，AI核心技術有哪些？
先定義人工智慧，到底是像網路上的幽靈還是可操作思維的機器？不管哪樣必定是機器的硬體和組合才能帶動軟體的驅動。就是幽靈成長也是靠硬體支撐哪怕他有思想思考，也是通過硬體傳遞出來 語言處理遇到了瓶頸，現在用神經網路，機器學習來模擬人腦的記憶功能，但與人類的語言分析能力 比，差距太太。一旦在語言處理上突破，...
斯巴魯的核心技術是什麼
水平對置發動機和左右對稱全時四驅系統。斯巴魯採用世界頂尖技術的發動機技術 水平對置發動機。獨特的發動機設計在於將汽缸水平對向排列在曲軸兩側，形成了水平對置發動機。水平對置發動機活塞對向運動有效消除活塞慣性的反作用，從而明顯減小振動。運轉時完美的平衡性以及通過較低的發動機重心降低了汽車的整體重心，在行...