hive和hbase有什麼關係和區別

2021-08-29 07:57:20 字數 2456 閱讀 3182

1樓:匿名使用者

共同點:

1.hbase與hive都是架構在hadoop之上的。都是用hadoop作為底層儲存

區別:2.hive是建立在hadoop之上為了減少mapreduce jobs編寫工作的批處理系統,hbase是為了支援彌補hadoop對實時操作的缺陷的專案 。

3.想象你在操作rmdb資料庫,如果是全表掃描,就用hive+hadoop,如果是索引訪問,就用hbase+hadoop 。

4.hive query就是mapreduce jobs可以從5分鐘到數小時不止,hbase是非常高效的,肯定比hive高效的多。

5.hive本身不儲存和計算資料,它完全依賴於hdfs和mapreduce,hive中的表純邏輯。

6.hive借用hadoop的mapreduce來完成一些hive中的命令的執行

7.hbase是物理表,不是邏輯表,提供一個超大的記憶體hash表,搜尋引擎通過它來儲存索引,方便查詢操作。

8.hbase是列儲存。

9.hdfs作為底層儲存,hdfs是存放檔案的系統,而hbase負責組織檔案。

10.hive需要用到hdfs儲存檔案,需要用到mapreduce計算框架。

2樓:匿名使用者

應該是hadoop在hbase和hive中的作用吧。 hbase與hive都是架構在hadoop之上的。都是用hadoop作為底層儲存。

而hbase是作為分散式資料庫,而hive是作為分散式資料倉儲。當然hive還是借用hadoop的mapreduce來完成一些hive中的命令的執行。而hbase與hive都是單獨安裝的。

你需要哪個安裝哪個,所以不存在重複資訊。

hbase和hive的差別是什麼,各自適用在什麼場景中

3樓:

hbase和hive的主要區別是:他們對於其內部的資料的儲存和管理方式是不同的,hbase其主要特點是仿照bigtable的列勢儲存,對於大型的資料的儲存,查詢比傳統資料庫有巨大的優勢,而hive其產生主要應對的資料倉儲問題,其將存在在hdfs上的檔案目錄結構對映成表。主要關注的是對資料的統計等方面。

適合的場景:

hbase:適合大型資料儲存,其作用可以類比於傳統資料庫的作用,主要關注的資料的存取。

hive:適合大資料的管理,統計,處理,其作用類比於傳統的資料倉儲,主要關注的資料的處理。

總結:應對大資料的時候,如果你偏重於資料儲存查詢hbase無疑是更加適合,而你關注的是對大資料的處理結果查詢,比如你查詢的時候有類似於count,sum等函式操作 hive就能滿足你的需求,一般有些專案都輸在hive裡面進行資料處理,然後將結果匯入mysql等資料庫或者hbase中進行查詢,至於mysql與hbase的選擇 比較傾向於你的處理之後的資料量

hbase和hive的差別是什麼,各自適用在什麼場景中

4樓:育知同創教育

hbase和hive的差別對比:

1、hbase當前nosql資料庫的一種,hive是hdfs分散式檔案系統的一種,二者對資料的儲存方式是不同的。

2、使用場景:

hbase最常見的應用場景就是採集的網頁資料的儲存,由於是key-value型資料庫,可以再擴充套件到各種key-value應用場景,如日誌資訊的儲存,對於內容資訊不需要完全結構化出來的類cms應用等。注意hbase針對的仍然是oltp應用為主。

hive主要針對的是olap應用,其底層是hdfs分散式檔案系統,重點是基於一個統一的查詢分析層,支撐olap應用中的各種關聯,分組,聚合類sql語句。hive一般只用於查詢分析統計,而不能是常見的cud操作,要知道hive是需要從已有的資料庫或日誌進行同步最終入到hdfs檔案系統中,當前要做到增量實時同步都相當困難。

hbase和hive的差別是什麼,各自適用在什麼場景中

5樓:匿名使用者

對於hbase當前nosql資料庫的一種,最常見的應用場景就是採集的網頁資料的儲存,由於是key-value型資料庫,可以再擴充套件到各種key-

value應用場景,如日誌資訊的儲存,對於內容資訊不需要完全結構化出來的類cms應用等。注意hbase針對的仍然是oltp應用為主。

對於hive主要針對的是olap應用,注意其底層不是hbase,而是hdfs分散式檔案系統,重點是基於一個統一的查詢分析層,支撐olap應用中的各

種關聯,分組,聚合類sql語句。hive一般只用於查詢分析統計,而不能是常見的cud操作,要知道hive是需要從已有的資料庫或日誌進行同步最終入

到hdfs檔案系統中,當前要做到增量實時同步都相當困難。

和mysql,oracle完全不是相同的應用場景。這個是結構化資料庫,針

對的更多的是結構化,事務一致性要求高,業務規則邏輯複雜,資料模型複雜的企業資訊化類應用等。包括網際網路應用中的很多業務系統也需要通過結構化資料庫來

實現。所以和hbase,hive不是一個層面的東西,不比較。

袁紹和袁術是什麼關係,袁紹和袁術有什麼關係

三國中最著名的兩兄弟,袁紹和袁術之間到底是什麼血緣關係?袁紹袁術是親兄弟,為何不聯手統一天下?有這三個原因 三國志 袁術字公路,司空逢子,紹之從弟也。以俠氣聞。舉孝廉,除郎中,歷職內外,後為折衝校尉 虎賁中郎將。同父異母的兩兄弟 袁術是嫡出而袁紹是庶出 他們是同父異母的兩兄弟 袁紹是哥哥,袁術是弟弟...

愛情和性有什麼關係,愛情與性有什麼關係!?

愛情是一種精神上的,性是一種實實在在的,兩者在一起會有更大的快樂,愛情和性都是聖潔的 有愛情,必然有性 有性,但不一定會產生愛情。性比愛情多了份隨意,愛情比性多了層感情 前者是精神上的,後者是肉體上的 愛情和性有什麼關係?如果把愛情比作吃飯,那麼每個人都需要吃飯,吃飯是需要配菜的,性就是菜。如果愛情...

心和神什麼關係,心(心臟)和大腦有什麼關係?

心和神二者相輔相成,缺一不可。神控制人的活動 心只起監督 輔佐 糾正的作用。心是靈魂對外界感觸之物,神即靈魂,所以有說神好清,有心擾之,心好靜,有欲牽之。心,內在的情緒感知。神,人的靈魂,人活動的根本。心主神明理論依據。道醫說 腦只是工具,心才是神明。現代醫學認為,人的精神 意識和思維活動,是大腦的...