第四周 大數(shù)據(jù)學(xué)習(xí)-深圳市模具廠
第四周
Hbase 欧洲黄色官网。
Hbase -> Google bigtable 開源實現(xiàn) ---2008年----> apache hadoop 下面的項目
采用的公司 : Facebook Intel yahoo baidu alibaba tencent 360 等等 nosql 數(shù)據(jù)庫
SQL (Structured Query Language) 數(shù)據(jù)庫免费无码日韩A级毛片,指關(guān)系型數(shù)據(jù)庫国产在线观看精品一区二区三区91。
主要代表:SQL Server国产午夜精品美女视频露脸9,Oracle91日韩精品一区二区亚洲专区,MySQL(開源)97无码免费人妻视频,PostgreSQL(開源)欧美黄色露逼视频。
NoSQL(Not Only SQL)泛指非關(guān)系型數(shù)據(jù)庫。
主要代表:MongoDB国产操视频网,Redis98国产,CouchDB。 supersech hbase , kylin , chiohouse phesto
關(guān)系型數(shù)據(jù)庫的特點: 面向行的四虎在线观看成人影院免费, Nosql 是面向列的亚洲色图欧美色图人妻。
高并發(fā)狀態(tài)下: 分庫分表 讀寫分離 帶來數(shù)據(jù)一致性問題 ,海量數(shù)據(jù)實現(xiàn)出來很復(fù)雜一级毛片免费毛片一级毛片,后期遷移也很復(fù)雜狼友视频—主页。
高可用,可靠性国产成熟美女三级视频直接看,可伸縮性的措施: 主備 人人干综合、 主從 、 多主日本和亚洲黄色视频多毛水视频。 本身的可擴展性很差午夜AV毛片。 增加節(jié)點或者宕機要做遷移。
Hbase 首先是一個大表国产性色Aⅴ综合一。
1.關(guān)系型數(shù)據(jù)庫理論 - ACID
ACID最新日韩AV.COM,是指數(shù)據(jù)庫管理系統(tǒng)(DBMS)在寫入或更新資料的過程中,為保證事務(wù)(transaction)是正確可靠的亚洲欧美性爱视频免费观看,
所必須具備的四個特性:原子性(atomicity午夜三级理论福利电影,或稱不可分割性)、一致性(consistency)啊啊啊日韩黄色视频、
隔離性(isolation色色色色色色色色色色色色色色色色色色色,又稱獨立性)、持久性(durability)无码秒播成人网站在线观看视频。
A – Atomicity – 原子性
一個事務(wù)(transaction)中的所有操作700AV在线视频,要么全部完成,要么全部不完成欧美一级片亚洲三级片,不會結(jié)束在中間某個環(huán)節(jié)狼友首页一区二区三区。
事務(wù)在執(zhí)行過程中發(fā)生錯誤,會被回滾(Rollback)到事務(wù)開始前的狀態(tài)亚洲玖玖在线第一页,就像這個事務(wù)從來沒有被執(zhí)行過一樣亚洲小说图片网。
C – Consistency – 一致性
在事務(wù)開始之前和事務(wù)結(jié)束以后黄片三免费在线视频,數(shù)據(jù)庫的完整性沒有被破壞。這表示寫入的資料必須完全符合所有的預(yù)設(shè)規(guī)則欧洲黄片免费看,
這包含資料的精確度av中文不卡在线看、串聯(lián)性以及后續(xù)數(shù)據(jù)庫可以自發(fā)性地完成預(yù)定的工作。
I – Isolation – 隔離性
數(shù)據(jù)庫允許多個并發(fā)事務(wù)同時對其數(shù)據(jù)進行讀寫和修改的能力亚洲色成a在线网,隔離性可以防止多個事務(wù)并發(fā)執(zhí)行時
由于交叉執(zhí)行而導(dǎo)致數(shù)據(jù)的不一致欧美一级在线日本。事務(wù)隔離分為不同級別,包括讀未提交(Read uncommitted)无国产A片马上打开、
讀提交(read committed)欧美特级A禁片在线观看、可重復(fù)讀(repeatable read)和串行化(Serializable)。
D – Durability – 持久性
事務(wù)處理結(jié)束后人人操人人干人人玩,對數(shù)據(jù)的修改就是永久的97超碰人人摸,即便系統(tǒng)故障也不會丟失。
關(guān)系型數(shù)據(jù)庫嚴(yán)格遵循ACID理論国产真人一级爱做片。
但當(dāng)數(shù)據(jù)庫要開始滿足橫向擴展国产一级A片在线直播、高可用、模式自由等需求時自拍日韩在线视频播放器,需要對ACID理論進行取舍国产普通话在线视频噜噜噜,不能嚴(yán)格遵循ACID。
以CAP理論和BASE理論為基礎(chǔ)的NoSQL數(shù)據(jù)庫開始出現(xiàn)欧美色色.com。
2.分布式系統(tǒng)理論
2.1 分布式系統(tǒng)介紹
分布式系統(tǒng)的核心理念是讓多臺服務(wù)器協(xié)同工作特殊黄色网,完成單臺服務(wù)器無法處理的任務(wù),尤其是高并發(fā)或者大數(shù)據(jù)量的任務(wù)欧美性交操B。分布式是NoSQL數(shù)據(jù)庫的必要條件免费在线观看三级毛片。
分布式系統(tǒng)由獨立的服務(wù)器通過網(wǎng)絡(luò)松散耦合組成的。每個服務(wù)器都是一臺獨立的PC機国产成人午夜福利影片在线播放网站,服務(wù)器之間通過內(nèi)部網(wǎng)絡(luò)連接欧洲天堂综合网,內(nèi)部網(wǎng)絡(luò)速度一般比較快。因為分布式集群里的服務(wù)器是通過內(nèi)部網(wǎng)絡(luò)松散耦合第一福利在线观看,各節(jié)點之間的通訊有一定的網(wǎng)絡(luò)開銷婷婷丁香五月天欧美中文,因此分布式系統(tǒng)在設(shè)計上盡可能減少節(jié)點間通訊。此外美国操逼网站,因為網(wǎng)絡(luò)傳輸瓶頸男女猛烈无摭挡免费视频,單個節(jié)點的性能高低對分布式系統(tǒng)整體性能影響不大。比如呦女网址,對分布式應(yīng)用來說亚洲色偷精品一区二区三区粗大猛,采用不同編程語言開發(fā)帶來的單個應(yīng)用服務(wù)的性能差異,跟網(wǎng)絡(luò)開銷比起來都可以忽略不計国产精品va视频。
因此不卡的av网站,分布式系統(tǒng)每個節(jié)點一般不采用高性能的服務(wù)器亚洲女同另类,而是使用性能相對一般的普通PC服務(wù)器。提升分布式系統(tǒng)的整體性能是通過橫向擴展(增加更多的服務(wù)器)97偷自拍亚洲综合,而不是縱向擴展(提升每個節(jié)點的服務(wù)器性能)實現(xiàn)欧美3p。
分布式系統(tǒng)最大的特點是可擴展性,它能夠適應(yīng)需求變化而擴展欧美老妇性A片高清视频。企業(yè)級應(yīng)用需求經(jīng)常隨時間而不斷變化毛片一区二区三区2级大全,這也對企業(yè)級應(yīng)用平臺提出了很高的要求。企業(yè)級應(yīng)用平臺必須要能適應(yīng)需求的變化中文字摹人,即具有可擴展性www.天堂.av。比如移動互聯(lián)網(wǎng)2C應(yīng)用,隨著互聯(lián)網(wǎng)企業(yè)的業(yè)務(wù)規(guī)模不斷增大十八岁禁huangse网站,業(yè)務(wù)變得越來越復(fù)雜,并發(fā)用戶請求越來越多沈阳45熟女露脸视频对白,要處理的數(shù)據(jù)也越來越多日韩丝袜清纯自拍视频,這個時候企業(yè)級應(yīng)用平臺必須能夠適應(yīng)這些變化,支持高并發(fā)訪問和海量數(shù)據(jù)處理欧美国产黄视频。分布式系統(tǒng)有良好的可擴展性亚洲人人看a,可以通過增加服務(wù)器數(shù)量來增強分布式系統(tǒng)整體的處理能力,以應(yīng)對企業(yè)的業(yè)務(wù)增長帶來的計算需求增加99riav.c0m。
2.2 分布式存儲的問題 – CAP理論
如果我們期待實現(xiàn)一套嚴(yán)格滿足ACID的分布式事務(wù)国产欧美日韩免费影片在线观看,很可能出現(xiàn)的情況就是系統(tǒng)的可用性和嚴(yán)格一致性發(fā)生沖突。在可用性和一致性之間永遠無法存在一個兩全其美的方案一级黄色免费录像片。由于NoSQL的基本需求就是支持分布式存儲国产无码大黄网站,嚴(yán)格一致性與可用性需要互相取舍,由此延伸出了CAP理論來定義分布式存儲遇到的問題欧美456视频。
CAP理論告訴我們:一個分布式系統(tǒng)不可能同時滿足一致性(C:Consistency)迷奸黄色网站在线观看、可用性(A:Availability)、分區(qū)容錯性(P:Partitiontolerance)這三個基本需求国产中文福利,并且最多只能滿足其中的兩項,国产精品第一页。
對于一個分布式系統(tǒng)來說,分區(qū)容錯是基本需求人人搞人人爽,否則不能稱之為分布式系統(tǒng)97精品视频在线观看。因此架構(gòu)師需要在C和A之間尋求平衡。
HBase 的物理存儲
HBase 表中的所有行都是按照行鍵的字典序排列的国产一区女。
因為一張表中包含的行的數(shù)量非常多国产精品一区馆在线,有時候會高達幾億行,所以需要分布存儲到多臺服務(wù)器上免费看污的日韩操。
因此超碰人人人福利,當(dāng)一張表的行太多的時候人人费人人操,HBase 就會根據(jù)行鍵的值對表中的行進行分區(qū),每個行區(qū)間構(gòu)成一個“分區(qū)(Region)”亚洲另类图片专区,
包含了位于某個值域區(qū)間內(nèi)的所有數(shù)據(jù)成人网站日韩在线视频观看,如圖 1 所示。
圖 1 HBase的Region存儲模式圖
Region 是按大小分割的美女被干免费网站,每個表一開始只有二個 Region黄片aaaaaaa片,隨著數(shù)據(jù)不斷插入到表中2022最新理论片韩国在线看,Region 不斷增大,
當(dāng)增大到一個閾值的時候,Region 就會等分為兩個新的 Region欧美熟女精品视频一区二区三区。
當(dāng)表中的行不斷增多時,就會有越來越多的 Region成年WWXX视频在线观看,如圖 2 所示欧美日韩国产综合草草。
圖 2 HBase的Region分裂示意
Region 是 HBase 中數(shù)據(jù)分發(fā)和負載均衡的最小單元,默認(rèn)大小是 100MB 到 200MB黄色网站久久aaa。
不同的 Region 可以分布在不同的 Region Server 上人成在线免费网,但一個 Region 不會拆分到多個 Region Server 上。
每個 Region Server 負責(zé)管理一個 Region 集合免费无码高精品视频色欲。
如圖 3 所示白丝袜免费又黄又爽视频。
圖 3 HBase的Region分布模式
Region 是 HBase 在 Region Server 上數(shù)據(jù)分發(fā)的最小單元,但并不是存儲的最小單元乱伦性爱一区无码。
事實上女人18特级一级毛片免费视频,每個 Region 由一個或者多個 Store 組成,每個 Store 保存一個列族的數(shù)據(jù)男人的天堂人人摸人人操。
每個 Store 又由一個 memStore 和 0 至多個 Store File 組成黄色视频免费A,如圖 4 所示。
Store File 以 HFile 格式保存在 HDFS 上国内熟妇人妻色在线视频99。
圖 4 HBase的Region存儲模式
HBase 的邏輯架構(gòu)
在分布式的生產(chǎn)環(huán)境中人人人摸人人操,HBase 需要運行在 HDFS 之上,以 HDFS 作為其基礎(chǔ)的存儲設(shè)施狼友视频免费网站。
HBase 的上層是訪問數(shù)據(jù)的 Java API 層国产成人动作片福利姬在线播放,供應(yīng)用訪問存儲在 HBase 中的數(shù)據(jù)。
HBase 的集群主要由 Master2021国产三级片在线观看、Region Server 和 Zookeeper 組成aaa级一级特级黄色网页,
具體模塊如圖 5 所示。
圖 5 HBase的系統(tǒng)架構(gòu)
1)Master
Master 主要負責(zé)表和 Region 的管理工作大人看的网站。
表的管理工作主要是負責(zé)完成增加表18禁se网站、刪除表、修改表和查詢表等操作。
Region 的管理工作更復(fù)雜一些91久久精品无码一区二区精品,Master 需要負責(zé)分配 Region 給 Region Server晚上看的91网站,協(xié)調(diào)多個 Region Server,檢測各個 Region Server 的狀態(tài)一级a一级a爰片免费免免黄,并平衡 Region Server 之間的負載欧美黄色性生活视频。
當(dāng) Region 分裂或合并之后,Master 負責(zé)重新調(diào)整 Region 的布局97式性爱视频。如果某個 Region Server 發(fā)生故障欧美偷拍一区二区三区,Master 需要負責(zé)把故障 Region Server 上的 Region 遷移到其他 Region Server 上。
HBase 允許多個 Master 結(jié)點共存国产一区二区丁香婷婷,但是這需要 Zookeeper 進行協(xié)調(diào)国产嫖妓风韵犹存对白。當(dāng)多個 Master 結(jié)點共存時,只有一個 Master 是提供服務(wù)的日欧美老女人,其他的 Master 結(jié)點處于待命的狀態(tài)欧美性爱精品一级片。
當(dāng)正在工作的 Master 結(jié)點宕機時,其他的 Master 則會接管 HBase 的集群yy亚洲人成电影网站色。
2)RegionServer
HBase 有許多個 Region Server亚洲黄男女网,每個 Region Server 又包含多個 Region。Region Server 是 HBase 最核心的模塊久久久久久黄色片,負責(zé)維護 Master 分配給它的 Region 集合,并處理對這些 Region 的讀寫操作日本ww╳╳╳╳╳╳Ⅹ╳。
Client 直接與 Region Server 連接美女汚汚无遮挡免费视频,并經(jīng)過通信獲取 HBase 中的數(shù)據(jù)。
HBase 釆用 HDFS 作為底層存儲文件系統(tǒng)欧美日韩国产手机在线观看视频,Region Server 需要向 HDFS 寫入數(shù)據(jù)日本超碰97人人爽人人爱,并利用 HDFS 提供可靠穩(wěn)定的數(shù)據(jù)存儲。
Region Server 并不需要提供數(shù)據(jù)復(fù)制和維護數(shù)據(jù)副本的功能操操av网。
3)Zookeeper
Zookeeper 的作用對 HBase 很重要igao.com视频在线。
首先,Zookeeper 是 HBase Master 的高可用性(High Available免费va欧美高清不卡一区在线,HA)解決方案日韩欧美亚洲中文字幕看。
也就是說,Zookeeper 保證了至少有一個 HBase Master 處于運行狀態(tài)特黄一91。
Zookeeper 同時負責(zé) Region 和 Region Server 的注冊农村女人一级毛片20岁的毛片。
HBase 集群的 Master 是整個集群的管理者,它必須知道每個 Region Server 的狀態(tài)91情侣偷在线精品国产。
HBase 就是使用 Zookeeper 來管理 Region Server 狀態(tài)的性爱激情小说视频。
每個 Region Server 都向 Zookeeper 注冊,由 Zookeeper 實時監(jiān)控每個 Region Server 的狀態(tài),并通知給 Master三级片免费观看视频。
這樣91精品免费一区二区三区,Master 就可以通過 Zookeeper 隨時感知各個 Region Server 的工作狀態(tài)。
需要搭建 ZooKepper 集群 午夜摸一摸A片, 采取奇數(shù)作為基礎(chǔ)亚洲免费的中文小说图片, 要不斷選取出唯一的領(lǐng)導(dǎo)者 。
然后在搭建 Hbase 集群一级婬片A片免费播放视频。
Hlog = Mysql 中的 bingLog
Hbase 邏輯架構(gòu)
安裝 Hbase
1日韩在线电影网中文字幕、下載軟件從 hbase.apache.com
2、上傳到 \bigdata\tools
3欧美性爱片网站、tar -zxvf hbase-1.2.3tar.gz
4黄色网站视频污污污黄色、cd /bigdata/tools/hbase1.2.3/config
5、vi hbase-env.sh
export ...
6亚洲性爱区第一页、vi hbase-site.xml
我們上課說的: start-hbase.sh
查看: jsp 或者 http://192.168.1.119:16030
安裝一個插件 Phoenix 欧美男女性潮免费福利看, 就可以用 mysql 數(shù)據(jù)庫的命令看了 , 等于是一個 shell .
API可以在 Java后端做軟件查看 人人看人人看。
第四周青青青手机视频在线, 盧老師筆記--------------------------------------------------------------------------------------------------
HBase 是一個高可靠性、高性能在线观看免费黄色网站、面向列欧美性视品、可伸縮的分布式存儲系統(tǒng)。
利用PC搭建大規(guī)模的結(jié)構(gòu)化存儲集群黄色网站免费看a片。
HBase -> Google Bigtable開源實現(xiàn)作爱免费视频网站。GFS <- HDFS 2006 powerset jim
2008 Apache Hadoop
Intel
Yahoo
baidu
alibaba
tencent
360
回顧一下傳統(tǒng)關(guān)系型數(shù)據(jù)庫
1、有事務(wù)的保障 ACID 原子性欧美性爱αV在线视频、一治性欧美精品性、隔離性、持久性
2在线观看黄A片免费网站AI换你、豐富的數(shù)據(jù)類型和sql操作
3又刺激又黄色网站、嚴(yán)格的數(shù)據(jù)類型,及行式存儲
關(guān)系型數(shù)據(jù)庫在高并發(fā)av大片网站、大數(shù)據(jù)應(yīng)對方式:
高并發(fā):
措施:分庫分表 久久精品国产高潮AV、讀寫分離
帶來數(shù)據(jù)一致性問題
海量數(shù)據(jù):
措施:分庫分表
實現(xiàn)復(fù)雜,后期遷移復(fù)雜
路由自定義
高可用亚洲观看一区二区三区、可靠亚洲男人天堂AV网站在线观看不卡、可伸縮、
措施:主備免费看很黄很黄A片夜色直播、主從免费人成网址在线播放、多主
本身擴展性差国产一级淫片A片AA片男,增加節(jié)點宕機需要做數(shù)據(jù)遷移
HBase特點:
大表:一個表有上億行,上百萬列
面向列:面向列族的存儲国产在线精选,列族獨立檢索
稀疏:對于空(null)的列永久免费黄色毛片,不占用空間
。欧美一A片网站。999日本男人天堂啊啊啊。
分布式數(shù)據(jù)庫hbase特點:
基于列式高效存儲
強一致數(shù)據(jù)訪問
高可靠
高性能
可伸縮,自由切分国产精品免费观看26uuu、遷移
Schema free
RowKey
:與nosql數(shù)據(jù)庫一樣人人操人人爽夜夜爽,row key是用來檢索記錄的主鍵。
而且可以訪問hbase table中行亚洲啪啪黄片,只有三方法:
118AⅤ视频、通過單個row key進行訪問
2、通過row key的range進行訪問
3国产浓毛熟女免费视频、全表掃描
row key行鍵中国毛片黄色视频,64kb,實際應(yīng)用長度一般10~100ytes,在hbase內(nèi)部A片三集片在线hu免费,row key保存為字節(jié)數(shù)組很爽的超薄肉色丝袜脚交。存儲時,數(shù)據(jù)按row key的字典順序排序存儲毛片视频免费看。
Columns family
列族:
hbase表中的每個列曰本特黄免费视频在线观,都歸屬于某個列族。
列族是表的schema的一部分国产全黄A级A片一免费,而列不是黄色视频一区二区免费,必須在使用表之前進行定義。
列名都以列族作為前綴三级做a视频免费观看。
courses:history, courses:math都屬于courses這個列族。
Time Stamp
時間戳:
hbase中通過row和columns確定的為一個存儲單元:cell
每個cell都保存著同一份數(shù)據(jù)的多個版本老女人自卫视频。版本通過時間戳來做索引www.精品2区三上悠亚.com。時間戳的類型是64位整型。
時間戳也可以由hbase系統(tǒng)進行賦值欧美性爱污视频,可以精確到毫秒中文字幕一区二区三区人妻少妇,當(dāng)然也可以由客戶顯示賦值。
每個cell中深夜免费A级毛片无码视频,不同版本的數(shù)據(jù)按時間倒序排序riAV网,最新的數(shù)據(jù)排在最前面。為了避免數(shù)據(jù)存在過多版本造成的管理負擔(dān)www.欧美亚洲日韩,hbase提供兩種回收方式欧美日韩专区国产一区,一是保存數(shù)據(jù)最后的n個版本,二保存最近一段時間內(nèi)版本(比如最近7天),用戶可以針對每個列族進行設(shè)置美女扒开腿让我爽视频软件网站。
Cell
由row key + column ,version唯一確定單元国产亚洲一二三,cell中的數(shù)據(jù)是沒有類型的,全是字節(jié)碼形式存儲久久亚洲精品无码aⅴ大香。
Cell的內(nèi)容是不可分割的字節(jié)數(shù)組日韩激情无码一级毛片多人。
無類型、字節(jié)碼国产激情无码专区。
物理存儲
在hbase table中所有的行都按row key的字典序排列aa专区。
table在行的方向上分割為多個hregion
Region按大小分割的,每個表一開始只有一個region国产三级片免费无码手机版,隨著數(shù)據(jù)不斷插入表在线观看国产爆草视频免费,region不斷增大,當(dāng)增大到一定閥值時候羞羞网站在线,Hregion就會分成兩個新hregion
HRegion是Hbase中分布式存儲和負載均衡的最小單元成人蕾丝电影在线播放视频免费,最小單元就表示不同的Hregion可以分布在不同的hregion server上,但一個hregion是不會折分到多個server
Store:
Hregion雖然是分布式存儲的最小單元免费黄色丝袜网站,但并不是存儲的最小元真实普通话对白嫖妓视频,在下層還有store,而store是以hfile的格式保存在hdfs上欧美一级电影片。
HFile:
1欧美性爱插插插、Data Block
保存表中的數(shù)據(jù),這部分可以被壓縮久久人人超国产三级。
2jizzjizzzz中国、Meta Block
保存用戶自定義的kv對,可以被壓縮
3欧美精品午夜在线视频、Data Block Index
Data Block索引精品一区论坛,每條索引的key是被索引的block的第一條記錄的key
4、Meta Block Index
Meta Block索引.
5黄色美女视频裸视频网站、Trailer
是定長的亚洲图欧美日韩小说在线,保存每一段的偏移量。在讀取一個hfile時国产精品视频人体,會首先讀取Trailer,Trailer保存了每個段的起始位置99级A片,然后,DataBlockIndex會被讀取到內(nèi)存中欧美日韩国产青色,這樣在线观看国产mm免费视频,當(dāng)檢索某個key時,不需要掃描整個HFile一级毛片久久精品,而只需要從內(nèi)存中找到key所在的blok乱人伦中文视频在线香蕉,通過一次磁盤io色WWW永久免费,可以將整個block讀取到內(nèi)存中,再找到需要的key免费看黄污。DataBlockInde采用LRu機制淘汰欧美一级日本。
HFile的DataBlock,MetaBlock通常采用壓縮方式進行存儲美女18黄色,壓縮后可以減少磁盤io人人着人人摸人人操,相應(yīng)的cpu的開支也會減少。
6国产精品九、File Info
是HFile的元信息国产免费观看下载AV大片的网站,不被壓縮,用記可以在這一段添加自己的元信息男人网站天堂。
目前HFile的壓縮支持兩種方式:GZip求一个免费在线观看的黄色网站、Lzo
Hlog:
Hlog類似于mysql 中的binlog,用來做災(zāi)難恢復(fù)日韩视频在线国产,hlog記錄了所有數(shù)據(jù)的變更尤物视频入口,一但數(shù)據(jù)修改,都可以在log里面進行恢復(fù)性欧美日本。
注意:每個Region Server維護一個Hlog人人妻人人添人人爽欧美一区91,而不是每個Region一個
這樣不同的Region的日志會混合在一起,這樣做的目的免费黄色欧美,是不斷追加單個文件相對于同時寫多個文件而言国产精品H在线播放第一页,可以減少磁盤尋址次數(shù)。所以可以提高對table的寫的性能久久是出精品。
Hlog 文件就是一個hadoop squence file 人人射人人操人人骑人人插,squence file的key是hlogkey的對象,hlogkey記錄了寫入數(shù)據(jù)的歸屬信息91人妻久久久精品99系列。除了table和region名字之外无码免费A片久久,同時還包括sequence number和time stamp,time stamp是寫入時間激情文学综合区图片区小说区,sequence number和的起始值為0中国体内精谢视频免费,或者是最近一次存儲文件 系統(tǒng)的sequence number。
Client:
訪問hbase接口欧美特色A片在线观看网站,維護著region位置的緩存信息。
Zookeeper:
保證任何時候来个能看的黄网,集群中只有一個master
存儲所有Region的尋址入口黄色视频制服网站。
實時監(jiān)控Region Server的狀態(tài),將上下線信息通知master
存儲hbase的schema国产成人精品一区二三区,包括有哪些table国产欧美日韩另类一区,每個table有哪些column family
Master
為Region Server分配region
負載region server的負載均衡
發(fā)現(xiàn)失效的region server并重新分析其上的region
GFS上的垃圾文件回收
處理schema更新請求99色精品视频。
Region Server
維護master分配給它的region,處理io請求
負責(zé)切分過大的region成品网站黄色网站高清,可以看到client訪問hbase上數(shù)據(jù)的過程并不需要master參與精品视频一区二区在线导航。
HBase安裝部署與配置:
單機、集群
1麻豆AV免费看、上傳hbase安裝包
2欧美性爱做、解壓hbase文件 tar -zxvf hbase-1.2.3.tar.gz
3、cd /bigdata/tools/hbase1.2.3/conf
4一级黄片视频免费看、修改hbase-env.sh
export JAVA_HOME=/bigdata/tools/jdk1.7
export HBASE_CLASSPATH=/bigdata/tools/hbase1.2.3/conf
export HBASE_MANAGERS_ZK=true
5亚洲黄色一级a片、修改hbase-site.xml
6、配置region servers文件及hbase環(huán)境變量
regionservers文件增加集群節(jié)點ip
192.168.1.119
192.168.1.120
192.168.1.121
配置hbase環(huán)境變量
export HBASE_HOME=/bigdata/tools/hbase1.2.3/
export PATH=$PATH:/bigdata/tools/hbase1.2.3/bin
source /etc/profile
7中文自拍日韩在线视频网站、啟動hbase
start-hbase.sh
8国产国产精品偷在线观看、查看hbase進程
jsp
DataNode
SecondaryNamenode
NameNode
ResourceManger
NodeManager
HRegionServer
Hmaster
JobTracker
TaskTracker
QuorumpeerMain
9、通過http頁面進行查看
http://192.168.1.119:16030
hbase shell基本用法:
1成人野外激情免费观看视频网站下载、建立一個表scoresAa一级片公司室,有兩個列族,grad和courese
create 'scores','grade','courese'
291地址国产一区、查看hbase中的所有的表:
list
3色欲天天影院视频、查看表結(jié)構(gòu):
describe 'scores'
4、按設(shè)計的表結(jié)構(gòu)插入值:
put 'scores','tom','grade','5'
put 'scores','tom','courese:math','97'
put 'scores','Jim','courese:art','87'
put 'scores','Jim','grade','4'
5黄色片视频免费、根據(jù)鍵值查詢數(shù)據(jù)
get 'scores','Jim'
get 'scores','Jim','grade'
6欧美操逼视频网站免费看、查看表中所有數(shù)據(jù)
scan 'scores'
7、刪除指定數(shù)據(jù)
delete 'scores','Jim','grage'
8日本A八性爱视频、修改表結(jié)構(gòu)
disable 'scores'
alter 'scores', NAME=>'info'
enable 'scores'
9国内外激情在线视频频、統(tǒng)計行數(shù)
count 't1'
10、刪除表
disable 'scores'
drop 'scores'
API
1亚洲综合色图小说、初始化配置
publice class HBaseTest{
private static Configuration conf = null;
Cinfuguration HBASE_CONF = new Configuration()
HBASE_CONF.set('hbase.master','192.168.1.119:60000')
HBASE_CONF.set('hbase.zookeeper.quorum','hsslave1,hsslave2,hsslave3')
.set('hbase.zookeeper.property.clientport','2181')
conf = HBaseconfiguration.create(HBASE_CONF)
}
2欧洲性网站、創(chuàng)建一張表
public static void createTable(String tableName,String[] familys)throws Exception{
HBaseAdmin admin = new HBaseAdmin(conf)
HTableDescripor tableDes = new HTbaleDescriptor(tableName)
tableDes.addFamily(new HColumnDescriptor(familys[i]))
admin.createTable(tableDes)
}
3、插入一條數(shù)據(jù)
4性欧美XXXX18HD视频、刪除一行數(shù)據(jù)
51000部国产怕怕怕精品、查詢一條記錄
6、查詢所有數(shù)據(jù)
3日韩精品美女网页在线观看免费、刪除一張表
-------------------------------------------------------------------------------------------