第二周 深圳模具- 搭建 hadoop 大數(shù)據(jù)集群 ，linux , 虛擬機
深圳模具-搭建 hadoop 大數(shù)據(jù)集群
***電腦中要先有如下內(nèi)容：
點擊安裝虛擬機
輸入16位許可證碼，按 《輸入》
結(jié)束虛擬機安裝亚洲最大黄色网站免费， 接下來安裝 Centos 操作系統(tǒng)殴美伊人一本在线观看av。
在屏幕上點擊虛擬機圖標 ：
出現(xiàn)下面的封面
點擊創(chuàng)建新的虛擬機
按 自定義 ， 然后 下一步欧美大逼逼。
選擇 Centos 64 bit
按 完成 以后
點擊后美女网站免费黄， 出現(xiàn)安裝 centos 的界面， 完成后出現(xiàn)圖形界面
選擇 Otehr , 輸入 root hadoop 進入系統(tǒng)
至此日韩欧美女自拍图片大全视频网站， 前面的安裝完成美女视频激烈一级毛片， 可以按 終端 進入 # 狀態(tài)
1av在线免费观看色涩网址、準備linux環(huán)境
1.1、修改主機名 # vi /etc/sysconfig/network
HOSTNAME=hsmaster
1.2欧洲黄片免费看、修改ip
第一種方法：通過圖形界面方式進行修改av中文不卡在线看，
第二種方法通過命令進行修改：
# vi /etc/sysconfig/network-scripts/ifcfg-eth0
BOOPROTO="static"
IPADDR=192.168.1.119
GATEWAY=192.168.1.1
1.3、修改主機名和ip的映射關(guān)系
# vi /etc/hosts
192.168.1.119 hsmaster
192.168.1.120 hsslave1
192.168.1.121 hsslave2
《如果有 10臺電腦亚洲色成a在线网， 也是這樣配置》
1.4欧美一级在线日本、關(guān)閉防火墻
# service iptables status
# service iptables stop
# chkconfig iptables off
1.5、重啟linux
# reboot
2无国产A片马上打开、安裝jdk
2.1欧美特级A禁片在线观看、上傳jdk文件 to /bigdata/tools
2.2、解壓jdk tar -zxvf jdk-7u79-linux-i586.tar.gz
2.3人人操人人干人人玩、配置java環(huán)境變量
# vi /etc/profile
export JAVA_HOME=/bigdata/tools/jdk1.7.0_79
export PATH=$PATH:$JAVA_HOME/bin
397超碰人人摸、配置ssh免登錄
1.1、 ssh-keygen -t rsa 一路回車生成密鑰
1.2国产真人一级爱做片、 id_rsa.pub 追加授權(quán)Key cat ~/.ssh/id_rst.pub >> ~/.ssh/authorized_keys
1.3国产一级A片在线直播、 修改權(quán)限
chmod 666
1.4、 將公共密鑰復(fù)制到其它節(jié)點
還是需要修改權(quán)限
1.5自拍日韩在线视频播放器、 重啟ssh服務(wù)
1.6国产普通话在线视频噜噜噜、 檢查配置文件
1.7、 驗證ssh免登錄是否成功
# cat /etc/ssh/
4亚洲一区二区无码精品色偷、搭建hadoop集群
4.1se网站在线观看、上傳文件
窗口下可以拖拽進入虛擬機
4.2、 解壓hadoop文件
tar
4.3处女福利视频、 配置hadoop-env.sh文件
修改絕對路徑
4.4中文字幕一级黄片、 配置core-site.xml文件
4.5、 配置hdfs-site.xml文件
4.6国产精品一区第一页、 配置mapred-site.xml文件
4.7亚洲熟妇日本分类、 配置yarn-site.xml文件
4.8、 配置環(huán)境變量
4.9第一福利在线观看、 將文件復(fù)制到其它節(jié)點上
4.10婷婷丁香五月天欧美中文、 進行格式操作
# hdfs namenode -format
4.11、 啟動hadoop sbin/ ./start-all.sh
4.12美国操逼网站、 驗證集群是否啟動成功
# jps
NameNode
DataNode
NodeManager
ResourceManager
SecondaryNameNode
4.13男女猛烈无摭挡免费视频、 登錄界面進行查看：
HDFS管理界面： http://192.168.1.119:50070
MR管理界面： htpp://192.168.1.119:8088
----------------------------------------------------------------下面是第三周
深圳模具-正式學(xué)習(xí)使用 hadoop 大數(shù)據(jù)集群
一、HDFS相關(guān)命令：
1呦女网址、查看HDFS下目錄結(jié)構(gòu)及文件 hdfs dfs -ls -R /
2亚洲色偷精品一区二区三区粗大猛、創(chuàng)建文件目錄/tmp hdfs dfs -mkdir /tmp
3、刪除/tmp目錄 hdfs dfs -rm -r /tmp
4、復(fù)制當(dāng)前目錄下a.txts到HDFS文件系統(tǒng) hdfs dfs -put a.txt /inputFile
5不卡的av网站、列出/tmp目錄 hdfs dfs -ls /tmp
6亚洲女同另类、查看/inputFile/a.txt文件內(nèi)容 hdfs dfs -cat /inputFile/a.txt
7、查看HDFS狀態(tài) hdfs dfsadmin -report
用這個命令可以快速定位出哪些節(jié)點down掉了97偷自拍亚洲综合，HDFS的容量以及使用了多少欧美3p，
以及每個節(jié)點的硬盤使用情況。當(dāng)然NameNode有個http頁面也可以查詢欧美老妇性A片高清视频，
但是這個命令的輸出更適合我們的腳本監(jiān)控dfs的使用狀況毛片一区二区三区2级大全。
下面是關(guān)于 YARN 的操作：
yarn.nodemanager.aux-service
spark_shuffle
mapreduce_shuffle 要引入對應(yīng)的架包
yarn.nodemanager.aux-services.mapreduce_shuffle.class
采用 FIFO的方式， 這個方式并不好 又色又黄又爽app2020， 好的方式是 公平調(diào)度-Fair .
org.apache.hadoop.mapred.ShuffleHandler
yarn.nodemanager.aux-services.spark_shuffle.class
org.apache.spark.network.yarn.YarnShuffleServic
FairScheduler.xml
yarn.scheduler.fair.user-as-default-queue false true
yarn.scheduler.fair.preemption false true
yarn.resourcemanager.scheduler
org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler
spark.shuffle.service.port 7337
第四周
Hbase 黄色性爱小视频。
Hbase -> Google bigtable 開源實現(xiàn) ---2008年----> apache hadoop 下面的項目
采用的公司 ： Facebook Intel yahoo baidu alibaba tencent 360 等等 nosql 數(shù)據(jù)庫
SQL (Structured Query Language) 數(shù)據(jù)庫，指關(guān)系型數(shù)據(jù)庫毛片A片一级视频免费看。
主要代表：SQL Server最新日本三级片，Oracle，MySQL(開源)在线看黄官网，PostgreSQL(開源)福利一区视频。
NoSQL（Not Only SQL）泛指非關(guān)系型數(shù)據(jù)庫。
主要代表：MongoDB欧美一级A片视频在线播放，Redis亚洲欧美日韩国产综合久，CouchDB。 supersech hbase , kylin , chiohouse phesto
關(guān)系型數(shù)據(jù)庫的特點： 面向行的国产欧美日韩免费影片在线观看， Nosql 是面向列的。
高并發(fā)狀態(tài)下： 分庫分表 讀寫分離 帶來數(shù)據(jù)一致性問題 一级黄色免费录像片，海量數(shù)據(jù)實現(xiàn)出來很復(fù)雜国产无码大黄网站，后期遷移也很復(fù)雜。
高可用欧美456视频，可靠性迷奸黄色网站在线观看，可伸縮性的措施： 主備 、 主從 国产中文福利、 多主,国产精品第一页。 本身的可擴展性很差。 增加節(jié)點或者宕機要做遷移人人搞人人爽。
Hbase 首先是一個大表97精品视频在线观看。
1.關(guān)系型數(shù)據(jù)庫理論 - ACID
ACID，是指數(shù)據(jù)庫管理系統(tǒng)（DBMS）在寫入或更新資料的過程中国产一区女，為保證事務(wù)（transaction）是正確可靠的国产精品一区馆在线，
所必須具備的四個特性：原子性（atomicity，或稱不可分割性）成年人视频黄色网站、一致性（consistency）美女乱肏屄视频、
隔離性（isolation在线观看欧美一级片，又稱獨立性）、持久性（durability）天天透天天狠狠狠的。
A – Atomicity – 原子性
一個事務(wù)（transaction）中的所有操作国产精品不卡无码AV在线播放，要么全部完成，要么全部不完成亚州一级特黄片免费视频在线，不會結(jié)束在中間某個環(huán)節(jié)亚洲自偷自偷图片在线。
事務(wù)在執(zhí)行過程中發(fā)生錯誤，會被回滾（Rollback）到事務(wù)開始前的狀態(tài)三级做a全过程在线观看软件，就像這個事務(wù)從來沒有被執(zhí)行過一樣国产激情全集在线观看视频。
C – Consistency – 一致性
在事務(wù)開始之前和事務(wù)結(jié)束以后，數(shù)據(jù)庫的完整性沒有被破壞欧美一级电影在线看。這表示寫入的資料必須完全符合所有的預(yù)設(shè)規(guī)則国产一品二品三品色网站免费，
這包含資料的精確度、串聯(lián)性以及后續(xù)數(shù)據(jù)庫可以自發(fā)性地完成預(yù)定的工作黄色网站久久aaa。
I – Isolation – 隔離性
數(shù)據(jù)庫允許多個并發(fā)事務(wù)同時對其數(shù)據(jù)進行讀寫和修改的能力人成在线免费网，隔離性可以防止多個事務(wù)并發(fā)執(zhí)行時
由于交叉執(zhí)行而導(dǎo)致數(shù)據(jù)的不一致。事務(wù)隔離分為不同級別免费无码高精品视频色欲，包括讀未提交（Read uncommitted）白丝袜免费又黄又爽视频、
讀提交（read committed）、可重復(fù)讀（repeatable read）和串行化（Serializable）乱伦性爱一区无码。
D – Durability – 持久性
事務(wù)處理結(jié)束后女人18特级一级毛片免费视频，對數(shù)據(jù)的修改就是永久的，即便系統(tǒng)故障也不會丟失男人的天堂人人摸人人操。
關(guān)系型數(shù)據(jù)庫嚴格遵循ACID理論黄色视频免费A。
但當(dāng)數(shù)據(jù)庫要開始滿足橫向擴展、高可用精品欧美在线精品欧美在线、模式自由等需求時panjinlian5.com，需要對ACID理論進行取舍，不能嚴格遵循ACID日韩另类制服丝袜自拍视频在线。
以CAP理論和BASE理論為基礎(chǔ)的NoSQL數(shù)據(jù)庫開始出現(xiàn)亚洲AAA久久。
2.分布式系統(tǒng)理論
2.1 分布式系統(tǒng)介紹
分布式系統(tǒng)的核心理念是讓多臺服務(wù)器協(xié)同工作，完成單臺服務(wù)器無法處理的任務(wù)碰碰视频国产，尤其是高并發(fā)或者大數(shù)據(jù)量的任務(wù)国产对白自拍小视频免费观看在线。分布式是NoSQL數(shù)據(jù)庫的必要條件。
分布式系統(tǒng)由獨立的服務(wù)器通過網(wǎng)絡(luò)松散耦合組成的久久久性交。每個服務(wù)器都是一臺獨立的PC機18禁se网站，服務(wù)器之間通過內(nèi)部網(wǎng)絡(luò)連接，內(nèi)部網(wǎng)絡(luò)速度一般比較快。因為分布式集群里的服務(wù)器是通過內(nèi)部網(wǎng)絡(luò)松散耦合91久久精品无码一区二区精品，各節(jié)點之間的通訊有一定的網(wǎng)絡(luò)開銷晚上看的91网站，因此分布式系統(tǒng)在設(shè)計上盡可能減少節(jié)點間通訊。此外一级a一级a爰片免费免免黄，因為網(wǎng)絡(luò)傳輸瓶頸欧美黄色性生活视频，單個節(jié)點的性能高低對分布式系統(tǒng)整體性能影響不大。比如97式性爱视频，對分布式應(yīng)用來說欧美偷拍一区二区三区，采用不同編程語言開發(fā)帶來的單個應(yīng)用服務(wù)的性能差異，跟網(wǎng)絡(luò)開銷比起來都可以忽略不計国产一区二区丁香婷婷。
因此国产嫖妓风韵犹存对白，分布式系統(tǒng)每個節(jié)點一般不采用高性能的服務(wù)器，而是使用性能相對一般的普通PC服務(wù)器日欧美老女人。提升分布式系統(tǒng)的整體性能是通過橫向擴展（增加更多的服務(wù)器）欧美性爱精品一级片，而不是縱向擴展（提升每個節(jié)點的服務(wù)器性能）實現(xiàn)。
分布式系統(tǒng)最大的特點是可擴展性韩国一级婬乱片高清视频一，它能夠適應(yīng)需求變化而擴展粉色毛片网址。企業(yè)級應(yīng)用需求經(jīng)常隨時間而不斷變化，這也對企業(yè)級應(yīng)用平臺提出了很高的要求女被男c网站。企業(yè)級應(yīng)用平臺必須要能適應(yīng)需求的變化色综合视频网，即具有可擴展性。比如移動互聯(lián)網(wǎng)2C應(yīng)用大陆日子一级片亚洲，隨著互聯(lián)網(wǎng)企業(yè)的業(yè)務(wù)規(guī)模不斷增大午夜AAA精品视频免费观看，業(yè)務(wù)變得越來越復(fù)雜，并發(fā)用戶請求越來越多日韩性爱不卡无码av，要處理的數(shù)據(jù)也越來越多免费强奸网，這個時候企業(yè)級應(yīng)用平臺必須能夠適應(yīng)這些變化，支持高并發(fā)訪問和海量數(shù)據(jù)處理igao.com视频在线。分布式系統(tǒng)有良好的可擴展性，可以通過增加服務(wù)器數(shù)量來增強分布式系統(tǒng)整體的處理能力免费va欧美高清不卡一区在线，以應(yīng)對企業(yè)的業(yè)務(wù)增長帶來的計算需求增加日韩欧美亚洲中文字幕看。
2.2 分布式存儲的問題 – CAP理論
如果我們期待實現(xiàn)一套嚴格滿足ACID的分布式事務(wù)，很可能出現(xiàn)的情況就是系統(tǒng)的可用性和嚴格一致性發(fā)生沖突特黄一91。在可用性和一致性之間永遠無法存在一個兩全其美的方案农村女人一级毛片20岁的毛片。由于NoSQL的基本需求就是支持分布式存儲，嚴格一致性與可用性需要互相取舍91情侣偷在线精品国产，由此延伸出了CAP理論來定義分布式存儲遇到的問題性爱激情小说视频。
CAP理論告訴我們：一個分布式系統(tǒng)不可能同時滿足一致性(C:Consistency)、可用性(A:Availability)、分區(qū)容錯性(P:Partitiontolerance)這三個基本需求三级片免费观看视频，并且最多只能滿足其中的兩項91精品免费一区二区三区。
對于一個分布式系統(tǒng)來說，分區(qū)容錯是基本需求午夜摸一摸A片，否則不能稱之為分布式系統(tǒng)亚洲免费的中文小说图片。因此架構(gòu)師需要在C和A之間尋求平衡。
HBase 的物理存儲
HBase 表中的所有行都是按照行鍵的字典序排列的欧美一级日逼视频。
因為一張表中包含的行的數(shù)量非常多美女自慰喷水黄色网站，有時候會高達幾億行，所以需要分布存儲到多臺服務(wù)器上三级黄视频一区二区三。
因此永久看免费a级毛片，當(dāng)一張表的行太多的時候，HBase 就會根據(jù)行鍵的值對表中的行進行分區(qū)黄色网站观，每個行區(qū)間構(gòu)成一個“分區(qū)（Region）”邪恶帝★全彩邪恶爱，
包含了位于某個值域區(qū)間內(nèi)的所有數(shù)據(jù)，如圖 1 所示人人看人人看。
圖 1 HBase的Region存儲模式圖
Region 是按大小分割的青青青手机视频在线，每個表一開始只有二個 Region，隨著數(shù)據(jù)不斷插入到表中在线观看免费黄色网站，Region 不斷增大欧美性视品，
當(dāng)增大到一個閾值的時候，Region 就會等分為兩個新的 Region黄色网站免费看a片。
當(dāng)表中的行不斷增多時作爱免费视频网站，就會有越來越多的 Region，如圖 2 所示欧美性爱αV在线视频。
圖 2 HBase的Region分裂示意
Region 是 HBase 中數(shù)據(jù)分發(fā)和負載均衡的最小單元欧美精品性，默認大小是 100MB 到 200MB。
不同的 Region 可以分布在不同的 Region Server 上在线观看黄A片免费网站AI换你，但一個 Region 不會拆分到多個 Region Server 上又刺激又黄色网站。
每個 Region Server 負責(zé)管理一個 Region 集合。
如圖 3 所示av大片网站。
圖 3 HBase的Region分布模式
Region 是 HBase 在 Region Server 上數(shù)據(jù)分發(fā)的最小單元久久精品国产高潮AV，但并不是存儲的最小單元。
事實上欧美变态深喉囗交视频BD，每個 Region 由一個或者多個 Store 組成黑人AAAAAAAA片免费，每個 Store 保存一個列族的數(shù)據(jù)。
每個 Store 又由一個 memStore 和 0 至多個 Store File 組成日韩人妻巨乳自慰，如圖 4 所示18禁午夜老色批福利院。
Store File 以 HFile 格式保存在 HDFS 上成年人的免费在线视频。
圖 4 HBase的Region存儲模式
HBase 的邏輯架構(gòu)
在分布式的生產(chǎn)環(huán)境中，HBase 需要運行在 HDFS 之上日本公妇在线视频，以 HDFS 作為其基礎(chǔ)的存儲設(shè)施黄色视频在线观看免费AAA。
HBase 的上層是訪問數(shù)據(jù)的 Java API 層，供應(yīng)用訪問存儲在 HBase 中的數(shù)據(jù)欧美一A片网站。
HBase 的集群主要由 Master999日本男人天堂啊啊啊、Region Server 和 Zookeeper 組成，
具體模塊如圖 5 所示国产精品免费观看26uuu。
圖 5 HBase的系統(tǒng)架構(gòu)
1）Master
Master 主要負責(zé)表和 Region 的管理工作人人操人人爽夜夜爽。
表的管理工作主要是負責(zé)完成增加表、刪除表亚洲啪啪黄片、修改表和查詢表等操作18AⅤ视频。
Region 的管理工作更復(fù)雜一些，Master 需要負責(zé)分配 Region 給 Region Server国产浓毛熟女免费视频，協(xié)調(diào)多個 Region Server中国毛片黄色视频，檢測各個 Region Server 的狀態(tài)，并平衡 Region Server 之間的負載A片三集片在线hu免费。
當(dāng) Region 分裂或合并之后很爽的超薄肉色丝袜脚交，Master 負責(zé)重新調(diào)整 Region 的布局。如果某個 Region Server 發(fā)生故障毛片视频免费看，Master 需要負責(zé)把故障 Region Server 上的 Region 遷移到其他 Region Server 上曰本特黄免费视频在线观。
HBase 允許多個 Master 結(jié)點共存，但是這需要 Zookeeper 進行協(xié)調(diào)国产全黄A级A片一免费。當(dāng)多個 Master 結(jié)點共存時日韩播放自拍视频在线观看网站免费，只有一個 Master 是提供服務(wù)的，其他的 Master 結(jié)點處于待命的狀態(tài)欧美第十页。
當(dāng)正在工作的 Master 結(jié)點宕機時8x在线视频，其他的 Master 則會接管 HBase 的集群。
2）RegionServer
HBase 有許多個 Region Server无码少妇精品一区二区免费动态，每個 Region Server 又包含多個 Region91精品一区综合在线观看。Region Server 是 HBase 最核心的模塊，負責(zé)維護 Master 分配給它的 Region 集合女人18毛片在线播放，并處理對這些 Region 的讀寫操作www.szfbsz.com。
Client 直接與 Region Server 連接，并經(jīng)過通信獲取 HBase 中的數(shù)據(jù)riAV网。
HBase 釆用 HDFS 作為底層存儲文件系統(tǒng)，Region Server 需要向 HDFS 寫入數(shù)據(jù)www.欧美亚洲日韩，并利用 HDFS 提供可靠穩(wěn)定的數(shù)據(jù)存儲欧美日韩专区国产一区。
Region Server 并不需要提供數(shù)據(jù)復(fù)制和維護數(shù)據(jù)副本的功能五月月色开心婷婷久久合。
3）Zookeeper
Zookeeper 的作用對 HBase 很重要。
首先美女扒开腿让我爽视频软件网站，Zookeeper 是 HBase Master 的高可用性（High Available国产亚洲一二三，HA）解決方案。
也就是說久久亚洲精品无码aⅴ大香，Zookeeper 保證了至少有一個 HBase Master 處于運行狀態(tài)日韩激情无码一级毛片多人。
Zookeeper 同時負責(zé) Region 和 Region Server 的注冊。
HBase 集群的 Master 是整個集群的管理者国产激情无码专区，它必須知道每個 Region Server 的狀態(tài)aa专区。
HBase 就是使用 Zookeeper 來管理 Region Server 狀態(tài)的。
每個 Region Server 都向 Zookeeper 注冊国产三级片免费无码手机版，由 Zookeeper 實時監(jiān)控每個 Region Server 的狀態(tài)在线观看国产爆草视频免费，并通知給 Master。
這樣国产办公室秘书，Master 就可以通過 Zookeeper 隨時感知各個 Region Server 的工作狀態(tài)免费自拍黄色网站。
需要搭建 ZooKepper 集群 ， 采取奇數(shù)作為基礎(chǔ)亚洲日本性爱欧美， 要不斷選取出唯一的領(lǐng)導(dǎo)者 视频一区无码天堂。
然后在搭建 Hbase 集群。
Hlog = Mysql 中的 bingLog
Hbase 邏輯架構(gòu)
安裝 Hbase
1超碰毛片在线观看、下載軟件從 hbase.apache.com
2色一区二区三区、上傳到 \bigdata\tools
3、tar -zxvf hbase-1.2.3tar.gz
4久久人人超国产三级、cd /bigdata/tools/hbase1.2.3/config
5jizzjizzzz中国、vi hbase-env.sh
export ...
6、vi hbase-site.xml
我們上課說的： start-hbase.sh
查看： jsp 或者 http://192.168.1.119:16030
安裝一個插件 Phoenix 欧美精品午夜在线视频， 就可以用 mysql 數(shù)據(jù)庫的命令看了 精品一区论坛， 等于是一個 shell .
API可以在 Java后端做軟件查看 。
第四周黄色美女视频裸视频网站， 盧老師筆記--------------------------------------------------------------------------------------------------
HBase 是一個高可靠性亚洲图欧美日韩小说在线、高性能、面向列国产精品视频人体、可伸縮的分布式存儲系統(tǒng)99级A片。
利用PC搭建大規(guī)模的結(jié)構(gòu)化存儲集群。
HBase -> Google Bigtable開源實現(xiàn)欧美日韩国产青色。GFS <- HDFS 2006 powerset jim
2008 Apache Hadoop
Intel
Yahoo
baidu
alibaba
tencent
360
回顧一下傳統(tǒng)關(guān)系型數(shù)據(jù)庫
1在线观看国产mm免费视频、有事務(wù)的保障 ACID 原子性、一治性一级毛片久久精品、隔離性乱人伦中文视频在线香蕉、持久性
2色WWW永久免费、豐富的數(shù)據(jù)類型和sql操作
3、嚴格的數(shù)據(jù)類型免费作爱视频免费观看，及行式存儲
關(guān)系型數(shù)據(jù)庫在高并發(fā)妓女精品视频在线播放、大數(shù)據(jù)應(yīng)對方式：
高并發(fā)：
措施：分庫分表 、讀寫分離
帶來數(shù)據(jù)一致性問題
海量數(shù)據(jù)：
措施：分庫分表
實現(xiàn)復(fù)雜伊人久久久久亚洲色综网，后期遷移復(fù)雜
路由自定義
高可用国产91午夜精品一二三区、可靠、可伸縮一级AAAA毛片、
措施：主備一级黄片性高潮录、主從、多主
本身擴展性差男人网站天堂，增加節(jié)點宕機需要做數(shù)據(jù)遷移
HBase特點：
大表：一個表有上億行求一个免费在线观看的黄色网站，上百萬列
面向列：面向列族的存儲，列族獨立檢索
稀疏：對于空（null）的列日韩视频在线国产，不占用空間
尤物视频入口。。性欧美日本。
分布式數(shù)據(jù)庫hbase特點：
基于列式高效存儲
強一致數(shù)據(jù)訪問
高可靠
高性能
可伸縮人人妻人人添人人爽欧美一区91，自由切分、遷移
Schema free
RowKey
：與nosql數(shù)據(jù)庫一樣免费黄色欧美，row key是用來檢索記錄的主鍵国产精品H在线播放第一页。
而且可以訪問hbase table中行，只有三方法：
1久久是出精品、通過單個row key進行訪問
2人人射人人操人人骑人人插、通過row key的range進行訪問
3、全表掃描
row key行鍵91人妻久久久精品99系列，64kb无码免费A片久久，實際應(yīng)用長度一般10~100ytes,在hbase內(nèi)部，row key保存為字節(jié)數(shù)組激情文学综合区图片区小说区。存儲時亚州美日韩一区二区三区，數(shù)據(jù)按row key的字典順序排序存儲。
Columns family
列族：
hbase表中的每個列乱伦强奸欧美，都歸屬于某個列族在线看的a片。
列族是表的schema的一部分，而列不是玖玖玖免费网站，必須在使用表之前進行定義亚洲区人人操。
列名都以列族作為前綴。
courses:history, courses:math都屬于courses這個列族短发熟女口爆国产一区。
Time Stamp
時間戳：
hbase中通過row和columns確定的為一個存儲單元：cell
每個cell都保存著同一份數(shù)據(jù)的多個版本永久黄色网站免费观看av。版本通過時間戳來做索引又粗又黄又硬又爽的免费视频,。時間戳的類型是64位整型。
時間戳也可以由hbase系統(tǒng)進行賦值精品视频一区二区在线导航，可以精確到毫秒，當(dāng)然也可以由客戶顯示賦值麻豆AV免费看。
每個cell中欧美性爱做，不同版本的數(shù)據(jù)按時間倒序排序，最新的數(shù)據(jù)排在最前面一级黄片视频免费看。為了避免數(shù)據(jù)存在過多版本造成的管理負擔(dān)亚洲黄色一级a片，hbase提供兩種回收方式，一是保存數(shù)據(jù)最后的n個版本中文自拍日韩在线视频网站，二保存最近一段時間內(nèi)版本（比如最近7天）国产国产精品偷在线观看，用戶可以針對每個列族進行設(shè)置。
Cell
由row key + column ,version唯一確定單元成人野外激情免费观看视频网站下载，cell中的數(shù)據(jù)是沒有類型的Aa一级片公司室，全是字節(jié)碼形式存儲。
Cell的內(nèi)容是不可分割的字節(jié)數(shù)組91地址国产一区。
無類型色欲天天影院视频、字節(jié)碼。
物理存儲
在hbase table中所有的行都按row key的字典序排列aaa级欧美黄片。
table在行的方向上分割為多個hregion
Region按大小分割的性视频亚洲网站，每個表一開始只有一個region，隨著數(shù)據(jù)不斷插入表日韩中美精品中文视频在线播放，region不斷增大久久黄色视频ji，當(dāng)增大到一定閥值時候，Hregion就會分成兩個新hregion
HRegion是Hbase中分布式存儲和負載均衡的最小單元激情第一第二综合天天，最小單元就表示不同的Hregion可以分布在不同的hregion server上日韩欧美精品原创在线观看，但一個hregion是不會折分到多個server
Store：
Hregion雖然是分布式存儲的最小單元，但并不是存儲的最小元性欧美XXXX18HD视频，在下層還有store1000部国产怕怕怕精品，而store是以hfile的格式保存在hdfs上。
HFile：
1日韩精品美女网页在线观看免费、Data Block
保存表中的數(shù)據(jù)五月天色色综合网，這部分可以被壓縮。
2干天天干、Meta Block
保存用戶自定義的kv對玩弄少妇视频在线播放，可以被壓縮
3、Data Block Index
Data Block索引啪啪啪精品，每條索引的key是被索引的block的第一條記錄的key
47160无码视频在线观看、Meta Block Index
Meta Block索引.
5日韩欧精品无码视频无删节、Trailer
是定長的，保存每一段的偏移量人人干人人操人人。在讀取一個hfile時字幕网国产在线观看，會首先讀取Trailer,Trailer保存了每個段的起始位置，然后日屄网站免费看，DataBlockIndex會被讀取到內(nèi)存中性感美女被操免费视频，這樣，當(dāng)檢索某個key時色黄色视频在线免，不需要掃描整個HFile日韩精品免费乱码福利视频，而只需要從內(nèi)存中找到key所在的blok，通過一次磁盤io超碰在线人妻露脸，可以將整個block讀取到內(nèi)存中91精品国产自产在线观看48页，再找到需要的key。DataBlockInde采用LRu機制淘汰亚洲特黄av。
HFile的DataBlock人人扣B人人干B视频免费播放，MetaBlock通常采用壓縮方式進行存儲，壓縮后可以減少磁盤io高清无码视频免费观看，相應(yīng)的cpu的開支也會減少久久久久夜色精品国产老牛。
6、File Info
是HFile的元信息另类小说图片，不被壓縮久久资源综合，用記可以在這一段添加自己的元信息。
目前HFile的壓縮支持兩種方式：GZip在线观看91精品国产不卡、Lzo
Hlog：
Hlog類似于mysql 中的binlog黄色视频天免费看一一丝袜，用來做災(zāi)難恢復(fù)，hlog記錄了所有數(shù)據(jù)的變更A片强奸少妇毛片按摩，一但數(shù)據(jù)修改99伦乱视频，都可以在log里面進行恢復(fù)。
注意：每個Region Server維護一個Hlog国外一区二区三区黄色录像，而不是每個Region一個
這樣不同的Region的日志會混合在一起手机一级在线视频，這樣做的目的，是不斷追加單個文件相對于同時寫多個文件而言在线观看黄片精品，可以減少磁盤尋址次數(shù)视频欧美日韩。所以可以提高對table的寫的性能。
Hlog 文件就是一個hadoop squence file 成年女人特黄av免费，squence file的key是hlogkey的對象中文字幕av人妻一本二本，hlogkey記錄了寫入數(shù)據(jù)的歸屬信息。除了table和region名字之外，同時還包括sequence number和time stamp91人妻论坛社区，time stamp是寫入時間亚洲欧美另类专区，sequence number和的起始值為0，或者是最近一次存儲文件 系統(tǒng)的sequence number精品久久国产精品99国产。
Client：
訪問hbase接口绿巨人直播在线观看免费，維護著region位置的緩存信息。
Zookeeper:
保證任何時候国产在线一区无码视频久，集群中只有一個master
存儲所有Region的尋址入口丝袜专区。
實時監(jiān)控Region Server的狀態(tài)，將上下線信息通知master
存儲hbase的schema亚洲午夜一区二区三区福利，包括有哪些table，每個table有哪些column family
Master
為Region Server分配region
負載region server的負載均衡
發(fā)現(xiàn)失效的region server并重新分析其上的region
GFS上的垃圾文件回收
處理schema更新請求欧美一区永久视频免费观看。
Region Server
維護master分配給它的region97成视频在线网，處理io請求
負責(zé)切分過大的region，可以看到client訪問hbase上數(shù)據(jù)的過程并不需要master參與欧美一级做片性视频。
HBase安裝部署與配置：
單機影音先锋日韩在线资源、集群
1、上傳hbase安裝包
2欧美日韩在在线视频、解壓hbase文件 tar -zxvf hbase-1.2.3.tar.gz
3中文字幕日本黄色视频、cd /bigdata/tools/hbase1.2.3/conf
4、修改hbase-env.sh
export JAVA_HOME=/bigdata/tools/jdk1.7
export HBASE_CLASSPATH=/bigdata/tools/hbase1.2.3/conf
export HBASE_MANAGERS_ZK=true
5天天插天天碰、修改hbase-site.xml
6欧美激情a片免费专区、配置region servers文件及hbase環(huán)境變量
regionservers文件增加集群節(jié)點ip
192.168.1.119
192.168.1.120
192.168.1.121
配置hbase環(huán)境變量
export HBASE_HOME=/bigdata/tools/hbase1.2.3/
export PATH=$PATH:/bigdata/tools/hbase1.2.3/bin
source /etc/profile
7、啟動hbase
start-hbase.sh
8人人爱人人操人人摸人人干人人爱、查看hbase進程
jsp
DataNode
SecondaryNamenode
NameNode
ResourceManger
NodeManager
HRegionServer
Hmaster
JobTracker
TaskTracker
QuorumpeerMain
991超碰在线中出、通過http頁面進行查看
http://192.168.1.119:16030
hbase shell基本用法：
1、建立一個表scores亚洲欧美国产一区二区，有兩個列族月综合网，grad和courese
create 'scores','grade','courese'
2、查看hbase中的所有的表：
list
3黄色网站黄页、查看表結(jié)構(gòu)：
describe 'scores'
4欧美极品A片小视频在线看、按設(shè)計的表結(jié)構(gòu)插入值：
put 'scores','tom','grade','5'
put 'scores','tom','courese:math','97'
put 'scores','Jim','courese:art','87'
put 'scores','Jim','grade','4'
5、根據(jù)鍵值查詢數(shù)據(jù)
get 'scores','Jim'
get 'scores','Jim','grade'
6一极黄色网站、查看表中所有數(shù)據(jù)
scan 'scores'
7久久一级黄色毛片、刪除指定數(shù)據(jù)
delete 'scores','Jim','grage'
8、修改表結(jié)構(gòu)
disable 'scores'
alter 'scores', NAME=>'info'
enable 'scores'
9www黄色网站免费观看com、統(tǒng)計行數(shù)
count 't1'
10国产三级精品三级在线区、刪除表
disable 'scores'
drop 'scores'
API
1、初始化配置
publice class HBaseTest{
private static Configuration conf = null;
Cinfuguration HBASE_CONF = new Configuration()
HBASE_CONF.set('hbase.master','192.168.1.119:60000')
HBASE_CONF.set('hbase.zookeeper.quorum','hsslave1,hsslave2,hsslave3')
.set('hbase.zookeeper.property.clientport','2181')
conf = HBaseconfiguration.create(HBASE_CONF)
}
2、創(chuàng)建一張表
public static void createTable(String tableName,String[] familys)throws Exception{
HBaseAdmin admin = new HBaseAdmin(conf)
HTableDescripor tableDes = new HTbaleDescriptor(tableName)
tableDes.addFamily(new HColumnDescriptor(familys[i]))
admin.createTable(tableDes)
}
3性欧美日韩一区二区、插入一條數(shù)據(jù)
4又硬又粗又黄的视频、刪除一行數(shù)據(jù)
5、查詢一條記錄
6精品一区在线播放、查詢所有數(shù)據(jù)
3中国老女人老妇女刺激视频、刪除一張表
-------------------------------------------------------------------------------------------