第三周-大數(shù)據(jù)學(xué)習(xí) 正式使用 hadoop

2019-10-20 09:11:03

深圳模具-正式學(xué)習(xí)使用 hadoop 大數(shù)據(jù)集群

一99久久国产综合精品婷婷、HDFS相關(guān)命令：

1、查看HDFS下目錄結(jié)構(gòu)及文件 hdfs dfs -ls -R /

22022最新无码国产自在线视频、創(chuàng)建文件目錄/tmp hdfs dfs -mkdir /tmp

3激情五月综合综合图片区、刪除/tmp目錄 hdfs dfs -rm -r /tmp

4、復(fù)制當(dāng)前目錄下a.txts到HDFS文件系統(tǒng) hdfs dfs -put a.txt /inputFile

5欧美性爱教学视频、列出/tmp目錄 hdfs dfs -ls /tmp

6国产免费一级特黄真人视频网站、查看/inputFile/a.txt文件內(nèi)容 hdfs dfs -cat /inputFile/a.txt

7、查看HDFS狀態(tài) hdfs dfsadmin -report

用這個(gè)命令可以快速定位出哪些節(jié)點(diǎn)down掉了欧美一级免费网址，HDFS的容量以及使用了多少黄色视频屏在线，

以及每個(gè)節(jié)點(diǎn)的硬盤使用情況。當(dāng)然NameNode有個(gè)http頁面也可以查詢天天狠天天添日日拍，

但是這個(gè)命令的輸出更適合我們的腳本監(jiān)控dfs的使用狀況日本淫淫网。

下面是關(guān)于 YARN 的操作：

yarn.nodemanager.aux-service

spark_shuffle

mapreduce_shuffle 要引入對應(yīng)的架包

yarn.nodemanager.aux-services.mapreduce_shuffle.class

采用 FIFO的方式，這個(gè)方式并不好中文字幕毛片网址，好的方式是公平調(diào)度-Fair .

org.apache.hadoop.mapred.ShuffleHandler

yarn.nodemanager.aux-services.spark_shuffle.class

org.apache.spark.network.yarn.YarnShuffleServic

FairScheduler.xml

yarn.scheduler.fair.user-as-default-queue false true

yarn.scheduler.fair.preemption false true

yarn.resourcemanager.scheduler

org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler

spark.shuffle.service.port 7337

第四周

Hbase A片免费黄色录像。

Hbase -> Google bigtable 開源實(shí)現(xiàn) ---2008年----> apache hadoop 下面的項(xiàng)目

采用的公司： Facebook Intel yahoo baidu alibaba tencent 360 等等 nosql 數(shù)據(jù)庫

SQL (Structured Query Language) 數(shù)據(jù)庫，指關(guān)系型數(shù)據(jù)庫色色视频网址。

主要代表：SQL Server超薄丝袜脚足j视频，Oracle久久久久久精品免费免费直，MySQL(開源)，PostgreSQL(開源)久久玖玖视频。

　　NoSQL（Not Only SQL）泛指非關(guān)系型數(shù)據(jù)庫特级大黄A片免费墦放久久。

主要代表：MongoDB，Redis国产一级特黄大片视频网站，CouchDBwwww.wwwww在线黄色视频。 supersech hbase , kylin , chiohouse phesto

關(guān)系型數(shù)據(jù)庫的特點(diǎn)：面向行的， Nosql 是面向列的AV可以看的免费网站。

高并發(fā)狀態(tài)下：分庫分表讀寫分離帶來數(shù)據(jù)一致性問題免费观看A级在线观看，海量數(shù)據(jù)實(shí)現(xiàn)出來很復(fù)雜，后期遷移也很復(fù)雜黄色毛片免费看永久一。

高可用国内在线精品一区二区AV，可靠性，可伸縮性的措施：主備日本人人操人人射高清DVD播放、主從亚洲黄一级色视频、多主。本身的可擴(kuò)展性很差亚洲欧美中文字幕你懂的。增加節(jié)點(diǎn)或者宕機(jī)要做遷移国产精品熟女视频一区二区。

Hbase 首先是一個(gè)大表。

1.關(guān)系型數(shù)據(jù)庫理論 - ACID

ACID日韩精品专区一区二区，是指數(shù)據(jù)庫管理系統(tǒng)（DBMS）在寫入或更新資料的過程中久久R99视频，為保證事務(wù)（transaction）是正確可靠的，

所必須具備的四個(gè)特性：原子性（atomicity黄色片看看一区二区，或稱不可分割性）国产91在线视频免费、一致性（consistency）、

隔離性（isolation欧美精品日韩精品l视频，又稱獨(dú)立性）A片无遮挡无码免费视频网站、持久性（durability）。

A – Atomicity – 原子性

一個(gè)事務(wù)（transaction）中的所有操作特级一级黄色片，要么全部完成色妞www精品视频一级欧美，要么全部不完成，不會結(jié)束在中間某個(gè)環(huán)節(jié)欧洲熟妇色ⅩXXXX欧美老熟妇。

事務(wù)在執(zhí)行過程中發(fā)生錯(cuò)誤海外高清在线A片视频，會被回滾（Rollback）到事務(wù)開始前的狀態(tài)，就像這個(gè)事務(wù)從來沒有被執(zhí)行過一樣亚洲啪啪网站。

C – Consistency – 一致性

在事務(wù)開始之前和事務(wù)結(jié)束以后国产在线观看无码免费Aa，數(shù)據(jù)庫的完整性沒有被破壞。這表示寫入的資料必須完全符合所有的預(yù)設(shè)規(guī)則特级毛片A级毛片在线播放www，

這包含資料的精確度三级片人夭视频网站、串聯(lián)性以及后續(xù)數(shù)據(jù)庫可以自發(fā)性地完成預(yù)定的工作有什么av黄色网站在线播放。

I – Isolation – 隔離性

數(shù)據(jù)庫允許多個(gè)并發(fā)事務(wù)同時(shí)對其數(shù)據(jù)進(jìn)行讀寫和修改的能力，隔離性可以防止多個(gè)事務(wù)并發(fā)執(zhí)行時(shí)

由于交叉執(zhí)行而導(dǎo)致數(shù)據(jù)的不一致免费黄色网站亚洲。事務(wù)隔離分為不同級別，包括讀未提交（Read uncommitted）亚洲综合无码一区二区三区四区、

讀提交（read committed）九一插插插、可重復(fù)讀（repeatable read）和串行化（Serializable）。

D – Durability – 持久性

事務(wù)處理結(jié)束后三级片电影九九热操，對數(shù)據(jù)的修改就是永久的欧美午夜A片一区二区，即便系統(tǒng)故障也不會丟失。

關(guān)系型數(shù)據(jù)庫嚴(yán)格遵循ACID理論日产顶级黄色片。

但當(dāng)數(shù)據(jù)庫要開始滿足橫向擴(kuò)展最新看片地址、高可用、模式自由等需求時(shí)免费在线黄色视频网.AAA...，需要對ACID理論進(jìn)行取舍网友自拍日韩视频在线观看免费，不能嚴(yán)格遵循ACID。

以CAP理論和BASE理論為基礎(chǔ)的NoSQL數(shù)據(jù)庫開始出現(xiàn)午夜影院妓女性爱视频。

2.分布式系統(tǒng)理論

2.1 分布式系統(tǒng)介紹

分布式系統(tǒng)的核心理念是讓多臺服務(wù)器協(xié)同工作国产美女在线精品网站，完成單臺服務(wù)器無法處理的任務(wù)，尤其是高并發(fā)或者大數(shù)據(jù)量的任務(wù)精品熟女碰碰人人A久久。分布式是NoSQL數(shù)據(jù)庫的必要條件操国产熟女。

分布式系統(tǒng)由獨(dú)立的服務(wù)器通過網(wǎng)絡(luò)松散耦合組成的。每個(gè)服務(wù)器都是一臺獨(dú)立的PC機(jī)国产高清美女一级a毛片久久，服務(wù)器之間通過內(nèi)部網(wǎng)絡(luò)連接欧美XX网，內(nèi)部網(wǎng)絡(luò)速度一般比較快。因?yàn)榉植际郊豪锏姆?wù)器是通過內(nèi)部網(wǎng)絡(luò)松散耦合A片区视频播放，各節(jié)點(diǎn)之間的通訊有一定的網(wǎng)絡(luò)開銷大色佬色色插入，因此分布式系統(tǒng)在設(shè)計(jì)上盡可能減少節(jié)點(diǎn)間通訊。此外羞羞的漫画网页，因?yàn)榫W(wǎng)絡(luò)傳輸瓶頸国产激情全集在线观看网站，單個(gè)節(jié)點(diǎn)的性能高低對分布式系統(tǒng)整體性能影響不大。比如影音先锋在线观看日韩AV，對分布式應(yīng)用來說日韩天天天添日日，采用不同編程語言開發(fā)帶來的單個(gè)應(yīng)用服務(wù)的性能差異，跟網(wǎng)絡(luò)開銷比起來都可以忽略不計(jì)人人操操BB。

因此性爱欧美一区二区，分布式系統(tǒng)每個(gè)節(jié)點(diǎn)一般不采用高性能的服務(wù)器，而是使用性能相對一般的普通PC服務(wù)器黄色视频在线观看免费最肉最A。提升分布式系統(tǒng)的整體性能是通過橫向擴(kuò)展（增加更多的服務(wù)器）亚洲秋霞三区色电影，而不是縱向擴(kuò)展（提升每個(gè)節(jié)點(diǎn)的服務(wù)器性能）實(shí)現(xiàn)优雅人妻与黑人性爱AV。

分布式系統(tǒng)最大的特點(diǎn)是可擴(kuò)展性，它能夠適應(yīng)需求變化而擴(kuò)展操死你亚州三级。企業(yè)級應(yīng)用需求經(jīng)常隨時(shí)間而不斷變化日韩精品久久专区中文字幕，這也對企業(yè)級應(yīng)用平臺提出了很高的要求。企業(yè)級應(yīng)用平臺必須要能適應(yīng)需求的變化精品三级在线视频，即具有可擴(kuò)展性欧美一极。比如移動互聯(lián)網(wǎng)2C應(yīng)用，隨著互聯(lián)網(wǎng)企業(yè)的業(yè)務(wù)規(guī)模不斷增大亚洲三级片免费观看视频，業(yè)務(wù)變得越來越復(fù)雜国产精品色哟，并發(fā)用戶請求越來越多，要處理的數(shù)據(jù)也越來越多清纯唯美亚洲色图，這個(gè)時(shí)候企業(yè)級應(yīng)用平臺必須能夠適應(yīng)這些變化特级毛片A片全部兔，支持高并發(fā)訪問和海量數(shù)據(jù)處理。分布式系統(tǒng)有良好的可擴(kuò)展性国产三级片免费看，可以通過增加服務(wù)器數(shù)量來增強(qiáng)分布式系統(tǒng)整體的處理能力国产白领诱惑在线观看电影视频网站，以應(yīng)對企業(yè)的業(yè)務(wù)增長帶來的計(jì)算需求增加。

2.2 分布式存儲的問題 – CAP理論

如果我們期待實(shí)現(xiàn)一套嚴(yán)格滿足ACID的分布式事務(wù)黄色视频免费在线看，很可能出現(xiàn)的情況就是系統(tǒng)的可用性和嚴(yán)格一致性發(fā)生沖突欧美日韩黄色视频。在可用性和一致性之間永遠(yuǎn)無法存在一個(gè)兩全其美的方案。由于NoSQL的基本需求就是支持分布式存儲十八禁看黄色，嚴(yán)格一致性與可用性需要互相取舍色色色,免费视频，由此延伸出了CAP理論來定義分布式存儲遇到的問題。

CAP理論告訴我們：一個(gè)分布式系統(tǒng)不可能同時(shí)滿足一致性(C:Consistency)免费看欧美黄色网站、可用性(A:Availability)久久国产欧美日韩大片、分區(qū)容錯(cuò)性(P:Partitiontolerance)這三個(gè)基本需求，并且最多只能滿足其中的兩項(xiàng)国产剧情在线一区。

對于一個(gè)分布式系統(tǒng)來說欧美性大片视频免费播放在线，分區(qū)容錯(cuò)是基本需求，否則不能稱之為分布式系統(tǒng)a毛片在线观看。因此架構(gòu)師需要在C和A之間尋求平衡高清无码一道本。

HBase 的物理存儲

HBase 表中的所有行都是按照行鍵的字典序排列的。

因?yàn)橐粡埍碇邪男械臄?shù)量非常多99精彩视频这里有，有時(shí)候會高達(dá)幾億行欧美十八性XX性高潮喷，所以需要分布存儲到多臺服務(wù)器上。

因此人人人人人人操人，當(dāng)一張表的行太多的時(shí)候欧美精品一区二区黄色视频，HBase 就會根據(jù)行鍵的值對表中的行進(jìn)行分區(qū)，每個(gè)行區(qū)間構(gòu)成一個(gè)“分區(qū)（Region）”黄色视频在线观看历史aaa，

包含了位于某個(gè)值域區(qū)間內(nèi)的所有數(shù)據(jù)可以直接看的毛片网址，如圖 1 所示欧美性生活视屏另类。

圖 1 HBase的Region存儲模式圖

Region 是按大小分割的，每個(gè)表一開始只有二個(gè) Region欧美性爱疯狂xxxxx18，隨著數(shù)據(jù)不斷插入到表中日韩欧美一级视屏，Region 不斷增大，

當(dāng)增大到一個(gè)閾值的時(shí)候男人天堂网在线视频，Region 就會等分為兩個(gè)新的 Region欧美在线www。

當(dāng)表中的行不斷增多時(shí)，就會有越來越多的 Region综合偷拍第50页，如圖 2 所示。

圖 2 HBase的Region分裂示意

Region 是 HBase 中數(shù)據(jù)分發(fā)和負(fù)載均衡的最小單元在线观看91香蕉国产免费，默認(rèn)大小是 100MB 到 200MB国产精品有公司。

不同的 Region 可以分布在不同的 Region Server 上，但一個(gè) Region 不會拆分到多個(gè) Region Server 上www.99riav45。

每個(gè) Region Server 負(fù)責(zé)管理一個(gè) Region 集合性爱黄色视频欧美。

如圖 3 所示。

圖 3 HBase的Region分布模式

Region 是 HBase 在 Region Server 上數(shù)據(jù)分發(fā)的最小單元538在线国产，但并不是存儲的最小單元欧美日韩一区二区妖精视频。

事實(shí)上，每個(gè) Region 由一個(gè)或者多個(gè) Store 組成本一黄色视频，每個(gè) Store 保存一個(gè)列族的數(shù)據(jù)又黄又刺激的网站。

每個(gè) Store 又由一個(gè) memStore 和 0 至多個(gè) Store File 組成，如圖 4 所示国产雏18女破苞在线播放。

Store File 以 HFile 格式保存在 HDFS 上欧美性爱黄色一级片视频。

圖 4 HBase的Region存儲模式

HBase 的邏輯架構(gòu)

在分布式的生產(chǎn)環(huán)境中，HBase 需要運(yùn)行在 HDFS 之上大屌色色，以 HDFS 作為其基礎(chǔ)的存儲設(shè)施查查黄色视频毛片。

HBase 的上層是訪問數(shù)據(jù)的 Java API 層，供應(yīng)用訪問存儲在 HBase 中的數(shù)據(jù)色哟色哟网站。

HBase 的集群主要由 Master黄色片子一级片、Region Server 和 Zookeeper 組成，

具體模塊如圖 5 所示台湾三级片电影AAAA。

圖 5 HBase的系統(tǒng)架構(gòu)

1）Master

Master 主要負(fù)責(zé)表和 Region 的管理工作一级毛片一级毛片免费的啊。

表的管理工作主要是負(fù)責(zé)完成增加表、刪除表欧美性交在线电影、修改表和查詢表等操作好好日天天干。

Region 的管理工作更復(fù)雜一些，Master 需要負(fù)責(zé)分配 Region 給 Region Server国内精品久久久电影网，協(xié)調(diào)多個(gè) Region Server国产巨大超乳在线播放免费，檢測各個(gè) Region Server 的狀態(tài)亚洲图区第一页，并平衡 Region Server 之間的負(fù)載。

當(dāng) Region 分裂或合并之后在线观看中文字慕免费，Master 負(fù)責(zé)重新調(diào)整 Region 的布局一级操逼片儿。如果某個(gè) Region Server 發(fā)生故障，Master 需要負(fù)責(zé)把故障 Region Server 上的 Region 遷移到其他 Region Server 上毛片一区免费。

HBase 允許多個(gè) Master 結(jié)點(diǎn)共存禁止18岁以下观看黄色视频，但是這需要 Zookeeper 進(jìn)行協(xié)調(diào)。當(dāng)多個(gè) Master 結(jié)點(diǎn)共存時(shí)男的叼女的黄色视频，只有一個(gè) Master 是提供服務(wù)的欧美性免费大片，其他的 Master 結(jié)點(diǎn)處于待命的狀態(tài)。

當(dāng)正在工作的 Master 結(jié)點(diǎn)宕機(jī)時(shí)啪啪啪av黄色，其他的 Master 則會接管 HBase 的集群色99免费在线视频。

2）RegionServer

HBase 有許多個(gè) Region Server，每個(gè) Region Server 又包含多個(gè) Region91极品福利精品国产。Region Server 是 HBase 最核心的模塊一级黄色毛片网址，負(fù)責(zé)維護(hù) Master 分配給它的 Region 集合，并處理對這些 Region 的讀寫操作黄黄的在线网站。

Client 直接與 Region Server 連接av资源观看，并經(jīng)過通信獲取 HBase 中的數(shù)據(jù)。

HBase 釆用 HDFS 作為底層存儲文件系統(tǒng)18岁免费看黄片，Region Server 需要向 HDFS 寫入數(shù)據(jù)又黄又粗又大又长又色又爽，并利用 HDFS 提供可靠穩(wěn)定的數(shù)據(jù)存儲。

Region Server 并不需要提供數(shù)據(jù)復(fù)制和維護(hù)數(shù)據(jù)副本的功能情欲视频,欧美一级在线观看。