xxxxx内射xxxx,人人妻人人澡人人爽偷拍台湾,国内揄拍高清国内精品对白,在线精品视频一区二区

新聞中心

首頁 > 新聞中心 > 行業(yè)新聞 >

淺議Hadoop分布式文件系統(tǒng)HDFS的訪問接口

時間:2017-11-06 18:53:18   閱讀:

  訪問HDFS可以通過很多種方式??梢酝ㄟ^java API調(diào)用,也可以使用C語言封裝的API;HDFS還提供了瀏覽器訪問的方式;目前通過WebDAV協(xié)議訪問的工作正在開發(fā)中。
 
1.Hadoop API
 
  HadoopAPI包括如下幾種主要的包(Package)。
 
  (1)org.apache.hadoop.conf:定義了系統(tǒng)參數(shù)的配置文件處理API。
 
  (2)org.apache.hadoop.dfs: Hadoop分布式文件系統(tǒng)(HDFS)模塊的實現(xiàn)。
 
  (3)org.apache.hadoop.fs:定義了抽象的文件系統(tǒng)API。
 
  (4)org.apache.hadoop.io:定義了通用的I/0 API,用于針對網(wǎng)絡(luò)、數(shù)據(jù)庫、文件等數(shù)據(jù)對象做讀/寫操作。
 
  (5)org.apache.hadoop.ipc:用于網(wǎng)絡(luò)服務(wù)端和客戶端的工具,封裝了網(wǎng)絡(luò)異步I/O的基礎(chǔ)模塊。
 
  (6)org.apache.hadoop.mapred:Hadoop分布式計算系統(tǒng)(MapReduce)模塊的實現(xiàn),包括任務(wù)的分發(fā)調(diào)度等。
 
  (7)org.apache.liadoop.metrics:定義了用于性能統(tǒng)計信息的API,主要用于mapred和dfs模塊。
 
  (8)org.apaclie.liadoop.record:定義了針對記錄的I/0 API類及一個記錄描述語言翻譯器,用于簡化將記錄序列化成語言中性的格式(Language-neutral Manner)。
 
  (9)org.apache.hadoop.tools:定義了一些通用的工具。
 
  (10)org.apache.hadoop.util定義了一些公用的API。
 
  在org.apache.hadoop.fc眾多類中,最重要的是FileSystem抽象類。為了便于方便編程使用和提供一定的文件訪問安全性,HDFS將上層客戶端需要的操作封裝在FileSystem類中通過這個類提供給上層文件操作的抽象。它定義了文件系統(tǒng)中的一些基本操作,如create、rename、delete、mkdirs等,還定義了分分布式文件系統(tǒng)具有的操作,如copyFromLocalFUe,copyToLocalFile等。其中,LocalFileSystem和DistributedpileSystem繼承與此類,分別實現(xiàn)了本地文件系統(tǒng)和分布式文件系統(tǒng)。
 
2.瀏覽器接口
 
  典型的HDFS安裝會配置一個Web服務(wù)器開放自己的命名空間,其TCP端口是可配的,這樣用戶就可以通過Web瀏覽器瀏覽HDFS的命名空間并査看集群當(dāng)前的基本狀態(tài)和信息。在默認(rèn)配置下http://namenode-name:50070這個頁面列出了集群里的所有DataNode和集群的基本狀態(tài)。
 
?

閩公網(wǎng)安備 35010002000114號