1.Hadoop API
HadoopAPI包括如下幾種主要的包(Package)。
(1)org.apache.hadoop.conf:定義了系統(tǒng)參數(shù)的配置文件處理API。
(2)org.apache.hadoop.dfs: Hadoop分布式文件系統(tǒng)(HDFS)模塊的實現(xiàn)。
(3)org.apache.hadoop.fs:定義了抽象的文件系統(tǒng)API。
(4)org.apache.hadoop.io:定義了通用的I/0 API,用于針對網(wǎng)絡(luò)、數(shù)據(jù)庫、文件等數(shù)據(jù)對象做讀/寫操作。
(5)org.apache.hadoop.ipc:用于網(wǎng)絡(luò)服務(wù)端和客戶端的工具,封裝了網(wǎng)絡(luò)異步I/O的基礎(chǔ)模塊。
(6)org.apache.hadoop.mapred:Hadoop分布式計算系統(tǒng)(MapReduce)模塊的實現(xiàn),包括任務(wù)的分發(fā)調(diào)度等。
(7)org.apache.liadoop.metrics:定義了用于性能統(tǒng)計信息的API,主要用于mapred和dfs模塊。
(8)org.apaclie.liadoop.record:定義了針對記錄的I/0 API類及一個記錄描述語言翻譯器,用于簡化將記錄序列化成語言中性的格式(Language-neutral Manner)。
(9)org.apache.hadoop.tools:定義了一些通用的工具。
(10)org.apache.hadoop.util定義了一些公用的API。
在org.apache.hadoop.fc眾多類中,最重要的是FileSystem抽象類。為了便于方便編程使用和提供一定的文件訪問安全性,HDFS將上層客戶端需要的操作封裝在FileSystem類中通過這個類提供給上層文件操作的抽象。它定義了文件系統(tǒng)中的一些基本操作,如create、rename、delete、mkdirs等,還定義了分分布式文件系統(tǒng)具有的操作,如copyFromLocalFUe,copyToLocalFile等。其中,LocalFileSystem和DistributedpileSystem繼承與此類,分別實現(xiàn)了本地文件系統(tǒng)和分布式文件系統(tǒng)。
2.瀏覽器接口
典型的HDFS安裝會配置一個Web服務(wù)器開放自己的命名空間,其TCP端口是可配的,這樣用戶就可以通過Web瀏覽器瀏覽HDFS的命名空間并査看集群當(dāng)前的基本狀態(tài)和信息。在默認(rèn)配置下http://namenode-name:50070這個頁面列出了集群里的所有DataNode和集群的基本狀態(tài)。