一区二区久久-一区二区三区www-一区二区三区久久-一区二区三区久久精品-麻豆国产一区二区在线观看-麻豆国产视频

基于HBase Thrift接口的一些使用問題及相關注意事項的詳解

HBase對于非Java語言提供了Thrift接口支持,這里結合對HBase Thrift接口(HBase版本為0.92.1)的使用經驗,總結其中遇到的一些問題及其相關注意事項。
1. 字節的存放順序
HBase中,由于row(row key和column family、column qualifier、time stamp)是按照字典序進行排序的,因此,對于short、int、long等類型的數據,通過Bytes.toBytes(…)轉換成byte數組后,必須按照大端模式(高字節在低地址,低字節在高地址)存放。對于value,也是同樣的道理。因此,在使用Thrift API(C++、phpPython等)方式時,最好對于row和value都統一按照大端進行pack和unpack處理。
舉個例子,C++中,對于int型變量,經過以下方式轉換為字典序:
復制代碼 代碼如下:
string key;
  int32_t timestamp = 1352563200;
  const char* pTs =(const char*) ×tamp;
  size_t n = sizeof(int32_t);
  key.append(pTs, n);

通過以下方式將字典序轉換為int:
復制代碼 代碼如下:
const char * ts = key.c_str();
int32_t timestamp = *((int32_t*)(ts));

php中則提供了pack和unpack方法進行轉換:
復制代碼 代碼如下:
  $key = pack("N", $num);
  $num = unpack("N", $key);

2. TScan的使用陷阱
HBase的php Thrift接口中,TScan可以直接通過設置startRow、stopRow、columns、filter等屬性,默認這些屬性均為null,設置后變為非null(通過TScan的構造函數或直接對TScan的成員變量進行賦值)。通過write()方法和Thrift Server進行RPC操作時,直接判斷的依據是這些屬性不為null,則通過Thrift協議傳輸到Thrift Server端。
但是在C++的Thrift接口中,TScan中有一個_TScan__isset __isset類型的變量,其內部結構如下:
復制代碼 代碼如下:
typedef struct _TScan__isset {
  _TScan__isset() : startRow(false), stopRow(false), timestamp(false), columns(false), caching(false), filterString(false) {}
  bool startRow;
  bool stopRow;
  bool timestamp;
  bool columns;
  bool caching;
  bool filterString;
} _TScan__isset;

TScan的write()方法則是通過判斷_TScan__isset下的各個bool變量標記是否設置了startRow、stopRow、columns、filter等屬性,決定是否將這些屬性通過Thrift協議傳輸到Thrift Server端,而這些屬性必須通過__set_xxx()方法進行設置才能生效!在TScan的默認構造函數中,并不會對這些屬性對應的__isset標記設置為true!
因此,如果直接通過TScan的構造函數初始化startRow、stopRow、columns、filter等屬性會導致從頭遍歷該表,只有調用了__set_xxx()方法才會將對應的bool標識設置為true,這樣服務端才會從Thrift Server獲取startRow、stopRow、columns、filter等屬性進行掃描。
3. 并發訪問線程數
首先,為了盡可能減少由于網絡傳輸帶來的時間開銷,HBase的Thrift Server最好和應用客戶端部署在同一臺機器上。Thrift Server啟動時可以通過參數配置并發線程數,否則很容易導致Thrift Server線程滿了不響應客戶端的讀寫請求,具體命令:bin/hbase-daemon.sh start thrift --threadpool -m 200 -w 500(更多參數參考這里:bin/hbase-daemon.sh start thrift -h)。
4. 最大堆內存配置
如果客戶端與Thrift Server進行scan操作順序讀取數據,而且設置了一定的cache記錄條數(通過TScan的int32_t caching變量設置),那么這些被caching的記錄數可能會占用Thrift Server相當部分的堆內存,尤其在多客戶端并發訪問時更明顯。
因此,在Thrift Server啟動前,可以調大最大堆內存,否則可能由于Java.lang.OutOfMemoryError異常而導致進程被殺掉,尤其是當Scan時設置了較大的caching記錄條數的情況(默認為export HBASE_HEAPSIZE=1000MB,可以在conf/hbase-env.sh中設置)。

php技術基于HBase Thrift接口的一些使用問題及相關注意事項的詳解,轉載需保留來源!

鄭重聲明:本文版權歸原作者所有,轉載文章僅為傳播更多信息之目的,如作者信息標記有誤,請第一時間聯系我們修改或刪除,多謝。

主站蜘蛛池模板: 国色天香精品亚洲精品 | 97在线视频精品 | 国产美女免费 | 国产精品二区高清在线 | 久久国产精品免费一区二区三区 | 成 人网站免费 | 国产91在线播放 | 色多多在线观看 | julia一区二区三区中文字幕 | 日韩狠狠操 | 伊人久久综合视频 | 欧美人成网站免费大全 | 国产精品免费精品自在线观看 | 美女无遮挡免费视频 | 午夜在线免费观看视频 | 亚洲一区二区三区四 | 狠狠入ady亚洲精品 狠狠色成人综合首页 | 国产精品久久久香蕉 | 青草久久精品 | 五月激情视频 | 九九99久久精品影视 | 国产成人精品亚洲午夜麻豆 | 91大夯在线观看手机观看 | 婷婷在线视频国产综合 | 成人午夜在线观看国产 | 一区二区三区网站在线免费线观看 | 国产日韩欧美二区 | 婷婷性| 久久精品国产91久久麻豆自制 | 日韩在线一区二区三区免费视频 | 国产成人禁片在线观看 | 中国女人一级做受免费视频 | 在线免费一区 | 国产亚洲精品97在线观看 | 亚洲第一se情网站 | 激情福利网 | 伊人热人久久中文字幕 | 美女视频一区二区三区 | 2021国产麻豆剧传媒精品网站 | 国产91成人| 深爱五月激情五月 |