Flink SQL 实战：HBase 的连系应用

文假设用户有一定的 HBase 知识基础，不会详细去介绍 HBase 的架构和原理，本文着重介绍 HBase 和 Flink 在实际场景中的结合使用。主要分为两种场景，第一种场景：HBase 作为维表与 Flink Kafka table 做 temporal table join 的场景;第二种场景：Flink SQL 做计算之后的结果写到 HBase 表，供其他用户查询的场景。因此，本文介绍的内容如下所示：

HBase 环境准备

数据准备

HBase 作为维度表进行 temporal table join的场景

Flink SQL 做计算写 HBase 的场景

总结

01 HBase 环境准备

由于没有测试的 HBase 环境以及为了避免污染线上 Hbase 环境。因此，自己 build一个 Hbase docker image(大家可以 docker pull guxinglei/myhbase 拉到本地)，是基于官方干净的 ubuntu imgae 之上安装了 Hbase 2.2.0 版本以及 JDK1.8 版本。

启动容器，暴露 Hbase web UI 端口以及内置 zk 端口，方便我们从 web 页面看信息以及创建 Flink Hbase table 需要 zk 的链接信息。

docker run -it --network=host -p 2181:2181 -p 60011:60011 docker.io/guxinglei/myhbase:latest bash 

 

 

进入容器，启动 HBase 集群，以及启动 rest server，后续方便我们用 REST API 来读取 Flink SQL 写进 HBase 的数据。

# 启动hbase 集群bin/start-hbase.sh# 后台启动restServerbin/hbase-daemon.sh start rest -p 8000 

 

02 数据准备

由于 HBase 环境是自己临时搞的单机服务，里面没有数据，需要往里面写点数据供后续示例用。在 Flink SQL 实战系列第二篇中介绍了如何注册 Flink Mysql table，我们可以将广告位表抽取到 HBase 表中，用来做维度表，进行 temporal table join。因此，我们需要在 HBase 中创建一张表，同时还需要创建 Flink HBase table, 这两张表通过 Flink SQL 的 HBase connector 关联起来。