大數據架構（Kafka）

香港運享通信息科技有限公司

IT資訊科技/電子商務

HK $30K-45K/月

學士

5年

全職

南區,香港仔

傳送投遞消息

工作內容

大數據架構師
1、熟悉 Kafka 的核心组件（生產者、消費者、主題、分區、消費者組），有實際的報表平台、多維度分析工具、ETL平台、調度平台等實際建設或运维經驗；
2、掌握 Kafka 集群的搭建、配置（如 Zookeeper 集成、Broker 设置），以及容器化部署（如 Docker、Kubernetes）
3、了解 Kafka 的性能優化（如分區數、複本數、日誌清理策略、壓縮）、延遲和吞吐量權衡，以及監控工具（如 JMX、Prometheus、Grafana）的使用。
4、熟悉 Kafka Connect、Kafka Streams，了解 Kafka 在高可用性、容错性和数据一致性方面的配置。
5、熟悉大数据中台体系的建设，具备实际大数据项目设计及开发经验，如构建数据采集、数据传输、实时数据分析、消息队列相关解决方案的经验

任職要求：
1. 熟悉Kafka的性能優化，包括分區數、複本數、日誌清理策略、壓縮等。
2. 具備實際的報表平台、多維度分析工具、ETL平台、調度平台等的建設或运维經驗。
3. 熟悉大数据中台體系的建設，具備實際大數據專案的設計及開發經驗。
4. 能夠熟練使用監控工具進行性能監控，包括但不限於JMX、Prometheus、Grafana等。
5. 熟悉Kafka Connect、Kafka Streams，了解Kafka在高可用性、容错性和数据一致性方面的配置。
6、要求英語熟練，可在工作中口語交流。