<p><strong>地點:</strong>現場（香港/澳門）<br><strong>職位類型：</strong>合同<br><strong>部門:</strong>IS&T運作與支援-資料庫運作</p><p><strong>職位概覽：</strong></p><p>我們正在尋找一位熟練的數據集成專員，負責實現並維護跨多個數據庫和系統的強大數據集成解決方案。理想候選人應具備Apache Kafka、ETL/ELT管道、監控工具（Prometheus、Grafana、ElasticSearch）以及支援BI工具（例如Power BI、Tableau）的實際經驗。對Python腳本的基本理解以及對Jupyter Notebooks進行數據分析的熟悉將是一個加分。</p><p>此角色可能需要為關鍵數據集成系統提供臨時支援，確保高可用性、快速事故響應和最小停機時間。您將確保無縫數據流、優化性能並启用實時分析以支持業務決策。</p><p><strong>主要責任:</strong></p><p>· 為異構數據庫（SQL、NoSQL、雲數據倉庫）設計和實現數據集成解決方案。</p><p>· 建立並維護實時數據管道使用Apache Kafka（Kafka Connect，Kafka Streams）。</p><p>· 為ETL/ELT工作流程進行性能、可擴展性和可靠性優化。</p><p>· 監控數據管道和基礎設施使用Prometheus、Grafana和ElasticSearch。</p><p>· 提供支援，包括事故響應和排錯，以恢復24/7業務。</p><p>· 與BI團隊合作，確保數據可用性和準確性，以支持報告和分析。</p><p>· 推測和解決數據集成問題（延遲、模式不匹配）的實時解決方案。</p><p>· 使用雲平台（Azure、AliCloud）進行數據存儲和處理。</p><p>· 執行數據治理和安全最佳實踐。</p><p>· 文檔化數據流、整合過程和系統架構。</p><p>· 利用Python腳本和Jupyter Notebook進行臨時數據分析和自動化。</p><p><strong>所需技能與資格：</strong></p><p>· 3年以上數據整合、ETL開發或數據工程經驗。</p><p>· 強大的Apache Kafka（設置、配置、生產者/消費者）經驗。</p><p>· 熟練使用SQL和NoSQL數據庫（PostgreSQL、MySQL、MongoDB、MSSQL、Clickhouse等）。</p><p>· 手動使用ETL工具（Airflow、SSIS）或自定義腳本（Python）。</p><p>· 監控與可見性工具(Prometheus、Grafana、ElasticSearch)的經驗。</p><p>· 能夠為關鍵生產系統提供支援。</p><p>· 熟悉BI工具（Power BI、Tableau、Looker）和數據建模以進行分析。</p><p>· 熟悉雲數據服務（Azure Data Factory、Pipeline、OneLake）。</p><p>· 整體數據倉儲概念（星型模式、多維建模）。</p><p>· 強大的問題解決和故障排除能力在壓力下。</p><p><strong>理想的資格條件:</strong></p><p>· 熟悉Jupyter Notebooks進行探索性數據分析。</p><p>· 熟悉CDC（Change Data Capture）工具（例如Debezium、Attunity Replicate）。</p><p>· 熟悉流處理框架（例如Flink、Spark Streaming）。</p><p>· 在Kafka、雲平台或數據工程領域的認證是理想的。</p>