Python

Python 爬蟲工程師招聘要求<br>崗位職責<br><br>負責設計與開發高效、穩定的網路爬蟲系統，採集多種類型的網站數據。<br><br>能夠實現複雜的網頁解析，包括需要登錄、驗證碼、反爬策略的網站。<br><br>熟練使用瀏覽器模擬（如 Selenium、Playwright、Puppeteer 等）進行使用者操作模擬，完成資料取得。<br><br>優化爬蟲框架，處理分散式採集、資料清潔、去重、儲存等全流程。<br><br>參與支付相關系統的介面數據抓取、風控數據採集等實際業務專案。<br><br>能夠根據業務需求，快速開發並維護數據採集腳本，保證穩定性與數據準確率。<br><br>任職要求<br><br>計算機相關專業，本科及以上學歷（能力突出者可放寬）。<br><br>3年以上 Python 爬虫开发经验，具备扎实的编程能力与良好的代码习惯。<br><br>熟練掌握以下技能：<br><br>Python 爬蟲常用庫：Requests、BeautifulSoup、lxml、Scrapy 等；<br><br>瀏覽器自動化：Selenium、Playwright、Pyppeteer 等；<br><br>反爬策略应对：代理池、User-Agent 轮换、Cookie/session 维持、验证码识别等。<br><br>有 支付相关业务经验，如第三方支付平台接口调用、交易数据采集、风控策略支持等优先。<br><br>熟悉 多线程/异步编程，能优化爬取效率；有 分布式爬虫（如Scrapy-Redis、Kafka、RabbitMQ） 经验更佳。<br><br>熟悉 MySQL / MongoDB / Redis 等數據庫，能完成資料儲存與查詢最佳化。<br><br>具備一定的 Linux 使用經驗，能編寫 Shell/Python 腳本，熟悉 Docker 優先。<br><br>有較強的問題分析能力，能獨立解決技術難點，保證採集任務長期穩定運作。<br><br>對新技術保持敏銳度，具備良好的溝通能力和團隊合作精神。<br><br>加分項<br><br>有 支付行业从业经验（如对接PayPal、UPI 等 API）。<br><br>熟悉 风控系统、反欺诈模型 所需的数据采集逻辑。<br><br>有 大规模数据采集与处理经验，能设计高并发、分布式爬虫架构。<br><br>在 GitHub / 技術社區有開源專案或技術文章。