職位描述
1、負責web端數據的爬取、清洗、解析、入庫2、熟練掌握Python編程語言,熟悉****,熟悉fastapi后端服務構建;3、熟練使用數據庫,掌握redis、pgsql、mysql等;4、數量使用docker進行服務部署;5、熟悉各種抓取技術,包括爬蟲反爬、代理、驗證碼處理;6、熟練使用正則表達式、xpath等,能夠從結構化的和非結構化的數據中獲取信息;7、掌握常見的反爬機制,精通各種反爬破解,包括但不限于:hook、Js防護、混淆、逆向分析等技能;8、參與設計與優化分布式網絡爬蟲系統,熟悉采集系統的調度策略,實時監控爬蟲的進度和警報反饋;任職要求:1、編程能力:精通Python,熟悉****,能使用FastAPI構建后端服務2、數據庫:熟練使用PostgreSQL/MySQL進行數據存儲,Redis實現緩存與去重3、精通XPath/正則表達式解析結構化與非結構化數據4、掌握代理IP池構建、請求偽裝、動態渲染等技術5、備反爬破解能力(Hook技術、JS逆向、混淆代碼分析等)6、有瑞數、國密算法逆向經驗者優先7、熟練使用Docker容器化部署服務
企業介紹
北京協合運維風電技術有限公司(簡稱“協合運維”),是新能源行業綜合型技術服務龍頭企業。 公司成立于2007年,擁有超過17年的新能源電站運行維護、資產托管及技術服務經驗。面向新能源發電設備、輸變電設備、綜合能源系統,提供基于數據驅動的設備預警、智能診斷、維修決策、現場運維、技改優化、備件供應與維修等一站式服務解決方案。公司目前服務管理300多個新能源交付單元,全球在運維容量突破3000萬千瓦,擁有3000余人的專業服務團隊??蛻艉w大型電力集團、地方國企、民營投資商、整機制造商,以及蘋果基金等國內外知名企業。經過多年踐行探索,公司形成北京總部管控支持、區域服務共享、電站標準化執行的三級管理模式,憑借強大的數據分析能力、完善的平臺支持、專業的技術人員,提供安全、專業、可靠的新能源運營服務。