職位描述
崗位職責:1、完成公司軟件產品的開發、調試、單元測試、維護等工作;2、研究并優化爬蟲調度策略,提高抓取效率、成功率及內容覆蓋率;3、處理反爬機制、優化UA、IP池、動態調度等策略;4、監控和優化爬蟲集群性能,優化異常檢測,爬取策略調優等機制;5、協助技術文檔、系統說明書、用戶手冊的編輯工作。任職資格:1、要求本科及以上學歷,計算機或相關專業,熟悉python;2、2年以上的爬蟲經驗,能夠獨立完成開發任務;3、熟悉掌握Scrapy、PySpider等爬蟲框架;4、熟練堂握面向對象編程的理論和應用,熟悉動態庫、網絡編程、多線程編程等常用技術;5、熟悉反爬技術優先,驗證碼掌握、IP代理、JS逆向等對抗策略。
企業介紹
國能日新科技股份有限公司(簡稱:國能日新),創立于2008年2月,是新能源數據服務商。?國能日新擁有大批博士、碩士等高學歷專業技術人才,自主產權專利三十多個,軟件著作權六十多個,躋身國家高新技術企業,并榮獲CMMI5級認證軟件企業,北京市專精特新“小巨人”企業。?國能日新總公司設在北京,并在武漢設有分公司;主要為新能源集團側客戶,新能源電網側客戶和新能源中小型企業及政府客戶提供能源數據管理、智慧電站服務、智慧電網服務和電力交易類服務,功率預測類產品穩居行業翹楚地位。擁有千余家客戶資源,具備豐富的實踐經驗,基于大數據的精準服務,為新能源發展保駕護航。?我們致力于將清潔能源帶入每個人,每個家庭,每個城市,每個國家,構建清潔能源的純凈世界。