職位描述
崗位職責(zé)
1、負(fù)責(zé)構(gòu)建垂直類爬蟲架構(gòu),智能抓取系統(tǒng)設(shè)計與研發(fā)(如抓取調(diào)度,多樣化抓取,頁面解析和結(jié)構(gòu)化抽取,海量數(shù)據(jù)存儲和讀取等)
2、負(fù)責(zé)爬蟲核心算法的策略優(yōu)化研究,提升爬蟲抓取效率和質(zhì)量(如調(diào)權(quán)調(diào)度、分析預(yù)測、質(zhì)量判斷、封禁與反封禁研究等)
3、負(fù)責(zé)HTTP、AJAX等各類網(wǎng)絡(luò)請求分析,探索和研究高效的數(shù)據(jù)抓取解決方案
任職資格:
1、本科及以上學(xué)歷,良好的代碼能力,扎實(shí)的數(shù)據(jù)結(jié)構(gòu)和算法功底,有快速迭代、逐步優(yōu)化的工程項(xiàng)目經(jīng)驗(yàn)
2、有良好邏輯思維能力、溝通能力、團(tuán)隊(duì)合作精神、學(xué)習(xí)能力,抗壓能力,對挑戰(zhàn)性問題充滿激情
3、熟悉linux和Java開發(fā),熟悉shell/perl/python等腳本語言,熟練掌握正則表達(dá)式
4、有多線程、網(wǎng)絡(luò)數(shù)據(jù)處理經(jīng)驗(yàn)優(yōu)先(如HTTP協(xié)議,AJAX,爬蟲開發(fā),瀏覽器內(nèi)核開發(fā),Web服務(wù)開發(fā)等)
5、有大規(guī)模分布式海量數(shù)據(jù)處理經(jīng)驗(yàn)優(yōu)先(如Hadoop/Hbase/Spark/Strom/Flink等)
企業(yè)介紹
關(guān)于滴滴出行
滴滴平臺出行是全球領(lǐng)先的移動出行平臺;利用移動互聯(lián)網(wǎng)和基于機(jī)器學(xué)習(xí)的算法技術(shù)實(shí)現(xiàn)司機(jī)、乘客、交通工具的智能匹配,為超過4億用戶提供出租車召車、專車、快車、順風(fēng)車、代駕、公交、小巴、在線租車和企業(yè)級等全面出行服務(wù)。2016年10月,滴滴日完成訂單已突破2000萬;成為是全球第二大在線交易平臺。2016年8月,滴滴出行并購優(yōu)步中國。
滴滴致力于與不同社群及伙伴協(xié)作互補(bǔ),運(yùn)用大數(shù)據(jù)驅(qū)動的深度學(xué)習(xí)技術(shù),解決中國城市的出行、環(huán)保、就業(yè)挑戰(zhàn);提升用戶體驗(yàn),創(chuàng)造社會價值,建設(shè)開放、高效、可持續(xù)的移動出行新生態(tài)。2016年,滴滴登上《財富》雜志“改變世界的50強(qiáng)”榜單;同年,獲《MIT科技評論》膺選為全球五十大創(chuàng)新企業(yè)之一。2015年,滴滴入選達(dá)沃斯全球成長型公司。