分析圖像，提取特征，還得靠通用架構(gòu)

京東公司成立二十年，在線商城已經(jīng)運行了十四年。這么多年下來，京東積累了一個龐大的在售產(chǎn)品目錄，產(chǎn)品圖像多達(dá)數(shù)億張。它們都保存在分布式大數(shù)據(jù)存儲庫 Apache Hbase 中，用 Hadoop 框架加以處理。為了滿足客戶在各種場景下的不同需求，京東希望可以匹配、提取不同產(chǎn)品圖像中的特征。比如，客戶逛街時發(fā)現(xiàn)一款自己喜歡的咖啡杯，只要拍下來，京東就可以根據(jù)照片為客戶找到滿足他要求的咖啡杯。對于京東自己來說，還可以利用圖像識別和匹配功能，與其他網(wǎng)站上的產(chǎn)品進(jìn)行匹配，京東就可以調(diào)整自己的定價策略，強(qiáng)化自己的競爭力。此外，京東還對外提供公共云服務(wù)，類似功能還可以提供給公共云的客戶，幫助他們開發(fā)符合自己需求的全新圖像分析應(yīng)用云平臺?，F(xiàn)在，在京東對外開放的技術(shù)能力中，「圖片質(zhì)量檢測」和「以圖搜圖」功能已經(jīng)可以對外提供給其他開發(fā)團(tuán)隊使用了。

京東的技術(shù)團(tuán)隊接下圖像分析這個任務(wù)后，一開始，他們曾嘗試使用圖形處理單元（GPU）創(chuàng)建特征匹配應(yīng)用，然而并不順利，因為在擴(kuò)展性上遇到很多問題，必須手工管理眾多設(shè)備和系統(tǒng)，手工處理負(fù)載均衡和容錯；而且在數(shù)據(jù)處理過程中還出現(xiàn)很多延遲，不足以支持生產(chǎn)環(huán)境需求。

后來，京東決定基于現(xiàn)有的服務(wù)器和通用處理器架構(gòu)開展工作，而且取得了顯著成效。他們的圖像數(shù)據(jù)存儲服務(wù)器基于英特爾至強(qiáng)處理器 E5 家族，技術(shù)團(tuán)隊使用 BigDL 深度學(xué)習(xí)庫來部署 Caffe 模型，性能提升了 3.83 倍，這讓京東將來可以更快捷地提供基于圖片的全新服務(wù)。

在大數(shù)據(jù)分析領(lǐng)域，Apache Spark 項目已經(jīng)成為事實上的標(biāo)準(zhǔn)。該項目起始于加州大學(xué)伯克利分校，幾個創(chuàng)始人后來成立了 Databricks 公司，成立五年來，專門提供大數(shù)據(jù)分析服務(wù)。在分布式機(jī)器學(xué)習(xí)領(lǐng)域，他們也選擇了 BigDL 項目，與本身的原生 Spark 技術(shù)集成，提升 Spark 在模型訓(xùn)練，預(yù)測和調(diào)優(yōu)方面的表現(xiàn)。

京東在基于英特爾至強(qiáng)處理器 E5-2650 v4 的服務(wù)器上運行 BigDL，完成深度學(xué)習(xí)提取圖片特征過程。Big DL 同時支持橫向擴(kuò)展，只要添加新的標(biāo)準(zhǔn)英特爾至強(qiáng)處理器服務(wù)器，就能夠?qū)崿F(xiàn)高效橫向擴(kuò)展，延展到數(shù)百乃至數(shù)千臺服務(wù)器。京東使用了帶有 1200 個邏輯內(nèi)核的高度并行架構(gòu)，大幅加快了從數(shù)據(jù)庫中讀取圖像數(shù)據(jù)的流程，整體性能提高了 3.83 倍。性能的提升，也要歸功于英特爾在核心算法層面的優(yōu)化。BigDL 使用英特爾數(shù)學(xué)核心函數(shù)庫 MKL 和并行計算技術(shù)，充分發(fā)揮了至強(qiáng)處理器的性能。

借助 BigDL 框架，京東還在自己已有的通用硬件上使用 Caffe、Torch 和 TensorFlow 等框架中的預(yù)訓(xùn)練模型，這讓他們以更快的速度測試和推出新服務(wù)，同時無需投入專用硬件。也就是說，不需要購買、運行獨立的 GPU 集群。京東可以重復(fù)使用現(xiàn)有的硬件資源，從而降低了總體擁有成本。結(jié)合 Apache Hadoop 和 Spark 框架來處理資源管理工作，未來能夠更輕松地開發(fā)新應(yīng)用，同時保持高效性能。

家門口刷臉購物不是夢

毫無疑問，京東是中國零售領(lǐng)域的領(lǐng)軍企業(yè)，技術(shù)上，京東同樣具有前瞻性思維，前文提到的京東的無人商店和無人超市刷臉完成購物, 就是一個很好的證明。

《福布斯》專門撰文報道：京東希望使用當(dāng)今最先進(jìn)的技術(shù)創(chuàng)新開發(fā)新的解決方案，創(chuàng)建面向未來的零售運營體系；京東正在推動人工智能、大數(shù)據(jù)和機(jī)器人技術(shù)的發(fā)展，為第四次工業(yè)革命建立零售業(yè)的基礎(chǔ)設(shè)施。到那一天，你在家門口的便利店和超市里面就能直接刷臉買東西啦。