德國科學(xué)家研發(fā)計算機視覺估算卡路里方法

日益富足的時代，人們的關(guān)注點從溫飽轉(zhuǎn)向飲食健康。再加上身處以 “瘦” 為美的環(huán)境中，不知有多少男女的一日三餐是經(jīng)過嚴(yán)格計算之后決定的。

且不說人們控制飲食的執(zhí)行力如何，在清晰記住或查閱每種食物單位重量的營養(yǎng)含量、目測重量、再計算面前食物各種營養(yǎng)物質(zhì)總量這一環(huán)節(jié)，已經(jīng)使一部分人失去耐心。

對此，德國卡爾斯魯厄理工學(xué)院的 Robin Ruede 及其團隊本月初發(fā)表的題為《在富含營養(yǎng)信息的新型大規(guī)模食譜數(shù)據(jù)集上進行多任務(wù)學(xué)習(xí)，來預(yù)測食物熱量》(Multi-Task Learning for Calorie Prediction on a Novel Large-Scale Recipe Dataset Enriched with Nutritional Information)的論文中提到的計算機識別方法，或許能夠幫助人們輕松完成計算食物營養(yǎng)物質(zhì)含量的第一步，直達(dá)控制飲食的最關(guān)鍵環(huán)節(jié)。

圖 | 在多任務(wù)設(shè)置中進行訓(xùn)練的模型，可推斷卡路里、成分和營養(yǎng)素如蛋白質(zhì)等

事實上，使用計算機視覺技術(shù)估算圖片中食物熱量的技術(shù)早就有所應(yīng)用，但 Robin Ruede 團隊表示，現(xiàn)有的基于圖像視覺計算食物熱量的大多數(shù)產(chǎn)品通常需要手動輸入份量大小甚至指定配料，耗時且不夠準(zhǔn)確，而且計算過程繁瑣。

已有技術(shù)通常采用多階段方法完成，將圖像按像素方向細(xì)分為食物和非食物，然后將屬食物的圖像分類到固定的類別集，下一階段進行食物體積、重量估算以及營養(yǎng)信息預(yù)測，再通過上一階段估算出的信息與數(shù)據(jù)庫數(shù)據(jù)進行匹配來預(yù)測卡路里，最后，使用元數(shù)據(jù)(例如 GPS 位置和用戶的食物偏好)來改善預(yù)測結(jié)果。

而 Robin Ruede 團隊提出，要 “從一頓飯的圖像以端到端的方式直接預(yù)測食物熱量”，他們引入了一個框架，通過使用短語嵌入將食物成分及質(zhì)量、與已建立的數(shù)據(jù)庫中大量菜肴食譜圖像數(shù)據(jù)進行對比匹配，從而實現(xiàn)端到端地估算一張圖片中食物的卡路里、脂肪、蛋白質(zhì)以及其他營養(yǎng)物質(zhì)含量。

圖 | 該團隊識別面包熱量的案例

據(jù)了解，為準(zhǔn)確獲取圖片中食物營養(yǎng)成分信息、并自動測算食物卡路里值，Robin Ruede 及其團隊將卡路里估算與蛋白質(zhì)、碳水化合物、脂肪以及多種成分含量的分類預(yù)測結(jié)合，對 308000 張圖像(食物照片、成分和說明)中的 70000 多個食譜(包括各種沙拉、披薩、蛋糕、湯等)，與食品項目數(shù)據(jù)庫中的結(jié)構(gòu)化信息進行匹配，并基于數(shù)據(jù)庫中大規(guī)模的菜譜配方中各成分含量值，來估算一張圖片中食物的熱量及其他營養(yǎng)物質(zhì)含量的方法。

在確保估算數(shù)據(jù)的精確性上，Robin Ruede 團隊以圖像食譜配方中出現(xiàn)的成分為基礎(chǔ)進行估算，用戶提供的圖片中出現(xiàn)的卡路里、脂肪、蛋白質(zhì)等每一個成分、及其質(zhì)量，都會映射到估算程序完全結(jié)構(gòu)化的數(shù)據(jù)中，從而為生成估算的相應(yīng)結(jié)果數(shù)值備用。

具體來說，他們提到的端到端的方式，是用單一模型替代多階段處理，僅需要指定原始輸入和最終輸出，將單個網(wǎng)絡(luò)應(yīng)用于輸入網(wǎng)絡(luò)，神經(jīng)網(wǎng)絡(luò)可自動識別內(nèi)部相關(guān)信息，并直接估計所需的最終輸出，無需進行不同子任務(wù)的模型流水線訓(xùn)練。

關(guān)鍵詞： 視覺估算卡路里