論文の概要: An End-to-end Food Portion Estimation Framework Based on Shape
Reconstruction from Monocular Image
- arxiv url: http://arxiv.org/abs/2308.01810v1
- Date: Thu, 3 Aug 2023 15:17:24 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-04 13:50:21.334268
- Title: An End-to-end Food Portion Estimation Framework Based on Shape
Reconstruction from Monocular Image
- Title(参考訳): 単眼画像からの形状再構成に基づく食品の終端位置推定フレームワーク
- Authors: Zeman Shao, Gautham Vinod, Jiangpeng He, Fengqing Zhu
- Abstract要約: 3次元形状再構成による単眼画像からの食品エネルギー推定のためのエンドツーエンドのディープラーニングフレームワークを提案する。
その結果,40.05kCalの平均絶対誤差 (MAE) とMAPEの11.47%の平均絶対誤差 (MAPE) が得られた。
- 参考スコア(独自算出の注目度): 7.380382380564532
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Dietary assessment is a key contributor to monitoring health status. Existing
self-report methods are tedious and time-consuming with substantial biases and
errors. Image-based food portion estimation aims to estimate food energy values
directly from food images, showing great potential for automated dietary
assessment solutions. Existing image-based methods either use a single-view
image or incorporate multi-view images and depth information to estimate the
food energy, which either has limited performance or creates user burdens. In
this paper, we propose an end-to-end deep learning framework for food energy
estimation from a monocular image through 3D shape reconstruction. We leverage
a generative model to reconstruct the voxel representation of the food object
from the input image to recover the missing 3D information. Our method is
evaluated on a publicly available food image dataset Nutrition5k, resulting a
Mean Absolute Error (MAE) of 40.05 kCal and Mean Absolute Percentage Error
(MAPE) of 11.47% for food energy estimation. Our method uses RGB image as the
only input at the inference stage and achieves competitive results compared to
the existing method requiring both RGB and depth information.
- Abstract(参考訳): 食事アセスメントは健康状態のモニタリングに重要な貢献をする。
既存の自己報告手法は退屈で、重大なバイアスとエラーで時間がかかる。
画像に基づく食品部分推定は、食品画像から直接食品エネルギーの値を推定することを目的としており、自動食事評価ソリューションの可能性を示している。
既存の画像ベース手法では、単一ビューイメージを使用するか、複数ビューイメージと深度情報を組み込んで食品のエネルギーを推定する。
本稿では3次元形状再構成による単眼画像からの食品エネルギー推定のためのエンドツーエンドのディープラーニングフレームワークを提案する。
生成モデルを利用して、入力画像から食品オブジェクトのボクセル表現を再構成し、欠落した3D情報を復元する。
本手法は, 食品画像データセット nutrition5k 上で評価され, 平均絶対誤差 (mae) は 40.05 kcal, 平均絶対パーセンテージ誤差 (mape) は 11.47% である。
提案手法では,rgb画像のみを推論段階で入力し,rgb画像と深度情報の両方を必要とする既存手法と比較して競合結果を得る。
関連論文リスト
- NutritionVerse-Real: An Open Access Manually Collected 2D Food Scene
Dataset for Dietary Intake Estimation [68.49526750115429]
食事摂取推定のための2D食品シーンデータセットであるNutritionVerse-Realを導入する。
NutritionVerse-Realデータセットは、実生活における食品シーンのイメージを手作業で収集し、各成分の重量を測定し、各料理の食生活内容を計算することによって作成されました。
論文 参考訳(メタデータ) (2023-11-20T11:05:20Z) - DPF-Nutrition: Food Nutrition Estimation via Depth Prediction and Fusion [0.8579795118452238]
DPF-Nutritionは単分子画像を用いたエンドツーエンドの栄養推定法である。
DPF-Nutritionでは,深度マップを生成するための深度予測モジュールを導入し,食品部分推定の精度を向上した。
また,単分子画像と予測深度情報を組み合わせたRGB-D融合モジュールを設計した。
論文 参考訳(メタデータ) (2023-10-18T04:23:05Z) - NutritionVerse: Empirical Study of Various Dietary Intake Estimation
Approaches [60.97896788599621]
食事の正確な摂取推定は、健康的な食事を支援するための政策やプログラムを伝える上で重要である。
最近の研究は、コンピュータービジョンと機械学習を使用して、食物画像から食事摂取を自動的に推定することに焦点を当てている。
我々は,84,984個の合成2D食品画像と関連する食事情報を用いた最初の大規模データセットであるNutritionVerse-Synthを紹介した。
また、リアルなイメージデータセットであるNutritionVerse-Realを収集し、リアル性を評価するために、251の料理の889のイメージを含む。
論文 参考訳(メタデータ) (2023-09-14T13:29:41Z) - Transferring Knowledge for Food Image Segmentation using Transformers
and Convolutions [65.50975507723827]
食品画像のセグメンテーションは、食品の皿の栄養価を推定するなど、ユビキタスな用途を持つ重要なタスクである。
1つの課題は、食品が重なり合ったり混ざったりし、区別が難しいことだ。
2つのモデルが訓練され、比較される。1つは畳み込みニューラルネットワークに基づくもので、もう1つは画像変換器(BEiT)のための双方向表現に関するものである。
BEiTモデルは、FoodSeg103上の49.4の結合の平均的交点を達成することで、従来の最先端モデルよりも優れている。
論文 参考訳(メタデータ) (2023-06-15T15:38:10Z) - Image Based Food Energy Estimation With Depth Domain Adaptation [6.602838826255494]
本稿では,RGB画像から食品のエネルギー密度への画素間マッピングである「エネルギー密度マップ」を提案する。
次に「エネルギー密度マップ」と関連する深度マップを、深度センサで捉えた食品エネルギーを推定する。
論文 参考訳(メタデータ) (2022-08-25T15:18:48Z) - Towards the Creation of a Nutrition and Food Group Based Image Database [58.429385707376554]
栄養・食品群に基づく画像データベースを構築するための枠組みを提案する。
米国農務省食品栄養データベース(FNDDS)における食品群に基づく食品コードリンクプロトコルを設計する。
提案手法は16,114個の食品データセットを含む栄養・食品群に基づく画像データベースを構築するために用いられる。
論文 参考訳(メタデータ) (2022-06-05T02:41:44Z) - Vision-Based Food Analysis for Automatic Dietary Assessment [49.32348549508578]
本総説では, 食品画像分析, 容積推定, 栄養素抽出の3段階からなる, 統合型ビジョンベース食事評価(VBDA)の枠組みを概説する。
深層学習により、VBDAは徐々にエンドツーエンドの実装へと移行し、単一のネットワークに食品画像を適用して栄養を直接見積もる。
論文 参考訳(メタデータ) (2021-08-06T05:46:01Z) - A Large-Scale Benchmark for Food Image Segmentation [62.28029856051079]
我々は9,490枚の画像を含む新しい食品画像データセットFoodSeg103(およびその拡張FoodSeg154)を構築します。
これらの画像に154種類の成分を付加し,各画像は平均6つの成分ラベルと画素単位のマスクを有する。
ReLeMと呼ばれるマルチモダリティプリトレーニングアプローチを提案し、豊富なセマンティックな食品知識を持つセグメンテーションモデルを明確に装備します。
論文 参考訳(メタデータ) (2021-05-12T03:00:07Z) - Towards Learning Food Portion From Monocular Images With Cross-Domain
Feature Adaptation [6.648441500207032]
本稿では,RGBと学習エネルギー分布領域の両方から推定される特徴を組み合わせることで,部分サイズ推定のための深回帰過程を提案する。
食品エネルギーの推計値は11.47%で、非専門家の推計を27.56%上回っている。
論文 参考訳(メタデータ) (2021-03-12T22:58:37Z) - Saliency-Aware Class-Agnostic Food Image Segmentation [10.664526852464812]
クラス別食品画像分割法を提案する。
画像の前後の情報を利用すれば、目立たないオブジェクトを見つけることで、食べ物のイメージをセグメンテーションすることができる。
本手法は,食餌研究から収集した食品画像を用いて検証する。
論文 参考訳(メタデータ) (2021-02-13T08:05:19Z) - An End-to-End Food Image Analysis System [8.622335099019214]
食品の局所化, 分類, 部分サイズ推定を統合した画像に基づく食品分析フレームワークを提案する。
提案するフレームワークはエンドツーエンドであり,複数の食品を含む任意の食品画像として入力することができる。
本研究の枠組みは,栄養摂食調査から収集した実生活食品画像データセットを用いて評価する。
論文 参考訳(メタデータ) (2021-02-01T05:36:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。