論文の概要: An End-to-End Food Image Analysis System
- arxiv url: http://arxiv.org/abs/2102.00645v1
- Date: Mon, 1 Feb 2021 05:36:20 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-02 16:30:53.692655
- Title: An End-to-End Food Image Analysis System
- Title(参考訳): エンドツーエンド食品画像解析システム
- Authors: Jiangpeng He, Runyu Mao, Zeman Shao, Janine L. Wright, Deborah A.
Kerr, Carol J. Boushey and Fengqing Zhu
- Abstract要約: 食品の局所化, 分類, 部分サイズ推定を統合した画像に基づく食品分析フレームワークを提案する。
提案するフレームワークはエンドツーエンドであり,複数の食品を含む任意の食品画像として入力することができる。
本研究の枠組みは,栄養摂食調査から収集した実生活食品画像データセットを用いて評価する。
- 参考スコア(独自算出の注目度): 8.622335099019214
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Modern deep learning techniques have enabled advances in image-based dietary
assessment such as food recognition and food portion size estimation. Valuable
information on the types of foods and the amount consumed are crucial for
prevention of many chronic diseases. However, existing methods for automated
image-based food analysis are neither end-to-end nor are capable of processing
multiple tasks (e.g., recognition and portion estimation) together, making it
difficult to apply to real life applications. In this paper, we propose an
image-based food analysis framework that integrates food localization,
classification and portion size estimation. Our proposed framework is
end-to-end, i.e., the input can be an arbitrary food image containing multiple
food items and our system can localize each single food item with its
corresponding predicted food type and portion size. We also improve the single
food portion estimation by consolidating localization results with a food
energy distribution map obtained by conditional GAN to generate a four-channel
RGB-Distribution image. Our end-to-end framework is evaluated on a real life
food image dataset collected from a nutrition feeding study.
- Abstract(参考訳): 現代の深層学習技術は、食品認識や食品部分サイズ推定などの画像に基づく食事評価の進歩を可能にしている。
食品の種類や消費量に関する貴重な情報は、多くの慢性疾患の予防に不可欠である。
しかし、既存の画像に基づく食品分析の方法はエンドツーエンドでも、複数のタスク(認識や部分推定など)を一緒に処理することができず、現実のアプリケーションに適用することは困難である。
本稿では,食品の局所化,分類,部分サイズ推定を融合した画像ベース食品分析フレームワークを提案する。
提案手法はエンド・ツー・エンド,すなわち複数の食品を含む任意の食品画像であり,本システムでは各食品を対応する食品の種類と部分サイズでローカライズすることができる。
また、条件付きGANで得られた食品エネルギー分布マップを局在化して4チャンネルRGB分布画像を生成することにより、単一食品部分推定を改善します。
栄養摂食調査から収集した実生活食品画像データセットを用いて、エンドツーエンドの枠組みを評価した。
関連論文リスト
- NutritionVerse: Empirical Study of Various Dietary Intake Estimation
Approaches [60.97896788599621]
食事の正確な摂取推定は、健康的な食事を支援するための政策やプログラムを伝える上で重要である。
最近の研究は、コンピュータービジョンと機械学習を使用して、食物画像から食事摂取を自動的に推定することに焦点を当てている。
我々は,84,984個の合成2D食品画像と関連する食事情報を用いた最初の大規模データセットであるNutritionVerse-Synthを紹介した。
また、リアルなイメージデータセットであるNutritionVerse-Realを収集し、リアル性を評価するために、251の料理の889のイメージを含む。
論文 参考訳(メタデータ) (2023-09-14T13:29:41Z) - Muti-Stage Hierarchical Food Classification [9.013592803864086]
トレーニングプロセス中に食品を反復的にクラスタリングし,マージすることで,食品分類のための多段階階層的枠組みを提案する。
本手法は,VFN栄養データセットを用いて評価し,食品の種類と食品の分類の両面で既存の研究と比較して有望な結果を得た。
論文 参考訳(メタデータ) (2023-09-03T04:45:44Z) - An End-to-end Food Portion Estimation Framework Based on Shape
Reconstruction from Monocular Image [7.380382380564532]
3次元形状再構成による単眼画像からの食品エネルギー推定のためのエンドツーエンドのディープラーニングフレームワークを提案する。
その結果,40.05kCalの平均絶対誤差 (MAE) とMAPEの11.47%の平均絶対誤差 (MAPE) が得られた。
論文 参考訳(メタデータ) (2023-08-03T15:17:24Z) - Transferring Knowledge for Food Image Segmentation using Transformers
and Convolutions [65.50975507723827]
食品画像のセグメンテーションは、食品の皿の栄養価を推定するなど、ユビキタスな用途を持つ重要なタスクである。
1つの課題は、食品が重なり合ったり混ざったりし、区別が難しいことだ。
2つのモデルが訓練され、比較される。1つは畳み込みニューラルネットワークに基づくもので、もう1つは画像変換器(BEiT)のための双方向表現に関するものである。
BEiTモデルは、FoodSeg103上の49.4の結合の平均的交点を達成することで、従来の最先端モデルよりも優れている。
論文 参考訳(メタデータ) (2023-06-15T15:38:10Z) - Towards the Creation of a Nutrition and Food Group Based Image Database [58.429385707376554]
栄養・食品群に基づく画像データベースを構築するための枠組みを提案する。
米国農務省食品栄養データベース(FNDDS)における食品群に基づく食品コードリンクプロトコルを設計する。
提案手法は16,114個の食品データセットを含む栄養・食品群に基づく画像データベースを構築するために用いられる。
論文 参考訳(メタデータ) (2022-06-05T02:41:44Z) - Towards Building a Food Knowledge Graph for Internet of Food [66.57235827087092]
食品分類から食品分類、食品知識グラフまで、食品知識組織の進化を概観する。
食品知識グラフは、食品検索と質問回答(QA)、パーソナライズされた食事レコメンデーション、食品分析、可視化において重要な役割を果たす。
食品知識グラフの今後の方向性は、マルチモーダル食品知識グラフや食品インテリジェンスなど、いくつかの分野をカバーする。
論文 参考訳(メタデータ) (2021-07-13T06:26:53Z) - A Large-Scale Benchmark for Food Image Segmentation [62.28029856051079]
我々は9,490枚の画像を含む新しい食品画像データセットFoodSeg103(およびその拡張FoodSeg154)を構築します。
これらの画像に154種類の成分を付加し,各画像は平均6つの成分ラベルと画素単位のマスクを有する。
ReLeMと呼ばれるマルチモダリティプリトレーニングアプローチを提案し、豊富なセマンティックな食品知識を持つセグメンテーションモデルを明確に装備します。
論文 参考訳(メタデータ) (2021-05-12T03:00:07Z) - Saliency-Aware Class-Agnostic Food Image Segmentation [10.664526852464812]
クラス別食品画像分割法を提案する。
画像の前後の情報を利用すれば、目立たないオブジェクトを見つけることで、食べ物のイメージをセグメンテーションすることができる。
本手法は,食餌研究から収集した食品画像を用いて検証する。
論文 参考訳(メタデータ) (2021-02-13T08:05:19Z) - Multi-Task Image-Based Dietary Assessment for Food Recognition and
Portion Size Estimation [6.603050343996914]
本稿では,食品分類と食品部分サイズ推定の両立が可能なエンドツーエンドマルチタスクフレームワークを提案する。
本結果は,分類精度と部分推定の平均絶対誤差の両方において,ベースライン法より優れる。
論文 参考訳(メタデータ) (2020-04-27T21:35:07Z) - Cross-Modal Food Retrieval: Learning a Joint Embedding of Food Images
and Recipes with Semantic Consistency and Attention Mechanism [70.85894675131624]
画像とレシピを共通の特徴空間に埋め込み、対応する画像とレシピの埋め込みが互いに近接するように学習する。
本稿では,2つのモダリティの埋め込みを正規化するためのセマンティック・一貫性とアテンション・ベース・ネットワーク(SCAN)を提案する。
食品画像や調理レシピの最先端のクロスモーダル検索戦略を,かなりの差で達成できることが示される。
論文 参考訳(メタデータ) (2020-03-09T07:41:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。