論文の概要: NutriVision: Ingredient-Conditioned Fusion and Prediction for Single-Image Food Nutrition Estimation
- arxiv url: http://arxiv.org/abs/2609.33076v1
- Date: Sun, 27 Sep 2026 01:16:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-06 10:46:03.825722
- Title: NutriVision: Ingredient-Conditioned Fusion and Prediction for Single-Image Food Nutrition Estimation
- Title（参考訳）: NutriVision:Ingredient-Conditioned Fusionと単一画像食品栄養推定の予測
- Abstract要約: 我々は、カロリー、質量、脂肪分、炭水化物、タンパク質を単一のRGB画像から推定するエンドツーエンドフレームワークであるNutriVisionを紹介した。
1)RGB深度周波数成分の重み付けと整列のためのテキストガイダンスを用いたemphIngredient-Conditioned Frequency-Aligned Fusion Module (IC-FAFM)、(2)食生活における食生活に影響を及ぼすemphIngredient-Aware Mask-based Prediction Head (IA-MPH)、(3)モダリティ特異的EmphInternal Semantic Modeling
- 参考スコア（独自算出の注目度）: 23.47519389478654
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Nutrition estimation is a fundamental task in consumer diet tracking, clinical dietetics, chronic disease management, sports and hospital nutrition, and broader food computing systems. The existing approaches have progressed along two largely separate axes, vision models that rely on calibrated RGB-depth captures and ingredient-aware methods that use textual cues but use limited multimodal fusion. We introduce NutriVision, an end-to-end framework that leverages visual geometry and ingredient semantics to estimate calories, mass, fat content, carbohydrates, and protein from a single RGB image and an optional ingredient list. It obtains the unavailable depth modality using DepthAnything-V3 and encodes ingredient descriptions using CLIP. It integrates three complementary mechanisms: (1) an \emph{Ingredient-Conditioned Frequency-Aligned Fusion Module (IC-FAFM)}, which uses textual guidance to reweight and align RGB-depth frequency components; (2) an \emph{Ingredient-Aware Mask-based Prediction Head (IA-MPH)}, whose gating and channel masks are conditioned on food identity; and (3) modality-specific \emph{Internal Semantic Modeling (ISM)} blocks. On the Nutrition5k dataset, NutriVision achieves a mean PMAE of $\mathbf{13.60\pm0.10\%}$, outperforming our IGSMNet implementation by $0.89$ percentage points and OmniFood8k by $2.90$ percentage points (both $p<0.001$). The module-level ablations identify the ingredient-aware prediction head as the primary architectural contributor, improving mean PMAE by $1.50\pm0.17$ percentage points ($p<0.001$). These results demonstrate that ingredient-conditioned prediction and frequency-aware RGB-depth fusion provide measurable gains for single-image nutrient estimation. More broadly, NutriVision offers a practical route toward nutrition-assessment systems that exploit geometric and semantic cues without requiring specialized depth-sensing hardware
- Abstract（参考訳）: 栄養推定は、消費者の食事追跡、臨床食学、慢性疾患管理、スポーツおよび病院の栄養管理、および広範な食品計算システムにおいて、基本的な課題である。
既存のアプローチは2つの大きく分離された軸に沿って進展しており、RGB深度キャプチャーのキャリブレーションに依存した視覚モデルと、テキストキューを使用するがマルチモーダル融合に制限のある成分認識手法が採用されている。
このフレームワークは、視覚幾何学と成分のセマンティクスを利用して、1つのRGB画像とオプションの成分リストからカロリー、質量、脂肪分、炭水化物、タンパク質を推定する。
DepthAnything-V3を用いて使用不能な深さモダリティを取得し、CLIPを用いて成分記述をコードする。
1)RGB深度周波数成分の重み付けと整合にテキストガイダンスを使用する「emph{Ingredient-Conditioned Frequency-Aligned Fusion Module(IC-FAFM)」、2)「emph{Ingredient-Aware Mask-based Prediction Head(IA-MPH)」、(3)「Modality-specific \emph{Internal Semantic Modeling(ISM)」ブロック。
Nutrition5kデータセットでは、NutriVisionは$\mathbf{13.60\pm0.10\%}$の平均PMAEを達成し、IGSMNetの実装を0.89$%、OmniFood8kを2.90$%(どちらも$p<0.001$)で上回る。
モジュールレベルのアブレーションは、成分認識予測ヘッドを主要なアーキテクチャコントリビュータとして識別し、平均PMAEを1.50\pm0.17$%ポイント(p<0.001$)改善する。
これらの結果は,成分条件付き予測と周波数対応RGB深度融合が単一画像栄養量推定に有効であることを示す。
より広範に言えば、NutriVisionは、特定の深度検知ハードウェアを必要とせず、幾何学的および意味論的手がかりを利用する栄養測定システムへの実践的なルートを提供する。
関連論文リスト
- Ingredient-Level Food Image Segmentation for Nutrition Awareness [0.0]
本研究は,各画素の成分クラスを予測するFoodSeg103の成分レベルのセマンティックセマンティックセグメンテーションについて検討した。
SegFormer-B0はより小さなベースラインモデル、SegFormer-B1はより大きな最終モデルである。
2,135枚の画像で保持されたFoodSeg103では、B0は0.7709ピクセル、IoUは0.2521ピクセル、B1は0.7929ピクセル、IoUは0.3204ピクセルだった。
論文 参考訳（メタデータ） (2026-06-23T02:07:15Z) - OmniFood8K: Single-Image Nutrition Estimation via Hierarchical Frequency-Aligned Fusion [32.43875223470578]
既存の食品データセットのほとんどは、主に西洋料理に焦点を当てており、中国の料理を十分に網羅していない。
我々は8,036個の食品サンプルからなる総合マルチモーダルデータセットであるOmniFood8Kを紹介する。
本稿では,1枚のRGB画像から栄養予測を行うためのエンドツーエンドフレームワークを提案する。
論文 参考訳（メタデータ） (2026-04-14T06:45:32Z) - Semantic Nutrition Estimation: Predicting Food Healthfulness from Text Descriptions [0.0]
本稿では、テキスト記述から包括的食品コンパススコア2.0(FCS)を予測する機械学習パイプラインを提案する。
このアプローチでは、マルチヘッドニューラルネットワークを使用して、セマンティックテキスト埋め込み、語彙パターン、ドメインを組み合わせたハイブリッドな特徴ベクトルを処理する。
このシステムは予測力を強く示し、個々の栄養素に対する中央値R2が0.81に達する。
論文 参考訳（メタデータ） (2025-12-03T13:02:55Z) - Advancing Food Nutrition Estimation via Visual-Ingredient Feature Fusion [69.84988999191343]
我々はファストフード(FastFood)について紹介する。ファストフード(FastFood)は、908のファストフードカテゴリーに84,446のイメージを持つデータセットで、成分や栄養のアノテーションが特徴である。
栄養推定の精度を高めるために,新しいモデル非依存型ビジュアル・イングレディエント・フィーチャー・フュージョン (VIF$2$) 法を提案する。
論文 参考訳（メタデータ） (2025-05-13T17:01:21Z) - MetaFood3D: 3D Food Dataset with Nutrition Values [52.16894900096017]
このデータセットは、131のカテゴリにまたがって、743の精細にスキャンされ、ラベル付けされた3D食品オブジェクトで構成されている。
我々のMetaFood3Dデータセットはクラス内の多様性を重視しており、テクスチャメッシュファイル、RGB-Dビデオ、セグメンテーションマスクなどのリッチなモダリティを含んでいる。
論文 参考訳（メタデータ） (2024-09-03T15:02:52Z) - NutritionVerse-Synth: An Open Access Synthetically Generated 2D Food
Scene Dataset for Dietary Intake Estimation [71.22646949733833]
大規模な合成食品画像データセットであるNutritionVerse-Synth(NV-Synth)を紹介する。
NV-Synthは7,082枚の動的3Dシーンからレンダリングされた84,984枚のフォトリアリスティックな食事画像を含んでいる。
オープンソースで最大の合成食品データセットであるNV-Synthは、物理学に基づくシミュレーションの価値を強調している。
論文 参考訳（メタデータ） (2023-12-11T08:15:49Z) - NutritionVerse-Real: An Open Access Manually Collected 2D Food Scene
Dataset for Dietary Intake Estimation [68.49526750115429]
食事摂取推定のための2D食品シーンデータセットであるNutritionVerse-Realを導入する。
NutritionVerse-Realデータセットは、実生活における食品シーンのイメージを手作業で収集し、各成分の重量を測定し、各料理の食生活内容を計算することによって作成されました。
論文 参考訳（メタデータ） (2023-11-20T11:05:20Z) - A Large-Scale Benchmark for Food Image Segmentation [62.28029856051079]
我々は9,490枚の画像を含む新しい食品画像データセットFoodSeg103(およびその拡張FoodSeg154)を構築します。
これらの画像に154種類の成分を付加し,各画像は平均6つの成分ラベルと画素単位のマスクを有する。
ReLeMと呼ばれるマルチモダリティプリトレーニングアプローチを提案し、豊富なセマンティックな食品知識を持つセグメンテーションモデルを明確に装備します。
論文 参考訳（メタデータ） (2021-05-12T03:00:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。