論文の概要: NutriVisRAG: Multimodal Exemplar Grounding for Nutrient Estimation with Vision-Language Models

• arxiv url: http://arxiv.org/abs/2611.08054v1
• Date: Thu, 05 Nov 2026 14:10:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-07 04:55:13.531918
• Title: NutriVisRAG: Multimodal Exemplar Grounding for Nutrient Estimation with Vision-Language Models
• Title（参考訳）: NutriVisRAG:ビジョンランゲージモデルによる栄養素推定のためのマルチモーダル指数的接地
• Abstract要約: 食事は健康の主要な決定要因であるが、生活の自由な食事画像による正確な食事評価は依然として困難である。 本稿では、視覚エンコーダを用いて栄養アノテーションで類似した食事の検索を行う検索拡張生成フレームワークであるNutriVisRAGを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Diet is a major determinant of health, yet accurate dietary assessment from free-living meal images remains challenging. Existing retrieval-based Vision-Language Model (VLM) approaches to nutrient estimation typically rely on textual food representations, while, to our knowledge, direct grounding on visually similar annotated meals has not been investigated. We present NutriVisRAG, a retrieval-augmented generation framework that uses a vision encoder to retrieve similar meals with known nutritional annotations and provide them as multimodal in-context exemplars for VLM nutrient estimation at inference time, without task-specific fine-tuning. We evaluate NutriVisRAG across four datasets, four VLMs, three retrieval encoders, and two prompting strategies, including free-living meals from adults with insulin-treated diabetes, where carbohydrate estimates are compared against two dietitians' annotations. Across all 96 configurations (4 datasets x 4 VLMs x 3 retrieval encoders x 2 prompting strategies), NutriVisRAG reduced the primary estimation error in 56, with improvements more frequent under whole-meal (35/48) than per-item prompting (21/48). Across the evaluated configurations, the lowest NutriVisRAG error was below the best Vanilla error in 13 of 16 VLM--dataset pairs. For GPT-5.4-mini, under whole-meal prompting, the best-performing retrieval encoder for each dataset reduced the primary error on all four datasets relative to Vanilla, with reductions of 1.7--35.7%. Overall, our results show that grounding in multimodal exemplars comprising images and respective annotations can improve nutrient estimation at inference time without task-specific fine-tuning, although the benefits remain configuration-dependent.
• Abstract（参考訳）: 食事は健康の主要な決定要因であるが、生活の自由な食事画像による正確な食事評価は依然として困難である。 既存の検索に基づく視覚言語モデル(VLM)による栄養素推定手法は、典型的にはテキストによる食品表現に依存しているが、我々の知識では、視覚的に類似したアノテートされた食事の直接的基盤は研究されていない。 我々は,視覚エンコーダを用いた検索拡張生成フレームワークであるNutriVisRAGを紹介した。このフレームワークは,視覚エンコーダを用いて,既知の栄養アノテーションとともに類似の食事を検索し,タスク固有の微調整をすることなく,VLM栄養推定のためのマルチモーダルインコンテクスト例として提供する。 4つのデータセット,4つのVLM,3つの検索エンコーダ,およびインスリン治療を受けた成人の食事を含む2つの促進策についてNutriVisRAGの評価を行った。 96のすべての構成(4データセット x 4 VLMs x 3 検索エンコーダ x 2 のプロンプト戦略)において、NutriVisRAG はプライマリ推定誤差を56で削減した。 評価された構成全体では、最も低いNutriVisRAGエラーは16のVLMデータセットペアのうち13のVanillaエラーよりも低かった。 GPT-5.4-miniの場合、全体のプロンプトの下で、各データセットの最高のパフォーマンスの検索エンコーダは、バニラに関する4つのデータセットの一次エラーを1.7-35.7%削減した。 以上の結果から,画像およびアノテーションを含むマルチモーダル例の接地により,タスク固有の微調整なしでの推論時間における栄養推定が向上することが示されたが,その利点は構成に依存している。

関連論文リスト

• NutriMLLM: Multimodal Large Language Models for Dietary Micronutrient Analysis [4.334404218740802]
  既存のマルチモーダル大規模言語モデル (MLLM) は, 包括的マイクロ栄養素推定では信頼性が低いことを示す。 専門家のアノテーションを伴わずにこのギャップに対処するため、私たちは、テキスト・ツー・イメージ生成のための構造化プロンプトとして、24時間の食事リコールを10年間再利用した。 このパイプラインは、約1100万枚の画像記述栄養三重項からなる合成コーパスを生成し、それぞれが生成された食品イメージと65個の栄養ラベルをペアリングした。
  論文  参考訳（メタデータ） (2026-06-08T02:50:08Z)
• An Explainable Unsupervised-to-Supervised Machine Learning Framework for Dietary Pattern Discovery Using UK National Dietary Survey Data [0.0]
  本稿では、食事パターンの発見、再現、解釈のための教師なし機械学習フレームワークを提案する。 19歳以上, NDNS 12～15歳以上の成人は, 25個のエネルギー調整栄養素, 食品群で表わされた。 高脂肪食とナトリウム, 高繊維果実野菜の微小栄養素, 高遊離糖スナック, 糖飲料の4つの解釈可能な食事パターンが同定された。
  論文  参考訳（メタデータ） (2026-05-07T09:05:14Z)
• Multimodal Fusion of Glucose Monitoring and Food Imagery for Caloric Content Prediction [2.189594222851135]
  我々は,CGM時系列データ,デモグラフィック/マイクロバイオーム,および食事前食品イメージを併用して,カロリー推定を向上するマルチモーダル深層学習フレームワークを提案する。 我々のモデルは0.2544のルート平均正方形相対誤差(RMSRE)を達成し、ベースラインモデルを50%以上上回った。
  論文  参考訳（メタデータ） (2025-05-13T23:12:54Z)
• Advancing Food Nutrition Estimation via Visual-Ingredient Feature Fusion [69.84988999191343]
  我々はファストフード(FastFood)について紹介する。ファストフード(FastFood)は、908のファストフードカテゴリーに84,446のイメージを持つデータセットで、成分や栄養のアノテーションが特徴である。 栄養推定の精度を高めるために,新しいモデル非依存型ビジュアル・イングレディエント・フィーチャー・フュージョン (VIF$2$) 法を提案する。
  論文  参考訳（メタデータ） (2025-05-13T17:01:21Z)
• NutritionVerse-Direct: Exploring Deep Neural Networks for Multitask Nutrition Prediction from Food Images [63.314702537010355]
  自己申告法はしばしば不正確であり、重大な偏見に悩まされる。 近年、食品画像から栄養情報を予測するためにコンピュータビジョン予測システムを用いた研究が進められている。 本稿では,様々なニューラルネットワークアーキテクチャを活用することにより,食事摂取量推定の有効性を高めることを目的とする。
  論文  参考訳（メタデータ） (2024-05-13T14:56:55Z)
• NutritionVerse-Real: An Open Access Manually Collected 2D Food Scene Dataset for Dietary Intake Estimation [68.49526750115429]
  食事摂取推定のための2D食品シーンデータセットであるNutritionVerse-Realを導入する。 NutritionVerse-Realデータセットは、実生活における食品シーンのイメージを手作業で収集し、各成分の重量を測定し、各料理の食生活内容を計算することによって作成されました。
  論文  参考訳（メタデータ） (2023-11-20T11:05:20Z)
• NutritionVerse: Empirical Study of Various Dietary Intake Estimation Approaches [59.38343165508926]
  食事の正確な摂取推定は、健康的な食事を支援するための政策やプログラムを伝える上で重要である。 最近の研究は、コンピュータービジョンと機械学習を使用して、食物画像から食事摂取を自動的に推定することに焦点を当てている。 我々は,84,984個の合成2D食品画像と関連する食事情報を用いた最初の大規模データセットであるNutritionVerse-Synthを紹介した。 また、リアルなイメージデータセットであるNutritionVerse-Realを収集し、リアル性を評価するために、251の料理の889のイメージを含む。
  論文  参考訳（メタデータ） (2023-09-14T13:29:41Z)
• Vision-Based Food Analysis for Automatic Dietary Assessment [49.32348549508578]
  本総説では, 食品画像分析, 容積推定, 栄養素抽出の3段階からなる, 統合型ビジョンベース食事評価(VBDA)の枠組みを概説する。 深層学習により、VBDAは徐々にエンドツーエンドの実装へと移行し、単一のネットワークに食品画像を適用して栄養を直接見積もる。
  論文  参考訳（メタデータ） (2021-08-06T05:46:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。