論文の概要: Geometry-Enhanced Portion Estimation for Multimodal LLMs

• arxiv url: http://arxiv.org/abs/2607.16514v1
• Date: Fri, 17 Jul 2026 21:30:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-21 18:48:37.171744
• Title: Geometry-Enhanced Portion Estimation for Multimodal LLMs
• Title（参考訳）: マルチモーダルLLMの幾何学的拡張ポーション推定
• Abstract要約: 画像に基づく食事評価は、高額でバイアスの多い手動リコールを置き換えることを約束する。 本稿では, 正確な部分ヘッドによる冷凍, 商用MLLMを向上する手法を提案する。 頭部は、MLLM単独と比較して食品ごとの誤差を33-41%削減する。
• 参考スコア（独自算出の注目度）: 3.2800662172795114
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Image-based dietary assessment promises to replace costly, bias-prone manual recalls, but portion estimation remains a major blocker. Multimodal LLMs (MLLMs) recognize a wide range of foods zero-shot in uncontrolled photos, yet they are weak at portion estimation -- a gap we measure across the current frontier (Gemini, GPT, and Claude flagships alike). We present a method that enhances a frozen, commercial MLLM with an accurate portion head: a small geometry-enhanced network on a frozen DINOv2 backbone with a structured softmax-ownership volume, consuming the MLLM's per-food name, bounding box, and density range -- no depth sensor, no MLLM fine-tuning. Evaluated fully open-vocabulary on three real-world benchmarks, the head cuts per-food portion error by 33-41% relative to the MLLM alone, outperforms every flagship MLLM's direct estimates, and surpasses each benchmark's originally published image-only model at its own reported metric.
• Abstract（参考訳）: 画像に基づく食事評価は、高価で偏見の強い手動リコールを置き換えることを約束するが、部分推定は依然として主要な障害である。 MLLM(Multimodal LLMs)は、コントロールされていない写真において、広範囲の食品をゼロショットで認識するが、部分推定では弱い。 本稿では, 食品ごとの食品名, 境界箱, 密度範囲(深度センサなし, MLLM微調整なし)を消費し, 冷凍DINOv2バックボーン上の小型ジオメトリ強化ネットワークを構造化したソフトマックスオーナーシップボリュームで拡張する手法を提案する。 実世界の3つのベンチマークで完全にオープンな語彙が評価され、ヘッドカットはMLLM単独と比較して食品ごとの誤差を33-41%削減し、すべてのフラグシップMLLMの直接推定を上回っ、各ベンチマークが最初に公表した画像のみのモデルを上回る結果となった。

関連論文リスト

• Is It Time for the Renaissance of Salient Object Detection in the Era of MLLMs? [25.03825424390989]
  MLLM(Multimodal large language model)は、タスク固有の監視を超越した、有能なオブジェクト検出(SOD)を推進している。 SODをローカライズとセグメンテーションに分解し、フレーズ、ボックス、属性でデータセットを再エンジニアリングする。 We introduced the first training-free framework that leverages Collaborative attention for Unified SOD (FOCUS)。
  論文  参考訳（メタデータ） (2026-07-31T09:54:23Z)
• Robust LLM Performance Certification via Constrained Maximum Likelihood Estimation [14.465019747508604]
  制約付き最大自由度推定(MLE)に基づくLLM故障率推定の新しい,実用的で効率的なアプローチを提案する。 我々は、予測パワー推論(PPI)のような最先端のベースラインに対して、包括的な実証研究を通じてアプローチを検証する。
  論文  参考訳（メタデータ） (2026-03-11T21:48:40Z)
• Reasoning with Confidence: Efficient Verification of LLM Reasoning Steps via Uncertainty Heads [104.9566359759396]
  データ駆動の不確実性スコアに基づくステップレベルの推論検証の軽量な代替案を提案する。 本研究は, LLMの内部状態が不確実性を符号化し, 信頼性の高い検証信号として機能することが示唆された。
  論文  参考訳（メタデータ） (2025-11-09T03:38:29Z)
• Segmentation as A Plug-and-Play Capability for Frozen Multimodal LLMs [9.6979217203587]
  LENS(Leveraging kEypoiNts for MLLMs)は,新しいプラグアンドプレイソリューションである。 LENSは軽量で訓練可能なヘッドを完全に凍結されたMLLMに取り付ける。 セグメンテーション性能は、リトレーニングベースの手法と競合するか、優れている。
  論文  参考訳（メタデータ） (2025-10-19T10:21:01Z)
• Unlocking the Potential of MLLMs in Referring Expression Segmentation via a Light-weight Mask Decoder [18.236863512276187]
  本稿では,MLLMビジョンエンコーダに符号化された視覚的特徴を,余分な視覚的エンコーダを導入することなく活用する新しいフレームワークを提案する。 さらに,MLLMの大規模言語モデル(LLM)によって出力される意味関連特徴と,詳細関連視覚特徴とを完全に統合した,詳細拡張型・意味整合型特徴融合モジュール(DSFF)を提案する。 我々の手法は一般にSAMベースの競合とSAMフリーの競合に勝り、性能とコストのバランスが良くなる。
  論文  参考訳（メタデータ） (2025-08-06T06:06:52Z)
• LLM-Lasso: A Robust Framework for Domain-Informed Feature Selection and Regularization [59.75242204923353]
  LLM-Lassoは大規模言語モデル(LLM)を利用してラッソ回帰における特徴選択を導くフレームワークである。 LLMは各特徴に対してペナルティ因子を生成し、単純でチューニング可能なモデルを用いてラスソペナルティの重みに変換される。 LLMによりより関連づけられた特徴は、より低い罰を受け、最終モデルに保持される可能性を高める。
  論文  参考訳（メタデータ） (2025-02-15T02:55:22Z)
• LLaVA-KD: A Framework of Distilling Multimodal Large Language Models [72.68665884790002]
  本稿では,l-MLLMからs-MLLMへ知識を伝達する新しいフレームワークを提案する。 本稿では,教師モデルの頑健な表現を視覚的,言語的両面で伝達するために,MDist(Multimodal Distillation)を導入する。 また,提案した蒸留戦略の可能性をフル活用するための3段階学習手法を提案する。
  論文  参考訳（メタデータ） (2024-10-21T17:41:28Z)
• $γ-$MoD: Exploring Mixture-of-Depth Adaptation for Multimodal Large Language Models [87.43596173378913]
  我々は既存のMLLMに対して$gamma$-MoDという革新的な戦略を提案する。 $gamma$-MoD では、MLLM における MoD の展開を導くための新しい計量法が提案されている。 MLLMの計算空間を最大化する2つの新しい設計法を提案する。
  論文  参考訳（メタデータ） (2024-10-17T17:59:53Z)
• An empirical study of LLaMA3 quantization: from LLMs to MLLMs [54.91212829143966]
  LLaMAファミリーは、最も強力なオープンソースの大規模言語モデル(LLM)の1つである。 LLaMA3モデルは、15T以上のデータに対する超大規模事前トレーニングによって、様々な領域で優れたパフォーマンスを実現している。 我々は,LLaMA3の1-8ビットおよび様々なデータセット上で,LLaMA3の学習後量子化とLoRA微調整(LoRA-FT)の10種類の既存手法を評価し,LLaMA3の低ビット量子化性能を明らかにする。
  論文  参考訳（メタデータ） (2024-04-22T10:03:03Z)
• Beyond Size: How Gradients Shape Pruning Decisions in Large Language Models [30.246821533532017]
  数十億のパラメータを持つ大規模言語モデル(LLM)は、ネットワークプルーニングの主要なターゲットであり、性能を損なうことなくモデルの重みを取り除く。 グラディエントベース言語モデルプルーナー (GBLM-Pruner) と呼ばれる, プレトレーニング済みLLMに対する新しいスペーサ中心プルーニング法を提案する。
  論文  参考訳（メタデータ） (2023-11-08T18:59:54Z)
• MME: A Comprehensive Evaluation Benchmark for Multimodal Large Language Models [111.51612340032052]
  マルチモーダル言語モデル(MLLM)は、マルチモーダルタスクを実行するために強力なLLMに依存している。 本稿では,MLLM 評価ベンチマーク MME について述べる。 知覚能力と認知能力の両方を合計14のサブタスクで測定する。
  論文  参考訳（メタデータ） (2023-06-23T09:22:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。