論文の概要: LookBack: Where and How to Score LVLM Responses via Visual Reference Usage

• arxiv url: http://arxiv.org/abs/2608.11847v1
• Date: Wed, 12 Aug 2026 09:40:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-13 19:07:54.534042
• Title: LookBack: Where and How to Score LVLM Responses via Visual Reference Usage
• Title（参考訳）: LookBack: Visual Reference UsageによるLVLMレスポンスのスコア付け方法
• Abstract要約: LVLM(Large Vision-Language Models)は、視覚を言語生成と統合するモデルである。 LVLMは単にテキストレベルの幻覚を継承するだけでなく、画像に対して幻覚を起こさせる。 視覚的なルックバックスコアでトークンの確率を増大させる学習不要なLVLM応答スコアリング手法であるLookBackを提案する。
• 参考スコア（独自算出の注目度）: 5.490840244897054
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Vision-Language Models (LVLMs) integrate visual perception with language generation, enabling responses that span image understanding and complex reasoning. However, LVLMs do not just inherit the text-level hallucinations; they also hallucinate against the image, producing fluent responses ungrounded in what they see. This makes LVLM response scoring inherently harder, and our diagnostics show that existing confidence-based metrics adopted from LLMs are insufficient for LVLMs. Specifically, removing the input image barely changes confidence-based selection, suggesting that output-space confidence primarily captures textual plausibility rather than agreement with the image. To address this gap, we propose LookBack, a training-free LVLM response scoring method that augments token likelihood with visual lookback score, a lightweight measure of how strongly each response token refers to image tokens. Across four benchmarks and three models, LookBack consistently improves Best-of-$N$ selection over existing baselines with negligible additional overhead.
• Abstract（参考訳）: LVLM(Large Vision-Language Models)は、視覚を言語生成と統合し、画像理解と複雑な推論にまたがる応答を可能にする。 しかし、LVLMは単にテキストレベルの幻覚を継承するだけでなく、画像に対して幻覚を起こさせる。 これによりLVLM応答のスコアリングが本質的に難しくなり,LVLMから採用されている既存の信頼度に基づくメトリクスがLVLMに不十分であることを示す診断結果が得られた。 具体的には、入力画像の除去は、信頼性に基づいた選択をほとんど変更せず、出力空間の信頼性は、画像との一致ではなく、主にテキストの妥当性を捉えることを示唆している。 このギャップに対処するために,LookBackを提案する。LookBackは,視覚的な見返りスコアでトークンの確率を増大させる,トレーニング不要なLVLM応答スコアリング手法である。 4つのベンチマークと3つのモデルで、LookBackは、既存のベースラインに対するBest-of-N$の選択を、無視できない追加オーバーヘッドで一貫して改善している。

関連論文リスト

• Grounding Language with Vision: A Conditional Mutual Information Calibrated Decoding Strategy for Reducing Hallucinations in LVLMs [51.93737995405164]
  LVLM(Large Vision-Language Models)は幻覚の影響を受けやすいモデルである。 本稿では,条件付きポイントワイド・ミューチュアル・インフォメーション(C-PMI)キャリブレーション・デコーディング・ストラテジーを導入する。 提案手法は,復号効率を保ちながら,LVLMの幻覚を著しく低減することを示す。
  論文  参考訳（メタデータ） (2025-05-26T08:36:10Z)
• Where do Large Vision-Language Models Look at when Answering Questions? [35.39354978511109]
  LVLM(Large Vision-Language Models)は、視覚言語理解と推論タスクにおいて有望な性能を示す。 我々は既存のヒートマップ可視化手法を拡張し、オープンな視覚的質問応答のためのLVLMをサポートする。 我々は,視覚情報を必要とするベンチマークにおいて,最先端のLVLMを包括的に分析する。
  論文  参考訳（メタデータ） (2025-03-18T04:34:43Z)
• Self-Correcting Decoding with Generative Feedback for Mitigating Hallucinations in Large Vision-Language Models [65.4610281589017]
  LVLM(Large Vision-Language Models)は、与えられた視覚入力と一致しない幻覚的テキスト応答を生成する傾向がある。 テキストから画像への生成モデルからのフィードバックをデコードプロセスに組み込んだ,新たなトレーニングフリーアルゴリズムである生成フィードバック付き自己修正デコード(DeGF)を導入する。
  論文  参考訳（メタデータ） (2025-02-10T03:43:55Z)
• Mitigating Hallucinations in Large Vision-Language Models (LVLMs) via Language-Contrastive Decoding (LCD) [13.430637580980164]
  Large Vision-Language Models (LVLM) は、画像入力とテキスト入力の両方の処理を容易にし、AI機能を拡張したLarge Language Models (LLM)の拡張である。 本研究では,LVLMの出力をLarge Language Models分布の信頼性レベルに基づいて調整するLanguage Contrastive Decoding (LCD)アルゴリズムを提案する。 本手法は,複雑な後処理や再学習を必要とせず,LVLMを効果的に改善し,異なるモデルに容易に適用できる。
  論文  参考訳（メタデータ） (2024-08-06T08:10:34Z)
• Paying More Attention to Image: A Training-Free Method for Alleviating Hallucination in LVLMs [14.381188702947949]
  LVLM(Large Vision-Language Models)は、主に視覚エンコーダのイメージ特徴とLLM(Large Language Models)を連携させて、その優れたテキスト生成能力を活用する。 このLVLMの不均衡は幻覚の原因となる可能性がある。 本稿では,画像理解と言語推論の平衡点を求める学習自由アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-07-31T17:46:57Z)
• Visual Description Grounding Reduces Hallucinations and Boosts Reasoning in LVLMs [52.497823009176074]
  LVLM(Large Vision-Language Models)はしばしば、幻覚として知られる事実情報を誤認する応答を生成する。 視覚的知覚の向上とLVLMの推論能力の向上を目的とした学習自由度手法であるVisual Description Grounded Decoding (VDGD)を紹介した。
  論文  参考訳（メタデータ） (2024-05-24T16:21:59Z)
• Mitigating Object Hallucination in Large Vision-Language Models via Image-Grounded Guidance [51.30560006045442]
  Image-gRounded guIdaNcE (MARINE)は、トレーニングフリーかつAPIフリーのフレームワークである。 MARINEは、LVLMに画像グラウンドガイダンスを導入することにより、推論中の物体の幻覚を効果的かつ効率的に低減する。 私たちのフレームワークの柔軟性は、さらに複数のビジョンモデルの統合を可能にし、より信頼性が高く堅牢なオブジェクトレベルのガイダンスを可能にします。
  論文  参考訳（メタデータ） (2024-02-13T18:59:05Z)
• Good Questions Help Zero-Shot Image Reasoning [110.1671684828904]
  質問駆動型視覚探索(QVix)は、大規模視覚言語モデル(LVLM)の探索能力を高める新しい促進戦略である。 QVixは、視覚的なシーンのより広い探索を可能にし、視覚的な質問応答や視覚的エンターテイメントといったタスクにおけるLVLMの推論精度と深さを改善している。 我々は,ScienceQAやきめ細かな視覚分類など,難易度の高いゼロショット視覚言語ベンチマークの評価を行い,QVixが既存の手法よりも優れていることを示した。
  論文  参考訳（メタデータ） (2023-12-04T03:18:51Z)
• Rephrase, Augment, Reason: Visual Grounding of Questions for Vision-Language Models [59.05769810380928]
  Rephrase, Augment and Reason (RepARe) は勾配のないフレームワークで、基礎となる視覚言語モデルを用いて画像に関する詳細な情報を抽出する。 その結果、VQAv2では3.85%(絶対)、A-OKVQAでは6.41%、VizWizでは7.94%の増加が見られた。
  論文  参考訳（メタデータ） (2023-10-09T16:57:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。