論文の概要: ReWEIGH the Evidence: Calibrating Token-Level Ordinal Visual Evidence to Mitigate Hallucinations in Large Vision-Language Models

• arxiv url: http://arxiv.org/abs/2608.19075v1
• Date: Wed, 19 Aug 2026 16:23:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-20 20:13:55.459844
• Title: ReWEIGH the Evidence: Calibrating Token-Level Ordinal Visual Evidence to Mitigate Hallucinations in Large Vision-Language Models
• Title（参考訳）: ReWEIGH the Evidence: Calibrating Token-Level Ordinal Visual Evidence to reduce Hallucinations in Large Vision-Language Models
• Abstract要約: 大規模な視覚言語モデル(LVLM)は、しばしば幻覚を起こし、入力画像がサポートしていないコンテンツを生成する。 ReWEIGHは、視覚的位置のランクを集約し、各候補をトークン固有の参照と比較する、トレーニング不要なデコード介入である。 4つの7Bバックボーンでは、ReWEIGHは幻覚オブジェクトの言及を最大21.3%減らし、記述的および一般的なパフォーマンスを保留または改善している。
• 参考スコア（独自算出の注目度）: 12.51949138515119
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large vision-language models (LVLMs) often hallucinate, generating content that the input image does not support. Preventing such content during decoding calls for a candidate-specific measure of how strongly the image supports the token under consideration. The model's visual-token states offer a natural source of this evidence because projecting each state through the output head reveals which vocabulary items that position favors. These position-wise readouts cannot be pooled directly because their probability magnitudes are not comparable across visual positions. Vocabulary ranks provide a scale-invariant basis for pooling, but tokens still differ systematically in their typical rank-based evidence. We propose ReWEIGH, a training-free decoding intervention that aggregates these ranks across visual positions and compares each candidate with a token-specific reference estimated from unlabeled images. At inference, ReWEIGH caches the image evidence during prefill and applies a bounded penalty only to candidates that fall below their reference. On four 7B backbones, ReWEIGH reduces hallucinated object mentions by up to 21.3% while largely preserving or improving descriptive and general performance. With evidence cached, the average added latency is 1.33% per token, and the reductions extend across six architecture families to 32B parameters.
• Abstract（参考訳）: 大規模な視覚言語モデル(LVLM)は、しばしば幻覚を起こし、入力画像がサポートしていないコンテンツを生成する。 復号中にそのようなコンテンツを防ぐためには、イメージが検討中のトークンをどれだけ強くサポートするか、候補固有の尺度が要求される。 モデルの視覚的な状態は、それぞれの状態が出力ヘッドを通して投影されると、どの単語が好まれるかが明らかになるため、この証拠の自然な源泉となる。 これらの位置対応の読み出しは、その確率の大きさが視覚的位置で比較できないため、直接プールできない。 語彙ランクはプールのスケール不変な基底を提供するが、トークンは通常のランクに基づく証拠で体系的に異なる。 本稿では、これらのランクを視覚的位置にわたって集約し、各候補をラベルなし画像から推定されるトークン固有の参照と比較する、トレーニング不要なデコード介入であるReWEIGHを提案する。 推論では、ReWEIGHはプリフィル中にイメージエビデンスをキャッシュし、基準を下回る候補にのみ境界付きペナルティを適用する。 4つの7Bバックボーンでは、ReWEIGHは幻覚オブジェクトの言及を最大21.3%減らし、記述的および一般的なパフォーマンスを保留または改善している。 エビデンスをキャッシュすることで、平均的な追加レイテンシはトークン当たり1.33%となり、6つのアーキテクチャファミリから32Bパラメータに拡張される。

関連論文リスト

• State-Conditioned Visual Evidence Retrieval for Fine-Grained Perception in Document Vision-Language Models [49.57973975600996]
  文書解析は、きめ細かい視覚知覚に強い要求を与える。 既存の視覚言語モデル(VLM)に基づく解析手法は、グローバルに圧縮された視覚トークンに依存している。 自己回帰復号における状態条件付き視覚的エビデンス検索(SCVER)として認識を定式化する。
  論文  参考訳（メタデータ） (2026-08-27T12:56:45Z)
• FOVEA: Focused On-Demand Visual Evidence Adaptation for Cache-Friendly Multimodal Speculative Decoding [42.559533294854134]
  マルチモーダル投機的復号化は、軽量なドラフトモデルにより、より大きなターゲットモデルによる並列検証のための候補トークンを提案することにより、視覚言語モデルを加速させる。 既存の方法は通常、事前に定義された視覚的な予算や静的な圧縮表現のような、固定されたビジュアルインターフェースにドラフトを条件付けする。 本稿では、再利用可能なビジュアルメモリを構築し、ドラフト状態の有界サブセットを動的に検索するキャッシュフレンドリーなアプローチであるFOVEAを提案する。
  論文  参考訳（メタデータ） (2026-08-24T07:09:02Z)
• Look Clearly Before Answering: Mitigating Hallucinations in LVLMs via Saliency-Driven Perceptual Realignment [45.92240827409312]
  Saliency-Driven Perceptual Realignment (SDPR) は、推論全体を通して視覚的認知の低下を緩和するトレーニング不要のフレームワークである。 提案するSDPRは,全発生経路における視覚的認知の全体的アライメントのため,幻覚に対して頑健である。
  論文  参考訳（メタデータ） (2026-07-18T14:39:16Z)
• CHASD: Language Increment-Calibrated Contrastive Decoding against Hallucination in LVLMs [16.77211535169488]
  本稿では,大規模視覚言語モデルのためのコントラスト型幻覚認識ステップワイドデコーディング(CHASD)を提案する。 CHASDは、次のトークンの最大確率が閾値以下である場合にのみ、不確実性駆動の信頼ゲートを使用してコントラスト分岐を活性化する。 実験の結果,CHASDは強いトレーニングのないベースラインよりも幻覚関連指標を向上し,競争的推論効率が向上することが示された。
  論文  参考訳（メタデータ） (2026-05-22T08:03:12Z)
• When Language Overwrites Vision: Over-Alignment and Geometric Debiasing in Vision-Language Models [4.309108879640932]
  VLM(Vision-Language Models)は、より強力な高感度アプリケーションである。 定期的に幻覚を呈し、入力に存在しない内容について自信を持って記述する。 これらの障害モードを幾何学的オーバーアライメントにトレースする。 本稿では,トレーニングフリー推論戦略とバイアス対応微調整パラダイムの2つの補完策を提案する。
  論文  参考訳（メタデータ） (2026-05-07T10:09:18Z)
• See Less, See Right: Bi-directional Perceptual Shaping For Multimodal Reasoning [58.7125460363147]
  本稿では,質問条件付きマスキングビューを双方向の視線信号に変換する双方向知覚整形(BiPS)を提案する。 BiPSはQwen2.5-VL-7Bを平均8.2%向上させ、目に見えないデータセットやイメージタイプに対して、ドメイン外の強力な一般化を示す。
  論文  参考訳（メタデータ） (2025-12-26T18:59:47Z)
• ScaleCap: Inference-Time Scalable Image Captioning via Dual-Modality Debiasing [128.8346376825612]
  高品質画像キャプションの主な課題は、LVLMの固有のバイアスにある。 本稿では,キャプションを継続的に強化・校正し,推論予算を増大させる,スケーラブルなデバイアス付きキャプション戦略を提案する。 450KイメージにScaleCapをアノテートし、LVLMプレトレーニングに使用することで、11の広く使用されているベンチマークで一貫したパフォーマンス向上を実現している。
  論文  参考訳（メタデータ） (2025-06-24T17:59:55Z)
• Grounding Language with Vision: A Conditional Mutual Information Calibrated Decoding Strategy for Reducing Hallucinations in LVLMs [51.93737995405164]
  LVLM(Large Vision-Language Models)は幻覚の影響を受けやすいモデルである。 本稿では,条件付きポイントワイド・ミューチュアル・インフォメーション(C-PMI)キャリブレーション・デコーディング・ストラテジーを導入する。 提案手法は,復号効率を保ちながら,LVLMの幻覚を著しく低減することを示す。
  論文  参考訳（メタデータ） (2025-05-26T08:36:10Z)
• Prioritizing Image-Related Tokens Enhances Vision-Language Pre-Training [78.60953331455565]
  PRIORは、NTP損失の差分重み付けによって画像関連トークンを優先する、視覚言語による事前学習手法である。 NTPと比較した場合, 平均相対的改善率は19%, 8%であった。
  論文  参考訳（メタデータ） (2025-05-13T21:27:52Z)
• PAINT: Paying Attention to INformed Tokens to Mitigate Hallucination in Large Vision-Language Model [0.0]
  幻覚は、しばしば注意重みの進歩的な弱体化から視覚的トークンへと生じる。 textbfPAINT (textbfPaying textbfAttention to textbfINformed textbfTokens) は、大規模視覚言語モデルの自己保持機構を介するプラグイン・アンド・プレイフレームワークである。
  論文  参考訳（メタデータ） (2025-01-21T15:22:31Z)
• BRIDGE: Bridging Gaps in Image Captioning Evaluation with Stronger Visual Cues [47.213906345208315]
  本稿では,新たな学習可能かつ参照不要な画像キャプション指標BRIDGEを提案する。 提案手法は,既存の基準フリー評価スコアと比較して,最先端の結果が得られる。
  論文  参考訳（メタデータ） (2024-07-29T18:00:17Z)
• Mitigating Open-Vocabulary Caption Hallucinations [33.960405731583656]
  オープン語彙設定における画像キャプションにおける幻覚に対処する枠組みを提案する。 我々のフレームワークには、生成基盤モデルを利用してオープン語彙オブジェクト幻覚を評価する新しいベンチマークであるOpenCHAIRが含まれている。 閉じたオブジェクトリストを使わずにオープン語彙の幻覚を緩和するために,MOCHaを提案する。
  論文  参考訳（メタデータ） (2023-12-06T17:28:03Z)
• Simple Token-Level Confidence Improves Caption Correctness [117.33497608933169]
  Token-Level Confidence(TLC)は、字幕の正確さを評価するシンプルな方法であるが、驚くほど効果的である。 画像キャプションに関する視覚言語モデルを微調整し、画像と提案されたキャプションをモデルに入力し、単語やシーケンスに対するトークンの信頼度を集計し、画像キャプションの一貫性を推定する。
  論文  参考訳（メタデータ） (2023-05-11T17:58:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。