論文の概要: Mitigating Video Hallucinations via Attention-Guided Representation Perturbation
- arxiv url: http://arxiv.org/abs/2610.19728v1
- Date: Wed, 14 Oct 2026 07:50:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-15 21:06:16.022335
- Title: Mitigating Video Hallucinations via Attention-Guided Representation Perturbation
- Title（参考訳）: 注意誘導表現摂動によるビデオ幻覚の緩和
- Abstract要約: 対照的な復号法(CD)は幻覚を緩和するが、その効果は負の分岐が視覚的証拠を弱める方法に依存する。
コントラストデコーディングのための注意誘導表現摂動(ARP-CD)について紹介する。
ARP-CDは、応答予測位置の視覚トークンに割り当てられた注目質量を使用して、言語モデルの入力視覚隠れ状態の有界更新を誘導する。
- 参考スコア（独自算出の注目度）: 9.11836302695901
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Video large language models (Video LLMs) often generate responses unsupported by the input video. Contrastive decoding (CD) can mitigate these hallucinations, but its effectiveness depends on how the negative branch weakens visual evidence. Existing methods rely on predefined perturbations or masking guided by question reconstruction, offering limited control over the model's visual reliance during answer generation. We introduce Attention-guided Representation Perturbation for Contrastive Decoding (ARP-CD), a training-free framework for constructing contrastive negatives directly in representation space. ARP-CD uses the attention mass assigned to visual tokens at the answer-prediction position to guide bounded gradient updates of the language model's input visual hidden states. These updates reduce visual attention and produce a negative input, whose predictions are contrasted with those of the original branch throughout generation. Experiments across four Video LLMs and four benchmarks show that ARP-CD outperforms representative training-free baselines in most model--benchmark settings, reducing hallucinations while improving general video understanding. Further analyses show that attention-guided perturbation directions improve negative quality and that the resulting negatives provide effective contrastive references for correcting the original predictions.
- Abstract（参考訳）: ビデオ大言語モデル(ビデオLLM)は、しばしば、入力されたビデオによって応答がサポートされないものを生成する。
対照的な復号法(CD)はこれらの幻覚を緩和することができるが、その効果は負の分岐が視覚的証拠を弱める方法に依存する。
既存の方法は、質問の再現によって導かれる事前定義された摂動やマスキングに依存しており、応答生成時のモデルの視覚的依存を限定的に制御できる。
Intention-guided Representation Perturbation for Contrastive Decoding (ARP-CD) は、対照的な負を直接表現空間に構築するためのトレーニング不要なフレームワークである。
ARP-CDは、応答予測位置の視覚トークンに割り当てられた注目質量を使用して、言語モデルの入力視覚隠れ状態の有界勾配更新を誘導する。
これらの更新は視覚的注意を減らし、負の入力を生成し、その予測は世代を通して元のブランチのものと対比される。
4つのビデオLLMと4つのベンチマークによる実験によると、ARP-CDは、ほとんどのモデルにおいて、トレーニング不要のベースラインよりも優れており、一般的なビデオ理解を改善しながら幻覚を減らしている。
さらに、注意誘導摂動方向が負の品質を向上し、結果の負が元の予測を補正するための効果的なコントラスト参照を提供することを示した。
関連論文リスト
- VADER: Adaptive Debiasing for Hallucination Mitigation in Video Large Language Models [30.792102059830274]
Video-Adaptive Debiasing via Evidence Reweighting (VADER)は、2つの補完モジュールを持つトレーニング不要のフレームワークである。
Visual Focus Reallocation (VFR)は、ビデオ検索の各入力に対する介入ポリシーを自動的にインスタンス化する。
SEE(Selective Evidence Erasure)は、フレーム毎に高重要性の視覚トークンを隠蔽する。
論文 参考訳（メタデータ） (2026-08-09T10:09:11Z) - Look Clearly Before Answering: Mitigating Hallucinations in LVLMs via Saliency-Driven Perceptual Realignment [45.92240827409312]
Saliency-Driven Perceptual Realignment (SDPR) は、推論全体を通して視覚的認知の低下を緩和するトレーニング不要のフレームワークである。
提案するSDPRは,全発生経路における視覚的認知の全体的アライメントのため,幻覚に対して頑健である。
論文 参考訳（メタデータ） (2026-07-18T14:39:16Z) - CHASD: Language Increment-Calibrated Contrastive Decoding against Hallucination in LVLMs [16.77211535169488]
本稿では,大規模視覚言語モデルのためのコントラスト型幻覚認識ステップワイドデコーディング(CHASD)を提案する。
CHASDは、次のトークンの最大確率が閾値以下である場合にのみ、不確実性駆動の信頼ゲートを使用してコントラスト分岐を活性化する。
実験の結果,CHASDは強いトレーニングのないベースラインよりも幻覚関連指標を向上し,競争的推論効率が向上することが示された。
論文 参考訳（メタデータ） (2026-05-22T08:03:12Z) - VCE: A zero-cost hallucination mitigation method of LVLMs via visual contrastive editing [70.82867621856968]
大きな視覚言語モデル(LVLM)は、しばしば物体幻覚(OH)に悩まされる
近年の研究では、幻覚の問題は言語の先行に起因している可能性が示唆されている。
本稿では視覚コントラスト編集(VCE)を提案する。
論文 参考訳（メタデータ） (2026-04-21T12:40:07Z) - Relaxing Anchor-Frame Dominance for Mitigating Hallucinations in Video Large Language Models [22.554751069064906]
最近のビデオ大言語モデル(ビデオ-LLM)は、ビデオ理解において強力な能力を示しているが、幻覚に悩まされている。
モデルが時間的に不均衡な濃度パターンを示すデコーダ側現象について検討する。
そこで本稿では,Decoder-side Temporal Rebalancing (DTR)を提案する。
論文 参考訳（メタデータ） (2026-04-14T11:05:42Z) - Guiding Diffusion-based Reconstruction with Contrastive Signals for Balanced Visual Representation [81.40978077888693]
対照的に、CLIP(Contrastive Language- Image Pre-training)は、下流のパフォーマンスにおいて重要なボトルネックとなっている。
近年のソリューションでは、拡散モデルを用いて、CLIP視覚トークンに画像再構成を条件付けることで表現を強化する。
我々は、より包括的な視覚表現を追求するために、コントラスト信号を拡散に基づく再構成に統合する。
論文 参考訳（メタデータ） (2026-03-05T04:45:49Z) - PromptCD: Test-Time Behavior Enhancement via Polarity-Prompt Contrastive Decoding [85.22047087898311]
本稿では,より広範な拡張設定へのコントラストデコーディングを一般化するテスト時動作制御手法であるPolarity-Prompt Contrastive Decoding(PromptCD)を紹介する。
PromptCDは、目標行動のためのペアの正と負の導出プロンプトを構築し、望ましい結果を強化するためにモデル応答を対比する。
3H"アライメントの目的に関する実験では、一貫性と実質的な改善が示されている。
論文 参考訳（メタデータ） (2026-02-24T08:56:52Z) - Seeing Through the Chain: Mitigate Hallucination in Multimodal Reasoning Models via CoT Compression and Contrastive Preference Optimization [78.94590726578014]
マルチモーダル推論モデル (Multimodal reasoning model, MLRM) は幻覚の傾向が強く, 効果的な解はいまだ未発見のままである。
textbfCompression と textbfPreference textbfOptimization を組み合わせたトレーニングベースの緩和フレームワーク C3PO を提案する。
論文 参考訳（メタデータ） (2026-02-03T11:00:55Z) - Learning to Decode Against Compositional Hallucination in Video Multimodal Large Language Models [44.84227796501077]
ビデオマルチモーダル大言語モデル(VLLM)における孤立幻覚と構成幻覚の両方を評価するためのベンチマークであるOmniVCHallを紹介する。
3方向キャリブレーション機構を備えたコントラストデコーディングフレームワークであるTriCDを提案する。
実験の結果,TriCDは2つの代表的なバックボーンで連続的に性能を向上し,平均精度が10%以上向上した。
論文 参考訳（メタデータ） (2026-01-31T06:50:43Z) - Self-Correcting Decoding with Generative Feedback for Mitigating Hallucinations in Large Vision-Language Models [65.4610281589017]
LVLM(Large Vision-Language Models)は、与えられた視覚入力と一致しない幻覚的テキスト応答を生成する傾向がある。
テキストから画像への生成モデルからのフィードバックをデコードプロセスに組み込んだ,新たなトレーニングフリーアルゴリズムである生成フィードバック付き自己修正デコード(DeGF)を導入する。
論文 参考訳（メタデータ） (2025-02-10T03:43:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。