論文の概要: Mitigating Multimodal Hallucinations via Gradient-based Self-Reflection

• arxiv url: http://arxiv.org/abs/2509.03113v2
• Date: Wed, 01 Oct 2025 07:53:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-02 14:33:21.731759
• Title: Mitigating Multimodal Hallucinations via Gradient-based Self-Reflection
• Title（参考訳）: 勾配に基づく自己回帰によるマルチモーダル幻覚の緩和
• Authors: Shan Wang, Maying Shen, Nadine Chang, Chuong Nguyen, Hongdong Li, Jose M. Alvarez,
• Abstract要約: 本研究では,テキスト・視覚バイアスと共起バイアスに対処するために,グラディエントベースのインフルエンス・アウェア制約付きデコーディング(GACD)手法を提案する。 GACDは幻覚を効果的に低減し、MLLM出力の視覚的接地を改善する。
• 参考スコア（独自算出の注目度）: 49.26064449816502
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multimodal large language models achieve strong performance across diverse tasks but remain prone to hallucinations, where outputs are not grounded in visual inputs. This issue can be attributed to two main biases: text-visual bias, the overreliance on prompts and prior outputs, and co-occurrence bias, spurious correlations between frequently paired objects. We propose Gradient-based Influence-Aware Constrained Decoding (GACD), an inference-based method, that addresses both biases without auxiliary models, and is readily applicable to existing models without finetuning. The core of our approach is bias estimation, which uses first-order Taylor gradients to understand the contribution of individual tokens-visual features and text tokens-to the current output. Based on this analysis, GACD mitigates hallucinations through two components: (1) suppressing spurious visual features correlated with the output objects, and (2) rebalancing cross-modal contributions by strengthening visual features relative to text. Experiments across multiple benchmarks demonstrate that GACD effectively reduces hallucinations and improves the visual grounding of MLLM outputs.
• Abstract（参考訳）: マルチモーダルな大規模言語モデルは様々なタスクにまたがって強力なパフォーマンスを達成するが、視覚的な入力では出力が基礎にされていない幻覚に苦しむ。 この問題は、テキスト・視覚的バイアス、プロンプトと事前出力に対する過度な信頼、共起的バイアス、しばしばペア化されたオブジェクト間の刺激的な相関の2つの主なバイアスに起因している。 Inference-based methodであるGradient-based Influence-Aware Constrained Decoding (GACD)を提案する。 このアプローチの核となるのはバイアス推定であり、これは1次テイラー勾配を用いて個々のトークン-視覚的特徴とテキストトークンの現在の出力への寄与を理解する。 この分析に基づいて,GACDは,(1)出力オブジェクトと相関する刺激的な視覚的特徴の抑制,(2)テキストに対する視覚的特徴の強化による相互の貢献の再バランスの2つの構成要素を通じて幻覚を緩和する。 複数のベンチマーク実験により、GACDは幻覚を効果的に低減し、MLLM出力の視覚的グラウンド化を改善することが示された。

関連論文リスト

• Dissecting Representation Misalignment in Contrastive Learning via Influence Function [15.28417468377201]
  コントラスト損失に対する拡張影響関数 (ECIF) を導入し, コントラスト損失に対する影響関数について検討した。 ECIFは正と負の両方のサンプルを考慮し、対照的な学習モデルの閉形式近似を提供する。 我々はECIFに基づいて,データ評価,誤修正検出,誤予測トレースバックタスクのための一連のアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2024-11-18T15:45:41Z)
• Debiasing Multimodal Large Language Models via Penalization of Language Priors [38.97645845493758]
  MLLM(Multimodal Large Language Models)は、コンピュータビジョンや自然言語処理において欠かせないツールとなっている。 生成されたコンテンツは、入力画像よりも、基礎となるLarge Language Models (LLMs) の本質的な先行性によって駆動されることが多い。 本稿では、これらのバイアスを補正し、視覚情報に対するモデルの焦点をリダイレクトするための、単純でトレーニングのない2つの戦略を提案する。
  論文  参考訳（メタデータ） (2024-03-08T12:35:07Z)
• Data Attribution for Diffusion Models: Timestep-induced Bias in Influence Estimation [53.27596811146316]
  拡散モデルは、以前の文脈における瞬間的な入出力関係ではなく、一連のタイムステップで操作する。 本稿では、この時間的ダイナミクスを取り入れた拡散トラクInについて、サンプルの損失勾配ノルムが時間ステップに大きく依存していることを確認する。 そこで我々はDiffusion-ReTracを再正規化適応として導入し、興味のあるサンプルを対象にしたトレーニングサンプルの検索を可能にする。
  論文  参考訳（メタデータ） (2024-01-17T07:58:18Z)
• Data augmentation and explainability for bias discovery and mitigation in deep learning [0.0]
  この論文は、ディープニューラルネットワークにおけるバイアスの影響を調査し、モデルパフォーマンスへの影響を減らす方法を提案する。 最初の部分は、データやモデルのバイアスやエラーの潜在的な原因を分類し、記述することから始まり、特に機械学習パイプラインのバイアスに焦点を当てている。 次の章では、予測と制御を正当化し、モデルを改善する手段として、説明可能なAIの分類と方法について概説する。
  論文  参考訳（メタデータ） (2023-08-18T11:02:27Z)
• Delving into Identify-Emphasize Paradigm for Combating Unknown Bias [52.76758938921129]
  同定精度を高めるため,有効バイアス強調スコアリング法(ECS)を提案する。 また, マイニングされたバイアスアライメントとバイアスコンプリケート試料のコントリビューションのバランスをとるために, 勾配アライメント(GA)を提案する。 様々な環境で複数のデータセットで実験を行い、提案されたソリューションが未知のバイアスの影響を軽減することを実証した。
  論文  参考訳（メタデータ） (2023-02-22T14:50:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。