論文の概要: Mitigating Object and Action Hallucinations in Multimodal LLMs via Self-Augmented Contrastive Alignment

• arxiv url: http://arxiv.org/abs/2512.04356v1
• Date: Thu, 04 Dec 2025 01:05:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-05 21:11:45.94536
• Title: Mitigating Object and Action Hallucinations in Multimodal LLMs via Self-Augmented Contrastive Alignment
• Title（参考訳）: 自己拡張コントラストアライメントによる多モードLDMにおける物体と行動の幻覚の緩和
• Authors: Kai-Po Chang, Wei-Yuan Cheng, Chi-Pin Huang, Fu-En Yang, Yu-Chiang Frank Wang,
• Abstract要約: 動的ビデオにおけるオブジェクトとアクションの忠実性を実現するためのフレームワークを提案する。 SANTAは幻覚を識別するために幻覚的自己増強スキームを採用している。 本研究では,局所的対象と関係誘導行動と対応する視覚的・時間的フレーズとを一致させるために,トラックレット・フレーズのコントラストアライメントを開発する。
• 参考スコア（独自算出の注目度）: 40.48528326378281
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advancement in multimodal LLMs (MLLMs) has demonstrated their remarkable capability to generate descriptive captions for input videos. However, these models suffer from factual inaccuracies in the generated descriptions, causing severe hallucination issues. While prior works have explored alleviating hallucinations for static images, jointly mitigating visual object and temporal action hallucinations for dynamic videos remains a challenging and unsolved task. To tackle this challenge, we propose a Self-Augmented Contrastive Alignment (SANTA) framework for enabling object and action faithfulness by exempting the spurious correlations and enforcing the emphasis on visual facts. SANTA employs a hallucinative self-augmentation scheme to identify the potential hallucinations that lie in the MLLM and transform the original captions to the contrasted negatives. Furthermore, we develop a tracklet-phrase contrastive alignment to match the regional objects and relation-guided actions with their corresponding visual and temporal phrases. Extensive experiments demonstrate that SANTA outperforms existing methods in alleviating object and action hallucinations, yielding superior performance on the hallucination examination benchmarks.
• Abstract（参考訳）: MLLM(Multimodal LLMs)の最近の進歩は、入力ビデオに記述キャプションを生成する際、その顕著な能力を示している。 しかし、これらのモデルは生成された記述の事実的不正確さに悩まされ、幻覚の深刻な問題を引き起こした。 以前の研究では静的画像に対する幻覚の緩和について検討されてきたが、動的ビデオに対する視覚的対象と時間的行動の幻覚の併用は困難で未解決の課題である。 この課題に対処するために,突発的な相関を排除し,視覚的事実に重点を置くことによって,対象と行動の忠実性を実現するための自己拡張コントラストアライメント(SANTA)フレームワークを提案する。 SANTAは、MLLMにある潜在的な幻覚を識別し、元の字幕を対照的な否定に変換するために幻覚的自己増強スキームを使用している。 さらに,局所的対象と関係誘導行動と対応する視覚的・時間的フレーズとを一致させるために,トラックレット・フレーズのコントラストアライメントを開発する。 広範囲にわたる実験により、SANTAは、対象と行動の幻覚を緩和する既存の手法よりも優れており、幻覚検査ベンチマークにおいて優れた性能を発揮することが示された。

関連論文リスト

• Two Causes, Not One: Rethinking Omission and Fabrication Hallucinations in MLLMs [31.601057368065877]
  既存の手法は、省略と製造幻覚が共通の原因を共有するという欠点のある仮定に基づいており、しばしば省略を減らし、より多くの製造を誘発する。 本研究は,視覚的特徴を言語表現にマッピングする場合に,排他的幻覚が不十分な自信から生じることを示すことによって,この見解を覆すものである。 本研究では,物体の存在や不在を視覚的証拠がどのように推測するかを明らかにする概念的枠組みである視覚意味的注意力場を提案する。
  論文  参考訳（メタデータ） (2025-08-30T05:47:41Z)
• What Makes "Good" Distractors for Object Hallucination Evaluation in Large Vision-Language Models? [95.46087552542998]
  本稿では,Halucination検索を用いたObject Probing Evaluationベンチマークを紹介する。 これは、大きな視覚ランゲージモデルで幻覚を誘発する最も誤解を招きやすいイントラクタを生成することを目的としている。 実験結果から, HOPEの精度は少なくとも9%低下し, 最先端のLVLMでは最大23%低下した。
  論文  参考訳（メタデータ） (2025-08-03T03:11:48Z)
• Mitigating Hallucination in VideoLLMs via Temporal-Aware Activation Engineering [83.63437999696954]
  大規模言語モデル(MLLM)における幻覚は、ビデオ領域において重要かつ未適応な課題として持続する。 本稿では,幻覚に敏感なモジュールを適応的に識別し,操作するビデオLLMのための時間認識型アクティベーションエンジニアリングフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-19T08:12:06Z)
• Interpreting and Mitigating Hallucination in MLLMs through Multi-agent Debate [34.17353224636788]
  MLLMにおける幻覚は、部分的には、これらのモデルにおいてゆっくり考え、異なる考えが欠如しているためである、と我々は主張する。 我々のアプローチは幻覚だけでなく、それらがなぜ起こるのかを解釈し、幻覚の特異点を詳述する。
  論文  参考訳（メタデータ） (2024-07-30T02:41:32Z)
• Alleviating Hallucinations in Large Vision-Language Models through Hallucination-Induced Optimization [123.54980913741828]
  大規模ビジュアル言語モデル(LVLM)は、マルチモーダルデータの理解において、例外的な能力を示した。 彼らは必然的に幻覚に悩まされ、生成されたテキストと対応するイメージを切断する。 現在の視覚的コントラスト復号法のほとんどは、視覚的不確実性情報を導入して幻覚を緩和しようとするものである。 しかし、彼らは幻覚トークンを正確に誘導するのに苦労し、幻覚を緩和する効果を著しく制限した。
  論文  参考訳（メタデータ） (2024-05-24T08:46:31Z)
• Hal-Eval: A Universal and Fine-grained Hallucination Evaluation Framework for Large Vision Language Models [35.45859414670449]
  我々は,新しいカテゴリーであるイベント幻覚(Event Hallucination)を特徴とする,幻覚の洗練された分類を導入した。 次に,多種多様な幻覚からなる微粒な幻覚データの生成とフィルタリングに高度LLMを利用する。 提案するベンチマークでは,広帯域の幻覚に対処するLVLMの能力を顕著に評価している。
  論文  参考訳（メタデータ） (2024-02-24T05:14:52Z)
• A Survey on Hallucination in Large Vision-Language Models [18.540878498840435]
  LVLM(Large Vision-Language Models)は、実践的な実装の可能性から、AIの世界において注目を集めている。 しかし,「幻覚」は,現実の視覚的内容とそれに対応するテキスト生成のミスアライメントが,LVLMを活用する上で大きな課題となる。 我々は,LVLM関連幻覚を解明し,今後の緩和を促進するために検討する。
  論文  参考訳（メタデータ） (2024-02-01T00:33:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。