論文の概要: Understanding and Mitigating Hallucinations in Multimodal Chain-of-Thought Models

• arxiv url: http://arxiv.org/abs/2603.27201v1
• Date: Sat, 28 Mar 2026 08:56:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-31 23:18:44.845238
• Title: Understanding and Mitigating Hallucinations in Multimodal Chain-of-Thought Models
• Title（参考訳）: マルチモーダル・チェーン・オブ・サートモデルにおける幻覚の理解と緩和
• Abstract要約: MCoT(Multimodal Chain-of-Thought)モデルは、複雑な視覚的推論タスクにおいて印象的な能力を示す。 近年の研究では、生成過程における視覚的注意の低下により、深刻な幻覚障害に悩まされていることが判明している。 本稿では,多様な思考ステップを効果的にローカライズし,幻覚を緩和するデコードプロセスに介入する戦略を提案する。
• 参考スコア（独自算出の注目度）: 40.739279930631334
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multimodal Chain-of-Thought (MCoT) models have demonstrated impressive capability in complex visual reasoning tasks. Unfortunately, recent studies reveal that they suffer from severe hallucination problems due to diminished visual attention during the generation process. However, visual attention decay is a well-studied problem in Large Vision-Language Models (LVLMs). Considering the fundamental differences in reasoning processes between MCoT models and traditional LVLMs, we raise a basic question: Whether MCoT models have unique causes of hallucinations? To answer this question, we systematically investigate the hallucination patterns of MCoT models and find that fabricated texts are primarily generated in associative reasoning steps, which we term divergent thinking. Leveraging these insights, we introduce a simple yet effective strategy that can effectively localize divergent thinking steps and intervene in the decoding process to mitigate hallucinations. Extensive experiments show that our method outperforms existing methods by a large margin. More importantly, our proposed method can be conveniently integrated with other hallucination mitigation methods and further boost their performance. The code is publicly available at https://github.com/ASGO-MM/MCoT-hallucination.
• Abstract（参考訳）: MCoT(Multimodal Chain-of-Thought)モデルは、複雑な視覚的推論タスクにおいて印象的な能力を示す。 残念なことに、最近の研究では、生成過程における視覚的注意の低下により、深刻な幻覚障害に悩まされていることが明らかになっている。 しかし、視覚的注意減衰はLVLM(Large Vision-Language Models)においてよく研究されている問題である。 MCoTモデルと従来のLVLMの推論過程の根本的な違いを考えると、MCoTモデルに幻覚のユニークな原因があるかどうかという根本的な疑問が提起される。 この疑問に対処するために,我々はMCoTモデルの幻覚パターンを体系的に検討し,生成したテキストが主に連想的推論ステップで生成されることを発見した。 これらの知見を生かして,多様な思考ステップを効果的にローカライズし,幻覚を緩和するための復号プロセスに介入する,シンプルかつ効果的な戦略を導入する。 大規模な実験により,本手法は既存手法よりも高い性能を示した。 さらに重要なことは,提案手法を他の幻覚緩和法と便利に統合し,その性能をさらに向上させることである。 コードはhttps://github.com/ASGO-MM/MCoT-hallucinationで公開されている。

関連論文リスト

• Hallucination-aware intermediate representation edit in large vision-language models [46.189518549824356]
  大規模視覚言語モデルは多モーダル推論と複雑なシーン理解において例外的な性能を示した。 幻覚の緩和に関する最近の研究は、リトレーニング法とコントラストデコーディング(CD)法に焦点を当てている。 本稿では,幻覚表現を動的に検出し,幻覚除去編集を行うフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-03-31T08:10:13Z)
• Seeing Through the Chain: Mitigate Hallucination in Multimodal Reasoning Models via CoT Compression and Contrastive Preference Optimization [78.94590726578014]
  マルチモーダル推論モデル (Multimodal reasoning model, MLRM) は幻覚の傾向が強く, 効果的な解はいまだ未発見のままである。 textbfCompression と textbfPreference textbfOptimization を組み合わせたトレーニングベースの緩和フレームワーク C3PO を提案する。
  論文  参考訳（メタデータ） (2026-02-03T11:00:55Z)
• MM-THEBench: Do Reasoning MLLMs Think Reasonably? [45.23711313374087]
  MLLMの推論における中間CoTの幻覚評価のための総合的なベンチマークであるMM-theBenchを紹介する。 MM-theBenchは、認知次元を基盤としたきめ細かい分類法、検証された推論アノテーションを備えた多様なデータ、多段階の自動評価フレームワークを備えている。
  論文  参考訳（メタデータ） (2026-01-30T09:17:50Z)
• PruneHal: Reducing Hallucinations in Multi-modal Large Language Models through Adaptive KV Cache Pruning [87.35309934860938]
  大型言語モデル(MLLM)における幻覚は、視覚トークンに割り当てられた注意不足と強く関連している。 我々は、適応的なKVキャッシュプルーニングを活用し、重要な視覚情報に焦点をあてるトレーニングフリーでシンプルで効果的な方法である textbfPruneHal を提案する。
  論文  参考訳（メタデータ） (2025-10-22T02:41:07Z)
• MIRAGE: Assessing Hallucination in Multimodal Reasoning Chains of MLLM [58.2298313720146]
  マルチモーダル幻覚は多源性であり、様々な原因から生じる。 既存のベンチマークでは、知覚誘発幻覚と推論誘発幻覚を適切に区別することができない。
  論文  参考訳（メタデータ） (2025-05-30T05:54:36Z)
• Combating Multimodal LLM Hallucination via Bottom-Up Holistic Reasoning [151.4060202671114]
  マルチモーダル大規模言語モデル(MLLM)は、視覚言語タスクを前進させる前例のない能力を示した。 本稿では,MLLMにおける幻覚に対処するためのボトムアップ推論フレームワークを提案する。 本フレームワークは、認識レベル情報と認知レベルコモンセンス知識を検証・統合することにより、視覚とテキストの両方の入力における潜在的な問題に体系的に対処する。
  論文  参考訳（メタデータ） (2024-12-15T09:10:46Z)
• Thinking Before Looking: Improving Multimodal LLM Reasoning via Mitigating Visual Hallucination [13.706325901731665]
  MLLM(Multimodal large language model)は、視覚的・言語的モダリティの統合を推進している。 思考の連鎖(CoT)推論のような現在のアプローチは、大規模言語モデル(LLM)の認知能力を増強している。 しかし、MLLMへの適応は、相互モダリティ理解における幻覚のリスクの増大によって妨げられている。
  論文  参考訳（メタデータ） (2024-11-15T21:01:37Z)
• Alleviating Hallucinations in Large Vision-Language Models through Hallucination-Induced Optimization [123.54980913741828]
  大規模ビジュアル言語モデル(LVLM)は、マルチモーダルデータの理解において、例外的な能力を示した。 彼らは必然的に幻覚に悩まされ、生成されたテキストと対応するイメージを切断する。 現在の視覚的コントラスト復号法のほとんどは、視覚的不確実性情報を導入して幻覚を緩和しようとするものである。 しかし、彼らは幻覚トークンを正確に誘導するのに苦労し、幻覚を緩和する効果を著しく制限した。
  論文  参考訳（メタデータ） (2024-05-24T08:46:31Z)
• Mitigating Hallucinations in Large Vision-Language Models with Instruction Contrastive Decoding [25.489832294197797]
  本稿では,LVLM推論における幻覚の低減を目的とした,命令コントラストデコーディング(ICD)手法を提案する。 本手法は,マルチモーダル核融合モジュールにおいて,外乱指示が幻覚を著しく悪化させるという観察に着想を得たものである。
  論文  参考訳（メタデータ） (2024-03-27T16:04:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。