論文の概要: Devils in Question Relay: Source-Conditioned Relay Steering to Mitigate Hallucinations in Audio-visual Large Language Models

• arxiv url: http://arxiv.org/abs/2609.37568v1
• Date: Tue, 29 Sep 2026 13:37:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.565577
• Title: Devils in Question Relay: Source-Conditioned Relay Steering to Mitigate Hallucinations in Audio-visual Large Language Models
• Title（参考訳）: Devils in Question Relay: 音声視覚大言語モデルにおける幻覚緩和のためのソースコンディション型リレーステアリング
• Abstract要約: 本稿では,質問リレーにおけるクロスモーダル干渉を緩和する学習自由度手法を提案する。 広く採用されている2つのベンチマークの実験では、SECRETはトレーニングなしの手法よりも一貫して優れていた。 モダリティ特異的キャプションはさらに、オープンエンドジェネレーションへの一般化性を示している。
• 参考スコア（独自算出の注目度）: 34.47428947769823
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Audio-visual large language models (AVLLMs) have made remarkable progress in multimodal understanding and reasoning through interactions among visual, auditory, and linguistic information. However, recent studies show that AVLLMs face a critical challenge: $\textbf{source-confused grounding hallucination}$, where cues from the unused modality induce responses that the required modality does not support, undermining reliability in real-world applications. Existing methods have made progress in mitigating this failure, yet how it arises from internal cross-modal interactions remains insufficiently understood. To address this gap, we conduct path-intervention and representation analyses, revealing a $\textbf{question-relay}$ mechanism: question states carry interfering cues alongside required-source evidence, undermining grounding in required-modality evidence. Cutting pathways from interfering modality to question states yields greater correct-answer logit recovery than cutting those to the generation position. Motivated by these findings, we propose $\textbf{SECRET}$ ($\textbf{S}$ourc$\textbf{E}$-$\textbf{C}$onditioned $\textbf{RE}$lay s$\textbf{T}$eering), a training-free method that mitigates cross-modal interference at the question relay. Using contrasting question representations elicited through different modality-pathway interventions, SECRET steers the original question states toward required-source evidence. Experiments on two widely adopted benchmarks CMM and AVHBench across three AVLLMs show that SECRET consistently outperforms prior training-free methods, substantially mitigating source-confused grounding hallucinations (e.g., up to +18.0 and +7.1 percentage points over base models). Modality-specific captioning further demonstrates its generalizability to open-ended generation.
• Abstract（参考訳）: 音声・視覚大言語モデル(AVLLM)は、視覚情報、聴覚情報、言語情報間の相互作用を通じて、多モーダル理解と推論において顕著な進歩を遂げている。 $\textbf{source-confused grounding hallucination}$, where cues from the unuseed modality in response that the required modality does not support, undermineing reliability in real-world applications。 既存の手法は、この失敗を緩和する方法を進歩させたが、内部のモーダル相互作用からどのように生じるかは、まだ十分に理解されていない。 このギャップに対処するため、パス・インターベンションと表現分析を行い、$\textbf{question-relay}$ mechanism: question state carry interfering cues along necessary-source evidence, undermineing grounding in required-modality evidence。 モダリティの干渉から問題状態への切断経路は、生成位置への切断よりも高い正解ロジット回復をもたらす。 これらの結果に触発されて、質問リレーにおける相互干渉を緩和するトレーニング不要なメソッドである$\textbf{SECRET}$$$\textbf{S}$ourc$\textbf{E}$-$\textbf{C}$onditioned $\textbf{RE}$lay s$\textbf{T}$eeringを提案する。 異なるモダリティ・パスウェイの介入によって引き起こされた対照的な質問表現を用いて、SECRETは元の質問文を必須情報源の証拠へと導いた。 3つのAVLLMで広く採用されている2つのベンチマークCMMとAVHBenchの実験では、SECRETはトレーニングなしの手法を一貫して上回り、源泉に満ちた幻覚(例えば、+18.0と+7.1のパーセンテージ)を実質的に緩和している。 モダリティ特異的キャプションはさらに、オープンエンドジェネレーションへの一般化性を示している。

関連論文リスト

• SAGE: From Direct Answering to Evidence-Grounded Inference for Chinese Ancient Document Understanding [61.02068339726333]
  中国古文書理解のためのエビデンスを基盤としたマルチエージェントフレームワークであるSAGEを提案する。 SAGEは、タスク対応計画、ツールによるエビデンス獲得、クレームレベルの検証、バウンドリプランニングのための特殊エージェントを調整する。 AncientDocベンチマークの実験によると、SAGEは直接答えベースラインと一貫して優れていた。
  論文  参考訳（メタデータ） (2026-08-25T03:01:51Z)
• REIN: Bridging the Gap between Reasoning and Reliability via Reflection and Abstention Alignment [35.47736821237044]
  大規模な推論モデル(LRM)は幻覚を起こしやすいため、信頼性が損なわれ、安全な配置の課題が生じる。 構造的推論シーケンスを生成するためにLEMをトレーニングするアライメントフレームワークであるREINを提案する。 REINは、サンプル化された推論鎖のどれにも正しい答えが得られない場合、明示的な棄権を促す報酬機構を導入する。
  論文  参考訳（メタデータ） (2026-08-08T05:37:13Z)
• Knowing When to Quit: Diagnosing and Training LLMs to Abort Futile Reasoning [109.33717747526583]
  大規模言語モデルは、計算コストが高くても意味論的に無効な推論を、能力を超えたタスクで生成する。 textbfCaRL(textbfCapability-textbfaligned textbfReinforcement textbfL)を導入し、振る舞いを機能境界に合わせる。 実験は、タスクの難易度を超えて性能を保ちながら、無駄な推論を大幅に削減することを示した。
  論文  参考訳（メタデータ） (2026-07-31T09:30:33Z)
• Separate First, Fuse Later: Mitigating Cross-Modal Interference in Audio-Visual LLMs Reasoning with Modality-Specific Chain-of-Thought [49.53567098922619]
  モーダル間干渉を低減するための音声・視覚的推論フレームワークとして, 分離ファースト, ファウズ・レイト (SFFL) を提案する。 SFFLは、モーダリティ固有の連鎖推論を強制し、別々の音声および視覚的推論トレースを生成し、答えのエビデンスを統合する。 実験では精度と頑健さの両面で一貫した改善が示され、一般的なAVQAベンチマークでは5.16%、クロスモーダル幻覚ベンチマークでは11.17%の平均的な相対的な増加が得られた。
  論文  参考訳（メタデータ） (2026-05-11T02:50:27Z)
• Knowing When Not to Answer: Evaluating Abstention in Multimodal Reasoning Systems [52.83669998269706]
  テキストのみの設定で研究されてきたが、まだマルチモーダルに探索されていない。 現在のベンチマークでは、未解決性を無視するか、現実的な障害モードを見逃す粗末なメソッドに依存している。 MM-AQAは、2つの軸に沿った変換によって解答不能なインスタンスを解答可能なインスタンスから構築するベンチマークである。
  論文  参考訳（メタデータ） (2026-04-16T09:23:22Z)
• Retrieving to Recover: Towards Incomplete Audio-Visual Question Answering via Semantic-consistent Purification [30.75902088237621]
  R$2$ScPは、欠落したモダリティハンドリングのパラダイムを従来の生成的命令から検索ベースのリカバリにシフトする新しいフレームワークである。 具体的には、統合されたセマンティック埋め込みによるクロスモーダル検索を利用して、欠落したドメイン固有知識を取得する。
  論文  参考訳（メタデータ） (2026-04-12T15:43:30Z)
• DIVER: Dynamic Iterative Visual Evidence Reasoning for Multimodal Fake News Detection [6.225860651499494]
  多モーダル偽ニュース検出は、敵対的誤報の軽減に不可欠である。 進化的,エビデンス駆動推論パラダイムに基づくフレームワークであるDIVER(Dynamic Iterative Visual Evidence Reasoning)を提案する。 Weibo、Weibo21、GossipCopの実験では、DIVERは最先端のベースラインを平均2.72%上回っている。
  論文  参考訳（メタデータ） (2026-01-12T04:01:33Z)
• VOGUE: Guiding Exploration with Visual Uncertainty Improves Multimodal Reasoning [62.09195763860549]
  検証可能な報酬(RLVR)による強化学習は、大きな言語モデル(LLM)の推論を改善するが、探索に苦労する。 出力(テキスト)から入力(視覚)空間へ探索をシフトする新しい手法である$textbfVOGUE(Visual Uncertainty Guided Exploration)を紹介した。 本研究は,視覚入力の本質的不確実性における基盤探索が,マルチモーダル推論を改善するための効果的な戦略であることを示す。
  論文  参考訳（メタデータ） (2025-10-01T20:32:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。