論文の概要: Senses Wide Shut: A Representation-Action Gap in Omnimodal LLMs

• arxiv url: http://arxiv.org/abs/2605.13737v1
• Date: Wed, 13 May 2026 16:14:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-14 23:30:28.170297
• Title: Senses Wide Shut: A Representation-Action Gap in Omnimodal LLMs
• Title（参考訳）: ワイドシャット感:Omnimodal LLMにおける表現-アクションギャップ
• Authors: Trung Nguyen Quang, Yiming Gao, Fanyi Pu, Kaichen Zhang, Shuo Sun, Ziwei Liu,
• Abstract要約: Representation-Action Gap: 隠された状態が前提認識ミスマッチを確実にエンコードする。 振る舞い的には、モデルはアンダーリジェクションとオーバーリジェクションの2つの障害モードに分類される。 初期診断介入として、プローブ誘導ロジット調整は、符号化されたミスマッチ信号を再注入して復号する。
• 参考スコア（独自算出の注目度）: 41.451167369762544
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: When an omnimodal large language model accepts a question whose textual premise contradicts what it actually sees or hears, does the failure lie in perception or in action? Recent omnimodal models are positioned as perception-grounded agents that jointly process video, audio, and text, yet a basic form of grounding remains untested: catching a textual claim that conflicts with the model's own sensory input. We introduce IMAVB, a curated 500-clip benchmark of long-form movies with a 2x2 design crossing target modality (vision, audio) and premise condition (standard, misleading), which lets us measure conflict detection separately from ordinary multimodal comprehension. Across eight open-source omnimodal LLMs and Gemini 3.1 Pro, we document a Representation-Action Gap: hidden states reliably encode premise-perception mismatches even when the same models almost never reject the false claim in their outputs. Behaviorally, models fall into two failure modes: under-rejection, in which they answer misleading questions as if the false premise were true; and over-rejection, in which they reject more often but also reject standard questions, sacrificing ordinary comprehension accuracy. The gap is modality-asymmetric (audio grounding underperforms vision) and prompt-resistant across seven variants. As an initial diagnostic intervention, a probe-guided logit adjustment (PGLA) re-injects the encoded mismatch signal into decoding and consistently improves rejection behavior. Together, these results suggest the bottleneck for omnimodal grounding lies in translation, not perception.
• Abstract（参考訳）: 一様大言語モデルが、テキスト的前提が実際に見たり聞いたりするものと矛盾する質問を受け入れたとき、失敗は認識または行動にあるか? 最近の雑用モデルは、映像、音声、テキストを共同処理する知覚接地エージェントとして位置づけられているが、基礎的な形態のグラウンドは未検証のままであり、モデル自身の感覚入力と矛盾するテキストクレームをキャッチする。 In this present IMAVB, a curated 500-clip benchmark of long-form films with a 2x2 design cross target modality (vision, audio) and premises condition (standard, misleading) which can measure conflict detection from common multimodal comprehension。 隠れ状態が前提認識ミスマッチを確実にエンコードする: 同じモデルが出力の誤った主張をほとんど否定しない場合でも。 行動的には、モデルは2つの失敗モードに分類される: 虚偽の前提が真実であるかのように誤解を招く質問に答えるアンダー・リジェクション; オーバー・リジェクション; オーバー・リジェクション; より頻繁に拒否するが、標準の質問を拒絶し、通常の理解精度を犠牲にする。 このギャップはモダリティ非対称(音響グラウンドのアンダーパフォーマンス)であり、7つの変種にまたがる即時抵抗である。 初期診断介入として、プローブ誘導ロジット調整(PGLA)は、符号化されたミスマッチ信号をデコードに再注入し、拒絶動作を一貫して改善する。 これらの結果は、一様基底のボトルネックは、知覚ではなく翻訳にあることを示唆している。

関連論文リスト

• Arbitration Failure, Not Perceptual Blindness: How Vision-Language Models Resolve Visual-Linguistic Conflicts [7.071615105094556]
  視覚的属性は、初期層から線形にデオード可能であることを示す。 初期のレイヤでのトレーニング不要なアクティベーションは、いくつかの設定で性能を低下させることなく、最大3.8%の視覚的グラウンド化を向上できることを示す。
  論文  参考訳（メタデータ） (2026-04-10T14:36:07Z)
• What's Left Unsaid? Detecting and Correcting Misleading Omissions in Multimodal News Previews [31.373823254968315]
  事実が正しいとしても、ソーシャルメディアのニュースプレビューは解釈のドリフトを引き起こす。 この秘密の害は明示的な誤報よりも検出が難しいが、未発見のままである。 我々は、プレビューベースとコンテキストベースの理解を分離し、シミュレートするマルチステージパイプラインを開発した。
  論文  参考訳（メタデータ） (2026-01-09T06:29:19Z)
• e5-omni: Explicit Cross-modal Alignment for Omni-modal Embeddings [91.3041144166326]
  市販の視覚言語モデルをロバストなオムニモーダル埋め込みモデルに適応させる軽量な明示的アライメントレシピであるe5-omniを提案する。 e5-omniは、類似度尺度を整合させるためにモード対応温度校正と、混乱する負の点に焦点を合わせた制御可能な負のカリキュラムと、クロスモーダル幾何に適合するバッチホワイトニングを組み合わせる。 MMEB-V2とAudioCapsの実験では、強いバイモーダルおよびオムニモーダルベースラインよりも一貫した利得を示した。
  論文  参考訳（メタデータ） (2026-01-07T07:39:40Z)
• When Safety Blocks Sense: Measuring Semantic Confusion in LLM Refusals [0.07777489763207261]
  現在の評価では、主に虚偽の拒絶やコンプライアンスなどのグローバルレートを報告している。 このようなローカル不整合をキャプチャする障害モードである"セマンティック・混乱"を導入する。 トークンレベルでは,コンフュージョン指数,コンフュージョンレート,コンフュージョン深さという3つのモデルに依存しない指標を提案する。
  論文  参考訳（メタデータ） (2025-11-30T19:11:45Z)
• Measuring Epistemic Humility in Multimodal Large Language Models [17.490955813494693]
  HumbleBench は,MLLM が正解ではないが誤解を拒否する能力を評価するために設計された,新しい幻覚ベンチマークである。 我々は、微粒なシーングラフアノテーションを利用して、地中構造体と関係を抽出し、GPT-4-Turboに多重選択質問を生成する。 HumbleBenchは、現在の評価スイートにおける重要なギャップを埋め、安全クリティカルな設定におけるMLLMの信頼性をより現実的に測定する。
  論文  参考訳（メタデータ） (2025-09-11T17:54:00Z)
• Can Large Multimodal Models Actively Recognize Faulty Inputs? A Systematic Evaluation Framework of Their Input Scrutiny Ability [10.607081850023286]
  ISEval(Input Scrutiny Ability Evaluation Framework)は,7つの欠陥のある前提と3つの評価指標を含む。 ほとんどのモデルは、ガイダンスなしで欠陥のあるテキストの前提を積極的に検出するのに苦労している。 これらの知見は、LMMの入力妥当性の積極的な検証を強化する緊急の必要性を浮き彫りにしている。
  論文  参考訳（メタデータ） (2025-08-06T02:13:46Z)
• Seeing Through Deception: Uncovering Misleading Creator Intent in Multimodal News with Vision-Language Models [65.23999399834638]
  DeceptionDecodedは,信頼に値する参照記事に基づく12,000のイメージキャプチャペアのベンチマークである。 データセットは、誤解を招くケースと、誤解を招くケースの両方をキャプチャし、視覚的およびテキスト的モダリティにわたって操作する。 インテント中心の3つのタスク – 意図の検出を誤解させる、ソースの属性を誤解させる、創造的欲求推論 – をサポートしている。
  論文  参考訳（メタデータ） (2025-05-21T13:14:32Z)
• A Study of Dropout-Induced Modality Bias on Robustness to Missing Video Frames for Audio-Visual Speech Recognition [53.800937914403654]
  AVSR(Advanced Audio-Visual Speech Recognition)システムは、欠落したビデオフレームに敏感であることが観察されている。 ビデオモダリティにドロップアウト技術を適用することで、フレーム不足に対するロバスト性が向上する一方、完全なデータ入力を扱う場合、同時に性能損失が発生する。 本稿では,MDA-KD(Multimodal Distribution Approximation with Knowledge Distillation)フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-07T06:06:55Z)
• Deconfounded Video Moment Retrieval with Causal Intervention [80.90604360072831]
  本研究は,ビデオ中の特定のモーメントをテキストクエリに従ってローカライズすることを目的とした,ビデオモーメント検索(VMR)の課題に取り組む。 既存の手法は主に複雑な相互モーダル相互作用によるクエリとモーメントのマッチング関係をモデル化する。 本稿では,クエリとビデオコンテンツが予測に与える影響を捉えるために,構造因果モデルを構築する因果性に着想を得たVMRフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-06-03T01:33:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。