論文の概要: Omni-Modal Dissonance Benchmark: Systematically Breaking Modality Consensus to Probe Robustness and Calibrated Abstention
- arxiv url: http://arxiv.org/abs/2603.27187v1
- Date: Sat, 28 Mar 2026 08:29:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-31 23:18:44.836935
- Title: Omni-Modal Dissonance Benchmark: Systematically Breaking Modality Consensus to Probe Robustness and Calibrated Abstention
- Title（参考訳）: Omni-Modal Dissonance ベンチマーク:ロバスト性および校正的留意点の証明に対するモダリティ合意を体系的に破る
- Abstract要約: OMD-Benchを導入し、すべてのモダリティが最初に一致している。
そして、各モダリティの貢献を分離するために体系的に腐敗した。
ベンチマークは8つの汚職条件で27のアンカーにまたがる4,080のインスタンスで構成されている。
- 参考スコア（独自算出の注目度）: 7.218987720005679
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Existing omni-modal benchmarks attempt to measure modality-specific contributions, but their measurements are confounded: naturally co-occurring modalities carry correlated yet unequal information, making it unclear whether results reflect true modality reliance or information asymmetry. We introduce OMD-Bench, where all modalities are initially congruent - each presenting the same anchor, an object or event independently perceivable through video, audio, and text - which we then systematically corrupt to isolate each modality's contribution. We also evaluate calibrated abstention: whether models appropriately refrain from answering when evidence is conflicting. The benchmark comprises 4,080 instances spanning 27 anchors across eight corruption conditions. Evaluating ten omni-modal models under zero-shot and chain-of-thought prompting, we find that models over-abstain when two modalities are corrupted yet under-abstain severely when all three are, while maintaining high confidence (~60-100%) even under full corruption. Chain-of-thought prompting improves abstention alignment with human judgment but amplifies overconfidence rather than mitigating it. OMD-Bench provides a diagnostic benchmark for diagnosing modality reliance, robustness to cross-modal inconsistency, and uncertainty calibration in omni-modal systems.
- Abstract（参考訳）: 既存のOmni-Modalベンチマークは、モダリティ固有の貢献度を測ろうとするが、その測定は、自然に共起するモダリティは相関するが不等な情報を持ち、結果が真のモダリティ依存や情報非対称性を反映するかどうかは不明である。
OMD-Benchでは、すべてのモダリティが最初に一致し、それぞれが同じアンカー、オブジェクトまたはイベントを、ビデオ、オーディオ、テキストを通じて独立に知覚し、その後、系統的に、各モダリティの貢献を隔離する。
また, モデルが証拠が矛盾している場合に, 適切な回答を控えるかどうかについても検討した。
ベンチマークは8つの汚職条件で27のアンカーにまたがる4,080のインスタンスで構成されている。
ゼロショットとチェーン・オブ・シンクレットの促進の下で10のオムニモーダルモデルを評価すると、2つのモダリティが3つとも破壊されながら、完全に腐敗しても高い信頼性(約60-100%)を維持しながら、過度に吸収されることが分かる。
チェーン・オブ・シークレットは、人間の判断による禁断の整合性を向上するが、それを緩和するのではなく、過剰な自信を増幅する。
OMD-Benchは、Omni-modalシステムにおけるモダリティ依存、クロスモーダル不整合に対する堅牢性、不確実性キャリブレーションの診断のための診断ベンチマークを提供する。
関連論文リスト
- Tri-PvP: Exposing Modality Bias in Omni-Modal Large Language Models through Perceptual-Propositional Evidence Conflicts [49.97842835825998]
既存のベンチマークでは、知覚信号と命題信号の2つの形態の証拠が記述されている。
本稿では,視覚,音声,テキストを交叉するベンチマークであるTri-PvPを紹介する。
多くのモデルとエビデンス型条件で頑健な視覚バイアスが見つかり、重要なことはエビデンス型バイアスの系統的な非対称性を明らかにすることである。
論文 参考訳（メタデータ） (2026-09-05T10:33:58Z) - Modality Fault Lines: Structural Corruptions Reveal Fragile Omni-Modal Reasoning [5.307937307387054]
テキスト, 視覚, 音声に制御された構造的腐敗を適用しつつ, 質問, 回答空間, モダリティチャンネルを個別かつ共同で固定する診断評価プロトコルであるSCEvalを紹介する。
その結果, 構造劣化はクリーンな精度を低下させ, テキストビジョン損傷が最も安定な共有断層線を形成し, マルチモーダル劣化は, 崩壊したモーダル数の単純な関数ではなく, 非付加的であることがわかった。
論文 参考訳（メタデータ） (2026-08-29T14:05:42Z) - Conformal Fusion Under Missing Modalities [6.599344783327054]
我々は、モダリティのロバスト性と校正不確実性は単一結合性であり、Modality-Conditioned Conformal Fusion (MCCF)を導入していると論じる。
MCCFは、モダリティドロップアウトで訓練されたマルチモーダル・ボトルネック融合バックボーン、モダリティ分解されたディリクレ分布を生成するモダリティごとの明らかなヘッド、およびデンプスターとシェーファーの組み合わせルールを組み合わせる。
モダリティ-存在マスクの鍵となるモンドリアン共形キャリブレーション加群は、すべての空でないモダリティ部分集合に対して有限サンプル群条件付きカバレッジを提供する。
論文 参考訳（メタデータ） (2026-08-07T12:57:16Z) - Adaptive Modality Reliability Diagnosis and Restoration for Robust Multimodal Intent Recognition [2.2012643583422347]
マルチモーダルな意図認識は言語的、音響的、視覚的な証拠を組み合わせたものであるが、個々のモダリティはうるさい、欠落、意味的に矛盾する、あるいは不当に支配的である可能性がある。
サンプルレベルでのモダリティ品質の診断,回復,再評価を行うクローズドループ信頼性ガイドフレームワークであるPRIMEを提案する。
マルチモーダルな意図認識ベンチマークの実験では、PRIMEは、欠如、ノイズ、矛盾、モダリティの不均衡条件下で改善しながら、競争力のあるクリーンデータ性能を維持している。
論文 参考訳（メタデータ） (2026-08-04T11:14:13Z) - LLMs Show No Signs Of Individuated Metacognition [0.023227405857540805]
20大言語モデルから二項信頼判断を分解する。
信頼性が異なる2つのモデルも性能が異なるかどうかを問う。
いずれの検査領域においても,有意な弁別メタ認知の証拠は見つからない。
論文 参考訳（メタデータ） (2026-05-22T23:54:33Z) - Controlling Decision Drift in Multimodal Sentiment Analysis with Missing Modalities [20.8430910234166]
本稿では,モダリティの欠如によるロバスト性向上のための2レベル参照アライメントフレームワークを提案する。
第一レベルの参照アライメントは、完全なモダリティサンプルを利用して表現を制約し、異なるモダリティの組み合わせを共有の感情空間に整合させる。
第2レベルの参照アライメントは、プロトタイプ検索と投票を通じて信頼性の低いモダリティを抑えることで、決定レベルでの相互整合性を強制する。
論文 参考訳（メタデータ） (2026-05-16T09:03:31Z) - MMEB-V3: Measuring the Performance Gaps of Omni-Modality Embedding Models [70.34265674686516]
マルチモーダル埋め込みモデルは、テキスト、画像、ビデオ、オーディオなどの異種入力を共有意味空間にマッピングすることを目的としている。
本稿では,テキスト,画像,ビデオ,オーディオ,エージェント中心のシナリオにまたがる埋め込みを評価するベンチマークであるMMEB-V3を紹介する。
本研究は, 完全モダリティ埋め込みの系統的解析を行い, 3つの重要な知見を同定する。
論文 参考訳（メタデータ） (2026-04-25T14:15:05Z) - Knowing When Not to Answer: Evaluating Abstention in Multimodal Reasoning Systems [52.83669998269706]
テキストのみの設定で研究されてきたが、まだマルチモーダルに探索されていない。
現在のベンチマークでは、未解決性を無視するか、現実的な障害モードを見逃す粗末なメソッドに依存している。
MM-AQAは、2つの軸に沿った変換によって解答不能なインスタンスを解答可能なインスタンスから構築するベンチマークである。
論文 参考訳（メタデータ） (2026-04-16T09:23:22Z) - Unified Multimodal Uncertain Inference [81.64340342055327]
Unified Multimodal Uncertain Inference (UMUI)は、テキスト、オーディオ、ビデオにまたがるタスクである。
自己整合型教師校正と分布に基づく校正型自信探索を併用して予測を行うCLUE(Calibrated Latent Uncertainty Estimation)を提案する。
論文 参考訳（メタデータ） (2026-04-09T18:46:34Z) - Same Answer, Different Representations: Hidden instability in VLMs [65.36933543377346]
本稿では,内部埋め込みドリフト,スペクトル感度,構造的滑らかさを計測する表現認識・周波数認識評価フレームワークを提案する。
このフレームワークを,SEEDBench,MMMU,POPEデータセットを対象とする最新のビジョン言語モデル(VLM)に適用する。
論文 参考訳（メタデータ） (2026-02-06T12:24:26Z) - Adaptive Multimodal Person Recognition: A Robust Framework for Handling Missing Modalities [2.5472580243871623]
本稿では,音声,顔,ジェスチャーのモダリティを統合した3モーダル人物識別フレームワークを提案する。
提案手法はマルチタスク学習を利用して各モータリティを独立に処理し,その後にクロスアテンションとゲート融合機構を付加する。
1、2つのモダリティが利用できない場合でも高い精度を保っていることを示す。
論文 参考訳（メタデータ） (2025-12-16T22:59:24Z) - Benchmarking Corruption Robustness of LVLMs: A Discriminative Benchmark and Robustness Alignment Metric [49.393713730706445]
汚損の堅牢性を評価するための識別サンプルを強調したベンチマークであるBench-Cを紹介する。
本稿では,ロバストネスアライメントスコア(RAS)を提案する。
論文 参考訳（メタデータ） (2025-11-24T12:07:56Z) - XModBench: Benchmarking Cross-Modal Capabilities and Consistency in Omni-Language Models [29.42489557439947]
クロスモーダル整合性を測定するための大規模トリモーダルベンチマークであるXModBenchを紹介する。
XModBenchは5つのタスクファミリーにまたがる60,828の多重選択質問で構成されている。
実験によると、最強のモデルであるGemini 2.5 Proでさえ空間的および時間的推論に苦戦している。
論文 参考訳（メタデータ） (2025-10-16T21:10:22Z) - SVeritas: Benchmark for Robust Speaker Verification under Diverse Conditions [54.34001921326444]
話者検証(SV)モデルは、セキュリティ、パーソナライゼーション、アクセス制御システムにますます統合されている。
既存のベンチマークでは、これらの条件のサブセットのみを評価しており、他は完全に欠落している。
SVeritasは、録音時間、自発性、コンテンツ、ノイズ、マイクロホン距離、残響、チャンネルミスマッチ、オーディオ帯域幅、コーデック、話者年齢、スプーフィングおよび敵攻撃に対する感受性などのストレス下でのSVシステムの評価を行う総合的な話者検証タスクベンチマークスイートである。
論文 参考訳（メタデータ） (2025-09-21T14:11:16Z) - Benchmarking Multi-modal Semantic Segmentation under Sensor Failures: Missing and Noisy Modality Robustness [61.87055159919641]
マルチモーダルセマンティックセグメンテーション(MMSS)は、モーダル間で補完情報を統合することで、単一モーダルデータの制限に対処する。
顕著な進歩にもかかわらず、マルチモーダルデータ品質の変動と不確実性により、研究と実世界の展開の間に大きなギャップが持続する。
Intire-Missing Modality (EMM)、Random-Missing Modality (RMM)、Noisy Modality (NM)の3つのシナリオでMMSSモデルを評価する頑健性ベンチマークを導入する。
論文 参考訳（メタデータ） (2025-03-24T08:46:52Z) - A Study of Dropout-Induced Modality Bias on Robustness to Missing Video
Frames for Audio-Visual Speech Recognition [53.800937914403654]
AVSR(Advanced Audio-Visual Speech Recognition)システムは、欠落したビデオフレームに敏感であることが観察されている。
ビデオモダリティにドロップアウト技術を適用することで、フレーム不足に対するロバスト性が向上する一方、完全なデータ入力を扱う場合、同時に性能損失が発生する。
本稿では,MDA-KD(Multimodal Distribution Approximation with Knowledge Distillation)フレームワークを提案する。
論文 参考訳（メタデータ） (2024-03-07T06:06:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。