論文の概要: Modality Fault Lines: Structural Corruptions Reveal Fragile Omni-Modal Reasoning

• arxiv url: http://arxiv.org/abs/2608.29278v1
• Date: Sat, 29 Aug 2026 14:05:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-01 18:31:30.910146
• Title: Modality Fault Lines: Structural Corruptions Reveal Fragile Omni-Modal Reasoning
• Title（参考訳）: モダリティ断層線:構造破壊によるフラジルオムニモード推論
• Abstract要約: テキスト, 視覚, 音声に制御された構造的腐敗を適用しつつ, 質問, 回答空間, モダリティチャンネルを個別かつ共同で固定する診断評価プロトコルであるSCEvalを紹介する。 その結果, 構造劣化はクリーンな精度を低下させ, テキストビジョン損傷が最も安定な共有断層線を形成し, マルチモーダル劣化は, 崩壊したモーダル数の単純な関数ではなく, 非付加的であることがわかった。
• 参考スコア（独自算出の注目度）: 5.307937307387054
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Omni-modal large language models are increasingly evaluated on clean text--vision--audio inputs, where every channel is present, synchronized, and readily interpretable. Such scores are often taken as evidence of robust cross-modal fusion, but clean evaluation cannot tell whether success depends on stable cross-modal structure or on cues sufficient only in intact inputs. To address this gap, we define a modality fault line: a boundary at which model behavior becomes unstable when a modality remains present and human-interpretable, but its internal evidence structure is perturbed. We introduce SCEval (Structure-Corruption Evaluation) a diagnostic evaluation protocol that keeps the question, answer space, and modality channels fixed while applying controlled structural corruptions to text, vision, and audio individually and jointly. Built from $273$ human-verified tri-modal examples from Social-IQ, OmniBench, and VALOR, SCEval evaluates $15$ proprietary and open-source omni-modal systems. The results show that structural corruption lowers clean accuracy, text--vision damage forms the most stable shared fault line, and multi-modal degradation is non-additive rather than a simple function of the number of corrupted modalities. Clean omni-modal accuracy therefore does not establish that a model will remain reliable when cross-modal evidence becomes structurally unreliable.
• Abstract（参考訳）: オムニモーダルな大言語モデルはクリーンなテキスト-ビジョン-オーディオ入力でますます評価され、そこでは全てのチャンネルが存在し、同期され、容易に解釈できる。 このようなスコアは、しばしば堅牢なクロスモーダル融合の証拠とみなされるが、クリーンな評価は、成功が安定なクロスモーダル構造に依存するか、あるいは無傷な入力でのみ十分なキューに依存するかどうかを判断できない。 このギャップに対処するために、モダリティの欠陥線を定義する: モデル動作が不安定になる境界は、モダリティの存在と人間の解釈が可能なものであるが、内部のエビデンス構造は摂動的である。 SCEval(Structure-Corruption Evaluation)は,テキスト,視覚,音声に制御された構造的破損を適用しつつ,質問,回答空間,モダリティチャネルを個別かつ共同で固定する診断評価プロトコルである。 SCEvalは、Social-IQ、OmniBench、VALORから273ドル(約2万3000円)で検証された3つのモダルシステムから作られ、プロプライエタリでオープンソースのオムニモダルシステムを評価している。 その結果, 構造劣化はクリーンな精度を低下させ, テキストビジョン損傷が最も安定な共有断層線を形成し, マルチモーダル劣化は, 崩壊したモーダル数の単純な関数ではなく, 非付加的であることがわかった。 したがって、クロスモーダルな証拠が構造的に信頼できなくなると、モデルが信頼性を保ち続けることを、クリーンなオムニモーダルな精度は証明しない。

関連論文リスト

• Conformal Fusion Under Missing Modalities [6.599344783327054]
  我々は、モダリティのロバスト性と校正不確実性は単一結合性であり、Modality-Conditioned Conformal Fusion (MCCF)を導入していると論じる。 MCCFは、モダリティドロップアウトで訓練されたマルチモーダル・ボトルネック融合バックボーン、モダリティ分解されたディリクレ分布を生成するモダリティごとの明らかなヘッド、およびデンプスターとシェーファーの組み合わせルールを組み合わせる。 モダリティ-存在マスクの鍵となるモンドリアン共形キャリブレーション加群は、すべての空でないモダリティ部分集合に対して有限サンプル群条件付きカバレッジを提供する。
  論文  参考訳（メタデータ） (2026-08-07T12:57:16Z)
• C$^3$PO: Evaluating Cross-Modal Composition and Counterfactual Performance in Omnimodal Models [11.992819604307998]
  C$3$POは、ビデオ、オーディオ、画像、テキストにまたがる3,404のサンプルのベンチマークである。 情報構成(分散証拠)と反実的対立(反実的対立)の2つの能力を評価する。 C$3$POは、人間が88.64%の精度を達成する一方で、最良のモデルは73.17%にしか達していないことを明らかにしている。
  論文  参考訳（メタデータ） (2026-08-05T20:04:05Z)
• Adaptive Modality Reliability Diagnosis and Restoration for Robust Multimodal Intent Recognition [2.2012643583422347]
  マルチモーダルな意図認識は言語的、音響的、視覚的な証拠を組み合わせたものであるが、個々のモダリティはうるさい、欠落、意味的に矛盾する、あるいは不当に支配的である可能性がある。 サンプルレベルでのモダリティ品質の診断,回復,再評価を行うクローズドループ信頼性ガイドフレームワークであるPRIMEを提案する。 マルチモーダルな意図認識ベンチマークの実験では、PRIMEは、欠如、ノイズ、矛盾、モダリティの不均衡条件下で改善しながら、競争力のあるクリーンデータ性能を維持している。
  論文  参考訳（メタデータ） (2026-08-04T11:14:13Z)
• Omni-Modal Dissonance Benchmark: Systematically Breaking Modality Consensus to Probe Robustness and Calibrated Abstention [7.218987720005679]
  OMD-Benchを導入し、すべてのモダリティが最初に一致している。 そして、各モダリティの貢献を分離するために体系的に腐敗した。 ベンチマークは8つの汚職条件で27のアンカーにまたがる4,080のインスタンスで構成されている。
  論文  参考訳（メタデータ） (2026-03-28T08:29:15Z)
• Same Answer, Different Representations: Hidden instability in VLMs [65.36933543377346]
  本稿では,内部埋め込みドリフト,スペクトル感度,構造的滑らかさを計測する表現認識・周波数認識評価フレームワークを提案する。 このフレームワークを,SEEDBench,MMMU,POPEデータセットを対象とする最新のビジョン言語モデル(VLM)に適用する。
  論文  参考訳（メタデータ） (2026-02-06T12:24:26Z)
• Illusions of Confidence? Diagnosing LLM Truthfulness via Neighborhood Consistency [78.91846841708586]
  完全な自己整合性で答えられた事実でさえ、軽微な文脈干渉の下で急速に崩壊することを示します。 本研究では,概念的近傍における応答コヒーレンスを評価する信念の構造尺度であるNighbor-Consistency Belief(NCB)を提案する。 また、文脈不変の信念構造を最適化し、長い知識の脆さを約30%低減する構造意識訓練(SAT)を提案する。
  論文  参考訳（メタデータ） (2026-01-09T16:23:21Z)
• All That Glisters Is Not Gold: A Benchmark for Reference-Free Counterfactual Financial Misinformation Detection [67.89888669159899]
  RFC Benchは、現実的なニュースの下で財務的な誤情報に関する大規模な言語モデルを評価するためのベンチマークである。 このベンチマークでは、2つの補完的なタスクが定義されている。
  論文  参考訳（メタデータ） (2026-01-07T18:18:28Z)
• Benchmarking Corruption Robustness of LVLMs: A Discriminative Benchmark and Robustness Alignment Metric [49.393713730706445]
  汚損の堅牢性を評価するための識別サンプルを強調したベンチマークであるBench-Cを紹介する。 本稿では,ロバストネスアライメントスコア(RAS)を提案する。
  論文  参考訳（メタデータ） (2025-11-24T12:07:56Z)
• SVeritas: Benchmark for Robust Speaker Verification under Diverse Conditions [54.34001921326444]
  話者検証(SV)モデルは、セキュリティ、パーソナライゼーション、アクセス制御システムにますます統合されている。 既存のベンチマークでは、これらの条件のサブセットのみを評価しており、他は完全に欠落している。 SVeritasは、録音時間、自発性、コンテンツ、ノイズ、マイクロホン距離、残響、チャンネルミスマッチ、オーディオ帯域幅、コーデック、話者年齢、スプーフィングおよび敵攻撃に対する感受性などのストレス下でのSVシステムの評価を行う総合的な話者検証タスクベンチマークスイートである。
  論文  参考訳（メタデータ） (2025-09-21T14:11:16Z)
• Robustness and Accuracy Could Be Reconcilable by (Proper) Definition [109.62614226793833]
  強靭性と精度のトレードオフは、敵文学において広く研究されている。 局所的不変性の帰納的バイアスを課す不適切に定義された頑健な誤差に由来する可能性がある。 定義上、SCOREは、最悪のケースの不確実性に対処しながら、堅牢性と正確性の間の和解を促進する。
  論文  参考訳（メタデータ） (2022-02-21T10:36:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。