論文の概要: TRIAD: Benchmarking Omni-Modal Ambiguity in Multimodal Large Language Models
- arxiv url: http://arxiv.org/abs/2610.30841v1
- Date: Thu, 22 Oct 2026 07:15:40 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-24 02:08:44.267322
- Title: TRIAD: Benchmarking Omni-Modal Ambiguity in Multimodal Large Language Models
- Title（参考訳）: TRIAD:マルチモーダル大言語モデルにおけるOmni-Modal Ambiguityのベンチマーク
- Abstract要約: 本稿では,全モードの曖昧さ解消のためのベンチマークであるTRIADを紹介する。
各項目は、質問と回答オプションのセットを合わせたテキスト-イメージ-オーディオ三重項であり、完全な三重項が一意の答えを決定するように構成される。
TRIADには16ドル(約8,800円)のシーングループに327ドル(約3,800円)の手書きクエリが含まれており、3つのモダリティにまたがって18ドル(約1,800円)のあいまいさカテゴリをカバーしている。
- 参考スコア（独自算出の注目度）: 4.415971426310032
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Ambiguity is a central feature of natural communication: a sentence, image, or sound may remain underspecified until evidence from the other channels is considered. Yet current multimodal benchmarks mostly test perception, recognition, or reasoning over already determinate inputs, leaving unclear whether omni-modal large language models can resolve ambiguity distributed across text, vision, and audio. We introduce TRIAD, a benchmark for omni-modal ambiguity resolution. Each item is a text--image--audio triplet paired with a question and a set of answer options, and is constructed so that the full triplet determines a unique answer while removing any one modality makes the set of consistent options non-unique. TRIAD contains $327$ hand-written queries in $86$ scene groups and covers $18$ ambiguity categories across the three modalities. Evaluating $14$ omni-modal systems reveals that strong item-level performance does not translate into robust scene-level disambiguation: the best model still trails humans by over $20$ points in group accuracy. Removing answer options widens the gap further, driving model group accuracy to the single digits while humans remain robust. Leave-one-out and transcript/description counterfactuals further show that current systems often underuse audio cues when text and image are present. TRIAD reframes omni-modal evaluation around disambiguation rather than recognition, and provides a taxonomy, benchmark, and diagnostic protocol for measuring this capability.
- Abstract（参考訳）: 曖昧さは自然なコミュニケーションの中心的な特徴であり、文、画像、あるいは音は、他のチャンネルからの証拠が考慮されるまで未特定のままである。
しかし、現在のマルチモーダルベンチマークは、主に認識、認識、あるいは推論を、既に決定された入力に対してテストし、オムニモーダルな大規模言語モデルがテキスト、ビジョン、オーディオに分散したあいまいさを解決できるかどうかは不明のままである。
本稿では,全モードの曖昧さ解消のためのベンチマークであるTRIADを紹介する。
各項目は、質問と一組の回答オプションが組み合わされたテキスト-イメージ-オーディオ三重項であり、完全な三重項が一様性を取り除きながら一意の答えを決定するように構成され、一様でない選択肢の集合は、一様でない。
TRIADには16ドル(約8,800円)のシーングループに327ドル(約3,800円)の手書きクエリが含まれており、3つのモダリティにまたがって18ドル(約1,800円)のあいまいさカテゴリをカバーしている。
14ドル(約1万2000円)のオムニモダルシステムを評価すると、強力なアイテムレベルのパフォーマンスが、シーンレベルの曖昧さに変換されないことがわかります。
解答オプションの取り外しによりギャップが拡大し、モデルグループの精度は1桁に向上し、一方で人間は頑健である。
書き起こし・書き起こし・書き起こし対策は、現在のシステムでは、テキストや画像が存在する場合、しばしばオーディオキューを過小評価していることを示している。
TRIADは、認識よりもあいまいさに関する雑多な評価を再構築し、この能力を測定するための分類、ベンチマーク、診断プロトコルを提供する。
関連論文リスト
- Team RAS in 11th ABAW Competition: Multimodal Ambivalence Recognition Approach [52.92973028971813]
ビデオレベルのアンビバレンスとヘシタシー認識のための単一のテキスト中心マルチモーダルアプローチを提案する。
提案手法は,テキスト中心のマルチモーダル融合モデルを用いて,言語的,音響的,顔的,シーン的特徴を組み合わせたものである。
行動共生/衛生(BAH)コーパスの実験は、テキストが最強の単調なモダリティであることを確認した。
論文 参考訳（メタデータ） (2026-07-16T08:04:23Z) - Omni-Persona: Systematic Benchmarking and Improving Omnimodal Personalization [47.84878018101177]
オムニ・ペルソナ(Omni-Persona)は、オムニモーダルパーソナライゼーションのための最初の総合的なベンチマークである。
タスクを EmphPersona Modality Graph 上のクロスモーダルルーティングとして形式化し,4つのタスクグループと$sim750$項目にわたる18のきめ細かいタスクを包含する。
論文 参考訳（メタデータ） (2026-05-11T05:11:22Z) - OmniACBench: A Benchmark for Evaluating Context-Grounded Acoustic Control in Omni-Modal Models [17.817469065260124]
オムニACBench(OmniACBench)は、Omni-Modalモデルにおいて、コンテキストグラウンド音響制御を評価するためのベンチマークである。
音声命令、テキストスクリプト、画像が与えられた場合、モデルは適切なトーンとやり方で読み取らなければならない。
8つのモデルでの実験では、テキスト出力評価に強い性能があるにもかかわらず、提案された設定において制限が示される。
論文 参考訳（メタデータ） (2026-03-25T05:00:51Z) - UNO-Bench: A Unified Benchmark for Exploring the Compositional Law Between Uni-modal and Omni-modal in Omni Models [22.508414355245275]
我々は,新しい,高品質で統一されたオムニモデルベンチマーク,UNO-Benchを紹介する。
このベンチマークは、統一された能力分類の下で、UNi-modalとOmni-modalの両方の能力を効果的に評価するために設計されている。
1250人のオムニモダルの培養サンプルと98%のクロスモーダル可溶性、2480の強化されたユニモーダルサンプルを含んでいる。
論文 参考訳（メタデータ） (2025-10-21T06:14:40Z) - Contra4: Evaluating Contrastive Cross-Modal Reasoning in Audio, Video, Image, and 3D [97.08549913899247]
Contra4は、画像、オーディオ、ビデオ、および3Dの4つのモードにまたがる、対照的な相互モーダル推論のためのデータセットである。
それぞれの例は、複数の候補モダリティのインスタンスと並んで自然言語の質問を示し、モデルがプロンプトと意味的に一致するものを選択する必要がある。
コントラ4は、人間の注釈付きキャプションとモデルの混在するラウンドトリップ一貫性フィルタを組み合わせることで、高品質な監視を確実にし、174kのトレーニング例と2.3kのサンプルを手作業で検証する。
論文 参考訳（メタデータ） (2025-06-02T03:12:13Z) - OmnixR: Evaluating Omni-modality Language Models on Reasoning across Modalities [124.05360767047539]
我々は、SoTA Omni-modality Language Modelsをベンチマークするために設計された評価スイートであるOmnixRを紹介する。
OLMはテキスト、ビジョン、オーディオなどの複数のモードを統合し、ユニークな課題を提示する。
実験の結果,OmnixR問題に対処するためには,複数のモダリティからの情報を統合する必要があることがわかった。
論文 参考訳（メタデータ） (2024-10-16T04:29:46Z) - OmniBench: Towards The Future of Universal Omni-Language Models [63.16606414452612]
OmniBenchは、視覚的、音響的、テキスト的入力を同時に認識し、解釈し、推論する能力を評価するために設計された新しいベンチマークである。
評価の結果,オープンソース OLM は三モーダル文脈における命令追従や推論に重大な制限があることが明らかとなった。
我々は,OLM性能を向上させるため,より堅牢な3モーダル統合技術とトレーニング戦略の開発を提唱する。
論文 参考訳（メタデータ） (2024-09-23T17:59:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。