論文の概要: Said Aloud, Read Different: Cross-Modal Instability in Multimodal Models
- arxiv url: http://arxiv.org/abs/2608.27135v1
- Date: Thu, 27 Aug 2026 13:46:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-28 16:30:58.431163
- Title: Said Aloud, Read Different: Cross-Modal Instability in Multimodal Models
- Title（参考訳）: 異なる読み方:マルチモーダルモデルにおけるクロスモーダル不安定性
- Abstract要約: 我々は18のMENA諸国の文化的背景画像10,150点にまたがる音声強調コントラスト三重項ベンチマークを提案する。
モーダリティと言語シフトは,集合的精度で完全に捉えられない三重項レベルの不整合をもたらすことがわかった。
- 参考スコア（独自算出の注目度）: 17.521958873911846
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Multimodal foundation models are increasingly used in speech-first assistants that must interpret spoken queries and produce visually grounded decisions. Yet it remains unclear whether semantically equivalent queries yield consistent judgments across modality (text vs. speech) and language (English vs. Arabic). We introduce a speech-augmented visually grounded contrastive triplet benchmark spanning 10,150 culturally grounded images from 18 MENA countries, where each image is paired with one supported statement and two plausible but unsupported alternatives. We define contrastive instability as the conditional rate at which a model fails to resolve all statements within a triplet, isolating fragmented reasoning from complete failure. Evaluating recent multimodal models under text and speech in English and Arabic, we find that modality and language shifts introduce substantial triplet-level inconsistencies that are not fully captured by aggregate accuracy, with speech amplifying partial failures. We make the benchmark publicly available to the community.
- Abstract（参考訳）: マルチモーダル基礎モデルは、音声クエリを解釈し、視覚的に根ざした決定を生成する必要がある音声ファーストアシスタントにおいて、ますます使われている。
しかし、意味的に等価なクエリが、モダリティ(テキスト対スピーチ)と言語(英語対アラビア)をまたいで一貫した判断を下すかどうかは不明である。
我々は18のMENA諸国の文化的背景画像10,150枚にまたがる、音声強調された視覚的背景のコントラスト三重項ベンチマークを紹介し、それぞれの画像に1つの支持文と2つの有望な代替品をペアリングする。
対照的な不安定性は、モデルが三重項内の全ての文を解くのに失敗する条件として定義し、完全失敗から断片的推論を分離する。
英語とアラビア語のテキストと音声による最近のマルチモーダルモデルを評価すると、モーダリティと言語シフトは、部分的故障を増幅する音声によって、集合的精度で完全に捉えられていない相当な三重項レベルの不整合をもたらすことが分かる。
ベンチマークをコミュニティに公開しています。
関連論文リスト
- Team RAS in 11th ABAW Competition: Multimodal Ambivalence Recognition Approach [52.92973028971813]
ビデオレベルのアンビバレンスとヘシタシー認識のための単一のテキスト中心マルチモーダルアプローチを提案する。
提案手法は,テキスト中心のマルチモーダル融合モデルを用いて,言語的,音響的,顔的,シーン的特徴を組み合わせたものである。
行動共生/衛生(BAH)コーパスの実験は、テキストが最強の単調なモダリティであることを確認した。
論文 参考訳（メタデータ） (2026-07-16T08:04:23Z) - DiaLLM: An Investigation into the Robustness-Generation Gap in English Dialect Adaptation [20.845447775728545]
大型の言語モデルは、方言の英語を理解しやすくするが、それでも標準のアメリカ英語のみを生産する。
我々は、国際英語コーパスにおいて、3つのオープンウェイト言語モデルファミリーを継続的に事前訓練するtextbfDiaLLMを紹介した。
論文 参考訳（メタデータ） (2026-07-08T17:24:27Z) - Multilingual Idioms in Sentences and Conversations Across High-, Medium-, and Low-Resource Languages [24.57041755792604]
MIDIは、3つの高レベル、3つの中級、12の低リソース言語にまたがるデータセットである。
文レベルと会話コンテキストの両方に埋め込まれたイディオムを提供し、リテラルとフィギュラティブの両方をキャプチャする。
最先端モデルのベンチマークでは、低リソース言語では理解力が低下し、すべてのリソース層では、リテラル解釈が比喩的言語よりもかなり難しいことが示されている。
論文 参考訳（メタデータ） (2026-06-01T12:16:14Z) - Learning the Cue or Learning the Word? Analyzing Generalization in Metaphor Detection for Verbs [54.86138668387175]
我々は、多くの最先端システムの共有バックボーンであるRoBERTaを用いてメタファ検出を解析し、英語の動詞に着目した。
本稿では,選択された目標レムマのすべてのインスタンスを微調整から厳格に除外する,制御された語彙ホールドアウト設定を導入し,これらのヘルドアウトレムマの露光レムマに対する予測を比較した。
モデルはExpposed lemmasで最高のパフォーマンスを発揮するが、Held-out lemmasでは堅牢なパフォーマンスを維持している。
論文 参考訳（メタデータ） (2026-04-15T10:48:09Z) - Plausibility as Commonsense Reasoning: Humans Succeed, Large Language Models Do not [0.0]
あいまいさ解消の過程で,大規模言語モデルが世界知識と統語的構造を人間的,構造に敏感な方法で統合するかどうかを検証した。
我々は、構文構成を固定し、両方の構文解析が実用的に可能であることを保証する曖昧な項目を構築する。
高速な強制選択理解実験では、人間は大きな、正確に指示された可視性効果を示す。
モデル全体では、可視性駆動のシフトは弱く、不安定で、逆転している。
論文 参考訳（メタデータ） (2026-04-06T16:27:06Z) - DialectGen: Benchmarking and Improving Dialect Robustness in Multimodal Generation [111.94720088481614]
多モーダル生成モデルは方言テキスト入力を効果的に生成できるのか?
6つの共通英語方言にまたがる大規模ベンチマークを構築した。
マルチモーダル生成モデルのための一般的なエンコーダに基づく緩和戦略を設計する。
論文 参考訳（メタデータ） (2025-10-16T17:56:55Z) - SpeechR: A Benchmark for Speech Reasoning in Large Audio-Language Models [60.72029578488467]
SpeechRは、大規模な音声言語モデルにおける音声に対する推論を評価するための統一的なベンチマークである。
事実検索、手続き推論、規範的判断の3つの重要な側面に沿ったモデルを評価する。
11個の最先端のLALMの評価は、高い転写精度が強い推論能力に変換されないことを示している。
論文 参考訳（メタデータ） (2025-08-04T03:28:04Z) - What if Othello-Playing Language Models Could See? [69.77773423053199]
VISOTHELLO(VISOTHELLO)は、移動シーケンスとボードイメージを併用したマルチモーダルモデルである。
意味的に無関係な摂動下でのロバスト性を評価し, クロスモーダルアライメントの一貫性を解析した。
論文 参考訳（メタデータ） (2025-07-19T07:47:55Z) - How do Multimodal Foundation Models Encode Text and Speech? An Analysis of Cross-Lingual and Cross-Modal Representations [17.528100902591056]
クロスモーダル表現は、テキスト処理と音声処理に特化した初期層を除いて、モデル層に収束する。
音声はテキストよりも言語間の違いが大きい。
モダリティに依存しない表現のために明示的に訓練されていないモデルでは、モダリティギャップは言語ギャップよりも顕著である。
論文 参考訳（メタデータ） (2024-11-26T18:29:11Z) - SeaEval for Multilingual Foundation Models: From Cross-Lingual Alignment to Cultural Reasoning [44.53966523376327]
SeaEvalは多言語基盤モデルのベンチマークである。
これらのモデルがどのように理解し、自然言語で推論するかを特徴付ける。
また、文化の実践やニュアンス、価値観をいかに理解したかについても検討する。
論文 参考訳（メタデータ） (2023-09-09T11:42:22Z) - M-SpeechCLIP: Leveraging Large-Scale, Pre-Trained Models for
Multilingual Speech to Image Retrieval [56.49878599920353]
本研究は,多言語画像音声検索におけるCLIPとHuBERTの大規模,英語のみの事前学習モデル(CLIPとHuBERT)の利用について検討する。
非英語画像音声検索では、各言語毎に個別のモデルを訓練する場合と、3言語すべてで音声を処理する1つのモデルの両方において、最先端のパフォーマンスを幅広いマージンで上回ります。
論文 参考訳（メタデータ） (2022-11-02T14:54:45Z) - Provable Limitations of Acquiring Meaning from Ungrounded Form: What
will Future Language Models Understand? [87.20342701232869]
未知のシステムが意味を習得する能力について検討する。
アサーションによってシステムが等価性のような意味関係を保存する表現をエミュレートできるかどうか検討する。
言語内のすべての表現が参照的に透明であれば,アサーションによってセマンティックエミュレーションが可能になる。
しかし、言語が変数バインディングのような非透過的なパターンを使用する場合、エミュレーションは計算不能な問題になる可能性がある。
論文 参考訳（メタデータ） (2021-04-22T01:00:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。