論文の概要: OmniACBench: A Benchmark for Evaluating Context-Grounded Acoustic Control in Omni-Modal Models

• arxiv url: http://arxiv.org/abs/2603.23938v1
• Date: Wed, 25 Mar 2026 05:00:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-26 21:06:11.136753
• Title: OmniACBench: A Benchmark for Evaluating Context-Grounded Acoustic Control in Omni-Modal Models
• Title（参考訳）: OmniACBench: Omni-Modal モデルを用いた音場制御評価ベンチマーク
• Abstract要約: オムニACBench(OmniACBench)は、Omni-Modalモデルにおいて、コンテキストグラウンド音響制御を評価するためのベンチマークである。 音声命令、テキストスクリプト、画像が与えられた場合、モデルは適切なトーンとやり方で読み取らなければならない。 8つのモデルでの実験では、テキスト出力評価に強い性能があるにもかかわらず、提案された設定において制限が示される。
• 参考スコア（独自算出の注目度）: 17.817469065260124
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Most testbeds for omni-modal models assess multimodal understanding via textual outputs, leaving it unclear whether these models can properly speak their answers. To study this, we introduce OmniACBench, a benchmark for evaluating context-grounded acoustic control in omni-modal models. Given a spoken instruction, a text script, and an image, a model must read the script aloud with an appropriate tone and manner. OmniACBench comprises 3,559 verified instances covering six acoustic features: speech rate, phonation, pronunciation, emotion, global accent, and timbre. Extensive experiments on eight models reveal their limitations in the proposed setting, despite their strong performance on prior textual-output evaluations. Our analyses show that the main bottleneck lies not in processing individual modalities, but in integrating multimodal context for faithful speech generation. Moreover, we identify three common failure modes-weak direct control, failed implicit inference, and failed multimodal grounding-providing insights for developing models that can verbalize responses effectively.
• Abstract（参考訳）: オムニモーダルモデルのほとんどのテストベッドは、テキスト出力によるマルチモーダル理解を評価しており、これらのモデルが解答を適切に表現できるかどうかは不明である。 そこで本研究では,OmniACBenchを用いて,Omni-modalモデルにおける音場制御の評価を行う。 音声命令、テキストスクリプト、画像が与えられた場合、モデルは適切なトーンとやり方で読み取らなければならない。 OmniACBenchは、音声、発音、感情、グローバルアクセント、音色という6つの音響特徴をカバーする3,559の検証済みインスタンスで構成されている。 8つのモデルに対する大規模な実験は、事前のテキスト出力評価に強い性能があるにもかかわらず、提案した設定における制限を明らかにしている。 分析の結果、主なボトルネックは個々のモダリティの処理ではなく、忠実な音声生成のためのマルチモーダルコンテキストの統合にあることがわかった。 さらに,3つの共通障害モード-弱直接制御,暗黙の推論の失敗,および応答を効果的に音声化できるモデルを開発するためのマルチモーダルグラウンド作成による洞察の失敗を同定した。

関連論文リスト

• OmniPro: A Comprehensive Benchmark for Omni-Proactive Streaming Video Understanding [17.161087166882744]
  オムニプロ(OmniPro)は、オムニモーダル知覚、プロアクティブ応答、多様なビデオ理解タスクを共同で評価する最初のベンチマークである。 9つのサブタスクと3つの認知レベルにまたがる2,700人の人間認証サンプルで構成されており、6つの基本的なビデオ理解機能を含んでいる。 特に、サンプルの84%は音声信号(音声または非音声)を必要とし、各サンプルは、微細なマルチモーダル解析を可能にするために、モダリティ・アイソレーションラベルで注釈付けされている。
  論文  参考訳（メタデータ） (2026-05-18T15:55:22Z)
• DEAF: A Benchmark for Diagnostic Evaluation of Acoustic Faithfulness in Audio Language Models [15.637236155997]
  最近の音声マルチモーダル大言語モデル(Audio MLLMs)は,音声ベンチマークで顕著な性能を示した。 これらのモデルが真に音響信号を処理するのか、それともテキストベースの意味推論に依存しているのかは定かではない。 3次元にまたがる2700以上の衝突刺激のベンチマークであるDEAFを紹介する。
  論文  参考訳（メタデータ） (2026-03-17T15:52:26Z)
• AHELM: A Holistic Evaluation of Audio-Language Models [78.20477815156484]
  マルチモーダルオーディオ言語モデル(ALM)は、インターリーブされた音声とテキストを入力および出力テキストとして取り込む。 AHELMは、PARADEとCoRe-Benchと呼ばれる2つの新しい合成オーディオテキストデータセットを含む、さまざまなデータセットを集約するベンチマークである。 また、モデル間の等価比較を確保するために、プロンプト、推論パラメータ、評価指標を標準化する。
  論文  参考訳（メタデータ） (2025-08-29T07:40:39Z)
• MultiVox: A Benchmark for Evaluating Voice Assistants for Multimodal Interactions [70.93364531054273]
  音声と視覚を融合させる音声アシスタントの能力を評価する最初のベンチマークであるMultiVoxを紹介する。 具体的には、MultiVoxには、多種多様なパラ言語的特徴を包含する1000の人間の注釈付き音声対話が含まれている。 10の最先端モデルに対する我々の評価は、人間はこれらのタスクに長けているが、現在のモデルは、常に文脈的に接地された応答を生成するのに苦労していることを示している。
  論文  参考訳（メタデータ） (2025-07-14T23:20:42Z)
• Nexus: An Omni-Perceptive And -Interactive Model for Language, Audio, And Vision [83.0622534215881]
  本研究は, 聴覚, 視覚, 言語的モダリティを統合した, 産業レベルのOmni-Modal Large Language Model (LLM) パイプラインを提案する。 まず、様々なエンコーダ-LLM-デコーダアーキテクチャの柔軟な構成を可能にするモジュラーフレームワークです。 第二に、最先端のビジョン言語モデルであるQwen2.5-VLのオーディオ言語アライメントを事前訓練する軽量なトレーニング戦略である。 第三に、様々な現実世界のシナリオから高品質な音声テキストデータを生成するオーディオ合成パイプライン。
  論文  参考訳（メタデータ） (2025-02-26T17:26:36Z)
• OpenOmni: Advancing Open-Source Omnimodal Large Language Models with Progressive Multimodal Alignment and Real-Time Self-Aware Emotional Speech Synthesis [95.27191872116306]
  nameは、一様アライメントと音声生成を統合する2段階のトレーニングフレームワークである。 雑用、視覚言語、音声言語ベンチマークで最先端モデルを上回っている。 nameは、非自己回帰モードで1秒のレイテンシでリアルタイムの音声生成を実現する。
  論文  参考訳（メタデータ） (2025-01-08T15:18:09Z)
• OmnixR: Evaluating Omni-modality Language Models on Reasoning across Modalities [124.05360767047539]
  我々は、SoTA Omni-modality Language Modelsをベンチマークするために設計された評価スイートであるOmnixRを紹介する。 OLMはテキスト、ビジョン、オーディオなどの複数のモードを統合し、ユニークな課題を提示する。 実験の結果,OmnixR問題に対処するためには,複数のモダリティからの情報を統合する必要があることがわかった。
  論文  参考訳（メタデータ） (2024-10-16T04:29:46Z)
• OmniBench: Towards The Future of Universal Omni-Language Models [63.16606414452612]
  OmniBenchは、視覚的、音響的、テキスト的入力を同時に認識し、解釈し、推論する能力を評価するために設計された新しいベンチマークである。 評価の結果,オープンソース OLM は三モーダル文脈における命令追従や推論に重大な制限があることが明らかとなった。 我々は,OLM性能を向上させるため,より堅牢な3モーダル統合技術とトレーニング戦略の開発を提唱する。
  論文  参考訳（メタデータ） (2024-09-23T17:59:05Z)
• A Single Self-Supervised Model for Many Speech Modalities Enables Zero-Shot Modality Transfer [31.028408352051684]
  マルチモーダル音声と非モーダル音声の両方を活用できる自己教師型事前学習フレームワークであるu-HuBERTを提案する。 LRS3では1.2%/1.4%/27.2%の音声認識単語誤り率を示す。
  論文  参考訳（メタデータ） (2022-07-14T16:21:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。