論文の概要: ParA-LLM: A Unified Approach to Paralinguistic and Acoustic Speech Understanding

• arxiv url: http://arxiv.org/abs/2609.22771v1
• Date: Sat, 19 Sep 2026 05:08:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-22 20:29:00.548556
• Title: ParA-LLM: A Unified Approach to Paralinguistic and Acoustic Speech Understanding
• Title（参考訳）: ParA-LLM:パラ言語的・音響的音声理解のための統一的アプローチ
• Abstract要約: 我々は22のパラ言語特性のフレームワークを設計し、1.2M以上のオーディオ-QAペアのデータセットを作成する。 本稿では,まず基礎知識を構築するための単一属性質問について,次いで話者と音響特性に対する共同推論のための複数属性質問について,2段階のカリキュラムを用いて学習したParA-LLMを開発する。 GPT-4o-Audioのようなフロンティアモデルが36%の精度しか達成できない、話者音声、音響、混合カテゴリにわたる6000の多重選択質問のベンチマークであるParA-Benchもリリースしました。
• 参考スコア（独自算出の注目度）: 60.33430986042156
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Recent advances in Audio LLMs have achieved human-level speech recognition, yet existing systems struggle to capture paralinguistic aspects such as speaker traits, expressive variations, and environmental acoustic conditions. To address this, we design a framework of 22 paralinguistic characteristics and create a dataset of over 1.2M Audio-QA pairs. We develop ParA-LLM, trained with a two-stage curriculum: first on single-attribute questions to build foundational knowledge, then on multi-attribute questions for joint reasoning over speaker and acoustic characteristics. We also release ParA-Bench, a benchmark of 6,000 multiple-choice questions across speaker-speech, acoustic, and mixed categories, where frontier models like GPT-4o-Audio achieve only 36% accuracy. ParA-LLM surpasses state-of-the-art Audio LLMs like GPT-4o-Audio by 7.5% on ParA-Bench, with additional gains of 1.13% on MMAU-Pro Speech and 7.49% on MMAR Speech.
• Abstract（参考訳）: 近年のLLMの進歩は人間レベルの音声認識を実現しているが、既存のシステムは話者特性、表現的変動、環境音環境といったパラ言語的側面を捉えるのに苦労している。 これを解決するために、22のパラ言語特性のフレームワークを設計し、1.2M以上のオーディオ-QAペアのデータセットを作成する。 本稿では,まず基礎知識を構築するための単一属性質問について,次いで話者と音響特性に対する共同推論のための複数属性質問について,2段階のカリキュラムを用いて学習したParA-LLMを開発する。 GPT-4o-Audioのようなフロンティアモデルが36%の精度しか達成できない、話者音声、音響、混合カテゴリにわたる6000の多重選択質問のベンチマークであるParA-Benchもリリースしました。 ParA-LLMは、ParA-BenchでGPT-4o-Audioのような最先端オーディオLLMを7.5%上回り、MMAU-Pro Speechで1.13%、MMAR Speechで7.49%増加した。

関連論文リスト

• HEAR Who Said What: Unlocking Speaker-Attributed Reasoning via Counterfactual Voice Grounding [54.365959989048406]
  音声言語モデル(SLM)は、ますますマルチスピーカー環境にデプロイされている。 しかし、音声を正しい話者とみなし、話者の身元を判断する能力は、いまだに不明である。 本稿では,話者対応推論の基礎的能力を診断するベンチマークHEARを紹介する。 A2Rは、話者レベルのハードな負を持つ非現実的オーディオに最適化された30Bモデルである。
  論文  参考訳（メタデータ） (2026-08-29T08:01:20Z)
• ESCUCHA: A Spanish Speech Benchmark for Heterogeneous Acoustic Conditions [66.93528077633728]
  ESCUCHAは、既存のデータセットからではなく、音声と組み合わせた1,000の人為的な質問からなる。 このベンチマークは、9つの知覚的カテゴリーと10の推論カテゴリにまたがる推論を強調し、複数のスペイン語アクセントと非ノルマ的スピーチを通して言語多様性を捉えている。 いくつかの最先端のマルチモーダルおよび音声モデルのベンチマークでは、訓練された人間と比較して、かなりのパフォーマンスのギャップが示される。
  論文  参考訳（メタデータ） (2026-07-20T10:59:15Z)
• Do Audio LLMs Listen or Read? Analyzing and Mitigating Paralinguistic Failures with VoxParadox [4.088161686930475]
  VoxParadoxは2000の検証済みのサンプルを持ち、10のパラ言語的タスクにまたがる逆のベンチマークである。 音場真理の精度は一貫して低く, 言語による回答に追従する傾向が強い。 入力プロンプトに基づいて複数のオーディオ層からの情報を適応的に結合するPrompt-Conditioned Layer Mixer (PCLM)を提案する。
  論文  参考訳（メタデータ） (2026-05-26T23:44:23Z)
• Step-Audio 2 Technical Report [120.58375054866815]
  Step-Audio 2は、業界における音声理解と音声会話のために設計された、エンドツーエンドのマルチモーダルな大規模言語モデルである。 遅延オーディオエンコーダと推論中心強化学習(RL)を統合することにより、Step-Audio 2は自動音声認識(ASR)および音声理解において有望な性能を達成する。
  論文  参考訳（メタデータ） (2025-07-22T14:23:55Z)
• Multi-Domain Audio Question Answering Toward Acoustic Content Reasoning in The DCASE 2025 Challenge [102.84031769492708]
  本課題は,多様な音響シーンに対する対話型質問応答における音声モデルをテストするための3つのQAサブセットを定義する。 開発セットの予備的な結果を比較し、モデルとサブセット間で強い変動を示す。 この課題は、音声モデルの音声理解と推論能力を人間レベルに向上することを目的としている。
  論文  参考訳（メタデータ） (2025-05-12T09:04:16Z)
• Baichuan-Audio: A Unified Framework for End-to-End Speech Interaction [9.101978573666546]
  Baichuan-Audioは、音声理解と生成をシームレスに統合するエンドツーエンドのオーディオ大言語モデルである。 テキスト誘導されたアライメントされた音声生成機構を備え、理解能力と生成能力の両方でリアルタイムな音声対話を可能にする。
  論文  参考訳（メタデータ） (2025-02-24T15:16:34Z)
• MMAU: A Massive Multi-Task Audio Understanding and Reasoning Benchmark [44.672035866509624]
  MMAUは、人間の注釈付き自然言語の質問と回答とを合わせた、注意深く編集された10kのオーディオクリップで構成されている。 これには、情報抽出と推論の質問が含まれており、モデルは、ユニークで困難なタスクにまたがる27の異なるスキルを実証する必要がある。 我々は18のオープンソースおよびプロプライエタリなAudio-Language Modelを評価し、MMAUがもたらす重大な課題を実証した。
  論文  参考訳（メタデータ） (2024-10-24T21:20:10Z)
• AIR-Bench: Benchmarking Large Audio-Language Models via Generative Comprehension [95.8442896569132]
  AIR-Benchは,Large Audio-Language Models (LALM) の様々な種類の音声信号を理解し,テキスト形式で人間と対話する能力を評価する最初のベンチマークである。 その結果, GPT-4による評価と人間による評価との間には高い一貫性が認められた。
  論文  参考訳（メタデータ） (2024-02-12T15:41:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。