論文の概要: AudioJudge: Understanding What Works in Large Audio Model Based Speech Evaluation

• arxiv url: http://arxiv.org/abs/2507.12705v1
• Date: Thu, 17 Jul 2025 00:39:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-18 20:10:24.310226
• Title: AudioJudge: Understanding What Works in Large Audio Model Based Speech Evaluation
• Title（参考訳）: AudioJudge: 大規模音響モデルによる音声評価における機能を理解する
• Authors: Potsawee Manakul, Woody Haosheng Gan, Michael J. Ryan, Ali Sartaz Khan, Warit Sirichotedumrong, Kunat Pipatanakul, William Held, Diyi Yang,
• Abstract要約: 本研究は,Large Audio Model (LAM) をAudioJudgeの裁判官として体系的に研究し,両課題に対処する統一評価フレームワークを提供することができるかどうかを検討する。 本稿では、発音、発話速度、話者識別、音声品質、自動ベンチマークのためのシステムレベルの人間の嗜好シミュレーションなど、音声特徴検出タスクにまたがるAudioJudgeについて検討する。 本稿では,多視点アンサンブルAudioJudgeを導入し,音声評価を語彙内容,音声品質,パラ言語特徴の専門判断者に分解し,人間の嗜好と最大0.91のスピアマン相関を達成させる手法を提案する。
• 参考スコア（独自算出の注目度）: 55.607230723223346
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Current speech evaluation suffers from two critical limitations: the need and difficulty of designing specialized systems targeting individual audio characteristics, and poor correlation between automatic evaluation methods and human preferences. This work presents a systematic study of Large Audio Model (LAM) as a Judge, AudioJudge, investigating whether it can provide a unified evaluation framework that addresses both challenges. We systematically explore AudioJudge across audio characteristic detection tasks, including pronunciation, speaking rate, speaker identification and speech quality, and system-level human preference simulation for automated benchmarking. We investigate different prompt engineering strategies, finding that audio concatenation combined with in-context learning significantly improves performance across both audio characteristic detection and human preference simulation tasks. We further introduce a multi-aspect ensemble AudioJudge to enable general-purpose multi-aspect audio evaluation. This method decomposes speech assessment into specialized judges for lexical content, speech quality, and paralinguistic features, achieving up to 0.91 Spearman correlation with human preferences on our system ranking benchmark. Robustness analysis reveals that while LAMs maintain strong performance under acoustic noise, they exhibit significant verbosity and positional biases that require careful mitigation.
• Abstract（参考訳）: 現在の音声評価には、個々の音響特性をターゲットとした特殊システムの設計の必要性と難易度、自動評価方法と人間の嗜好の相関性の2つの重要な制限がある。 本研究は,Large Audio Model (LAM) をAudioJudgeの裁判官として体系的に研究し,両課題に対処する統一評価フレームワークを提供することができるかどうかを検討する。 本稿では,発音,発話速度,話者識別,音声品質,自動ベンチマークのためのシステムレベルの人格選好シミュレーションなど,音声特徴検出タスクにまたがるAudioJudgeを体系的に探索する。 本研究は,音声特徴検出と人間の嗜好シミュレーションの両方において,音声の結合とコンテキスト内学習を併用することにより,性能が著しく向上することが確認された。 さらに,マルチアスペクト・アンサンブル・オーディオJudgeを導入し,汎用的なマルチアスペクト・オーディオ評価を実現する。 本手法は, 語彙内容, 音声品質, パラ言語特徴について, 音声評価を専門の判断者へ分解し, 人間の嗜好と最大0.91のスピアマン相関をシステムランキングベンチマーク上で達成する。 ロバストネス分析により、LAMは音響雑音下での強い性能を維持しながら、注意深い緩和を必要とする有意な冗長性と位置バイアスを示すことが明らかとなった。

関連論文リスト

• Meta Audiobox Aesthetics: Unified Automatic Quality Assessment for Speech, Music, and Sound [46.7144966835279]
  本稿では,人間の介入なしに審美を予測できる自動システムの必要性に対処する。 人間の聴取視点を4つの異なる軸に分解する新しいガイドラインを提案する。 我々は、音声品質のより微妙な評価を提供する、ノン参照、イテムごとの予測モデルを開発し、訓練する。
  論文  参考訳（メタデータ） (2025-02-07T18:15:57Z)
• Audio Large Language Models Can Be Descriptive Speech Quality Evaluators [46.765203628127345]
  本稿では,人間格付けから生成した最初の自然言語に基づく音声評価コーパスについて紹介する。 このコーパスは、複数の次元にわたる詳細な分析を提供し、品質劣化の原因を特定する。 生音声から関連情報を抽出するために,LLM蒸留(ALLD)を用いたアライメント手法を提案する。
  論文  参考訳（メタデータ） (2025-01-27T22:47:51Z)
• Challenge on Sound Scene Synthesis: Evaluating Text-to-Audio Generation [8.170174172545831]
  本稿では,2024年における音響シーン・イベントの検出・分類の一環として,音シーン合成の課題に対処する。 本稿では,Fr'echet Audio Distanceと知覚的アセスメントを組み合わせた評価手法を提案する。
  論文  参考訳（メタデータ） (2024-10-23T06:35:41Z)
• Can Large Audio-Language Models Truly Hear? Tackling Hallucinations with Multi-Task Assessment and Stepwise Audio Reasoning [55.2480439325792]
  大規模な音声言語モデル (LALM) は、音声および音声情報の理解と推論に優れた能力を示している。 これらのモデルは、既存の音のイベントを幻覚させ、音のイベントの順序を誤認し、誤って音源を帰属させるなど、依然として課題に直面している。
  論文  参考訳（メタデータ） (2024-10-21T15:55:27Z)
• Where are we in audio deepfake detection? A systematic analysis over generative and detection models [59.09338266364506]
  SONARはAI-Audio Detection FrameworkとBenchmarkの合成である。 最先端のAI合成聴覚コンテンツを識別するための総合的な評価を提供する。 従来のモデルベース検出システムと基礎モデルベース検出システムの両方で、AIオーディオ検出を均一にベンチマークする最初のフレームワークである。
  論文  参考訳（メタデータ） (2024-10-06T01:03:42Z)
• AIR-Bench: Benchmarking Large Audio-Language Models via Generative Comprehension [95.8442896569132]
  AIR-Benchは,Large Audio-Language Models (LALM) の様々な種類の音声信号を理解し,テキスト形式で人間と対話する能力を評価する最初のベンチマークである。 その結果, GPT-4による評価と人間による評価との間には高い一貫性が認められた。
  論文  参考訳（メタデータ） (2024-02-12T15:41:22Z)
• Conformer-Based Self-Supervised Learning for Non-Speech Audio Tasks [20.316239155843963]
  本稿では,音声表現学習手法を提案し,それを下流の音声非音声タスクに適用する。 AudioSetベンチマークでは、平均平均精度(mAP)スコアが0.415に達しています。
  論文  参考訳（メタデータ） (2021-10-14T12:32:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。