論文の概要: Beyond Transcription: Unified Audio Schema for Perception-Aware AudioLLMs

• arxiv url: http://arxiv.org/abs/2604.12506v1
• Date: Tue, 14 Apr 2026 09:30:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-15 19:11:32.37775
• Title: Beyond Transcription: Unified Audio Schema for Perception-Aware AudioLLMs
• Title（参考訳）: Beyond Transcription: 認識を意識したオーディオLLMのための統一オーディオスキーマ
• Authors: Linhao Zhang, Yuhan Song, Aiwei Liu, Chuhan Wu, Sijun Zhang, Wei Jia, Yuan Liu, Houfeng Wang, Xiao Zhou,
• Abstract要約: 最近のオーディオ大言語モデル(AudioLLMs)は、顕著な性能逆転を示す。 複雑な推論タスクには優れるが、音の微妙な知覚では一貫して性能が劣る。 音声情報を3つの明示的な構成要素に整理する総合的かつ構造化された監視フレームワークであるUnified Audio (UAS)を提案する。
• 参考スコア（独自算出の注目度）: 53.41256816230278
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent Audio Large Language Models (AudioLLMs) exhibit a striking performance inversion: while excelling at complex reasoning tasks, they consistently underperform on fine-grained acoustic perception. We attribute this gap to a fundamental limitation of ASR-centric training, which provides precise linguistic targets but implicitly teaches models to suppress paralinguistic cues and acoustic events as noise. To address this, we propose Unified Audio Schema (UAS), a holistic and structured supervision framework that organizes audio information into three explicit components -- Transcription, Paralinguistics, and Non-linguistic Events -- within a unified JSON format. This design achieves comprehensive acoustic coverage without sacrificing the tight audio-text alignment that enables reasoning. We validate the effectiveness of this supervision strategy by applying it to both discrete and continuous AudioLLM architectures. Extensive experiments on MMSU, MMAR, and MMAU demonstrate that UAS-Audio yields consistent improvements, boosting fine-grained perception by 10.9% on MMSU over the same-size state-of-the-art models while preserving robust reasoning capabilities. Our code and model are publicly available at https://github.com/Tencent/Unified_Audio_Schema.
• Abstract（参考訳）: 最近のオーディオ大言語モデル(AudioLLMs)は、複雑な推論タスクに優れる一方で、微粒な音響知覚では一貫して性能が劣っている。 このギャップは、正確な言語目標を提供するが、暗黙的にパラ言語的手がかりや音響事象をノイズとして抑制するモデルを教える、ASR中心の訓練の基本的な制限に起因している。 これを解決するために、統一JSONフォーマット内で、音声情報を3つの明示的なコンポーネント – 転写、パラ言語、非言語イベント – に編成する、総合的で構造化された監視フレームワークであるUnified Audio Schema(UAS)を提案する。 この設計は、推論を可能にするタイトな音声テキストアライメントを犠牲にすることなく、包括的な音響カバレッジを実現する。 本稿では,AudioLLMアーキテクチャと継続的AudioLLMアーキテクチャの両方に適用することにより,この監視戦略の有効性を検証する。 MMSU、MMAR、MMAUの広範囲にわたる実験は、UAS-Audioが一貫した改善をもたらすことを示した。 私たちのコードとモデルはhttps://github.com/Tencent/Unified_Audio_Schema.comで公開されています。

関連論文リスト

• Scaling Open Discrete Audio Foundation Models with Interleaved Semantic, Acoustic, and Text Tokens [62.56027815951259]
  現在のオーディオ言語モデルは、主にテキストファーストであり、事前訓練されたテキストLLMバックボーンを拡張するか、意味のみのオーディオトークンに依存する。 本稿では,大規模音声に次トーケン予測を適用したネイティブオーディオ基礎モデルの系統的研究を行った。
  論文  参考訳（メタデータ） (2026-02-18T18:32:46Z)
• Eureka-Audio: Triggering Audio Intelligence in Compact Language Models [28.38037427018435]
  Eureka-Audioはコンパクトで高性能なオーディオ言語モデルであり,大規模モデルに対する競合性能を実現する。 Eureka-Audioは1.7Bパラメータしか含まないが、自動音声認識(ASR)、音声理解、高密度音声キャプションに強い性能を示す。 パラ言語推論をさらに強化するために,閉ループ音声命令データ合成と検証パイプラインであるDataFluxを導入する。
  論文  参考訳（メタデータ） (2026-02-15T02:01:08Z)
• Pay More Attention To Audio: Mitigating Imbalance of Cross-Modal Attention in Large Audio Language Models [60.857389526958485]
  MATAはLALMを動的にプッシュして、自己保持機構内で textbfMore textbfAttention textbfTo textbfAudioトークンを支払います。 MMAUとMMARベンチマークの実験により、MATAの有効性が確認され、一貫した性能が向上した。
  論文  参考訳（メタデータ） (2025-09-23T09:02:15Z)
• MATPAC++: Enhanced Masked Latent Prediction for Self-Supervised Audio Representation Learning [9.580895202050947]
  自己教師型学習(SSL)の先駆的パラダイムとしてマスク付き潜伏予測が登場した 本研究は,MCL(Multiple Choice Learning)を統合し,予測のあいまいさを明示的にモデル化し,表現品質を向上させることを提案する。
  論文  参考訳（メタデータ） (2025-08-18T08:10:07Z)
• Audio-Reasoner: Improving Reasoning Capability in Large Audio Language Models [91.11904427660043]
  本稿では,音声タスクの深い推論のための大規模音声言語モデルであるAudio-Reasonerを紹介する。 我々は、CoTA上でAudio-Reasonerを訓練し、オーディオ推論において優れた論理的機能を実現する。 以上の結果から,音声推論における構造化CoTトレーニングのコアが強調された。
  論文  参考訳（メタデータ） (2025-03-04T06:18:34Z)
• Baichuan-Audio: A Unified Framework for End-to-End Speech Interaction [9.101978573666546]
  Baichuan-Audioは、音声理解と生成をシームレスに統合するエンドツーエンドのオーディオ大言語モデルである。 テキスト誘導されたアライメントされた音声生成機構を備え、理解能力と生成能力の両方でリアルタイムな音声対話を可能にする。
  論文  参考訳（メタデータ） (2025-02-24T15:16:34Z)
• AudioLDM 2: Learning Holistic Audio Generation with Self-supervised Pretraining [46.22290575167155]
  本稿では, 音声, 音楽, 音響効果生成のための同じ学習手法を用いた枠組みを提案する。 私たちのフレームワークでは、LOA(Language of Audio)と呼ばれる音声の一般的な表現を導入しています。
  論文  参考訳（メタデータ） (2023-08-10T17:55:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。