論文の概要: UALM: Unified Audio Language Model for Understanding, Generation and Reasoning

• arxiv url: http://arxiv.org/abs/2510.12000v1
• Date: Mon, 13 Oct 2025 22:55:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-15 19:02:32.112992
• Title: UALM: Unified Audio Language Model for Understanding, Generation and Reasoning
• Title（参考訳）: UALM: 理解・生成・推論のための統一音声言語モデル
• Authors: Jinchuan Tian, Sang-gil Lee, Zhifeng Kong, Sreyan Ghosh, Arushi Goel, Chao-Han Huck Yang, Wenliang Dai, Zihan Liu, Hanrong Ye, Shinji Watanabe, Mohammad Shoeybi, Bryan Catanzaro, Rafael Valle, Wei Ping,
• Abstract要約: 統一音声言語モデル (Unified Audio Language Model, UALM) は、音声理解、テキスト音声生成、マルチモーダル推論を単一モデルで統一することを目的としている。 最初にUALM-Genを提示する。これは音声トークンを直接予測し,最先端の拡散モデルに匹敵する言語モデルである。 UALM-Reasonは、テキストと音声の両方を中間的思考ステップで活用し、複雑な生成作業を容易にするマルチモーダル推論モデルである。
• 参考スコア（独自算出の注目度）: 124.19449187588832
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advances in the audio language modeling (ALM) domain tackle audio understanding and text-to-audio generation as separate tasks. Very few studies attempt to unify these tasks -- an essential step toward advanced multimodal reasoning. This paper introduces U}nified Audio Language Model (UALM), which aims to unify audio understanding, text-to-audio generation, and multimodal reasoning in a single model. To achieve this goal, we first present UALM-Gen, a text-to-audio language model that directly predicts audio tokens and is comparable to state-of-the-art diffusion-based models. We then demonstrate, using proper data blending, training recipes, and inference techniques, that our single UALM model matches the quality of state-of-the-art specialized models in audio understanding, text-to-audio generation, and text reasoning. Furthermore, we present UALM-Reason, a multimodal reasoning model that utilizes both text and audio in the intermediate thinking steps to facilitate complex generation tasks. To our knowledge, this is the first demonstration in audio research of cross-modal generative reasoning, with its effectiveness confirmed by subjective evaluations.
• Abstract（参考訳）: 音声言語モデリング(ALM)領域の最近の進歩は、音声理解とテキスト音声生成を個別のタスクとして取り組んでいる。 これらのタスクを統一しようとする研究はほとんどなく、先進的なマルチモーダル推論に向けた重要なステップである。 本稿では, 音声理解, 音声合成, マルチモーダル推論を単一モデルで統一することを目的としたU}nified Audio Language Model (UALM)を提案する。 この目的を達成するために、我々はまず、音声トークンを直接予測し、最先端の拡散モデルに匹敵するテキスト音声モデルであるUALM-Genを提示する。 次に、適切なデータブレンディング、トレーニングレシピ、推論技術を用いて、我々の単一のUALMモデルは、音声理解、テキスト・トゥ・オーディオ生成、テキスト推論における最先端の専門モデルの品質と一致することを実証する。 さらに,テキストと音声の両方を中間的思考ステップで活用し,複雑な生成作業を容易にするマルチモーダル推論モデルであるUALM-Reasonを提案する。 我々の知る限り、これはクロスモーダルな生成推論の音響研究における最初の実演であり、その妥当性は主観的評価によって確認されている。

関連論文リスト

• From Text to Talk: Audio-Language Model Needs Non-Autoregressive Joint Training [19.396162898865864]
  Text-to-Talk (TtT) は、自動回帰(AR)テキスト生成と非自己回帰(NAR)音声拡散を統合した統合オーディオテキストフレームワークである。 このハイブリッド生成パラダイムをサポートするために,テキストの因果復号を強制するモダリティ対応アテンション機構を設計する。 推論中、TtTは可変長出力を柔軟に処理しながら、ブロックワイド拡散を用いてオーディオを並列に合成する。
  論文  参考訳（メタデータ） (2025-09-24T12:44:26Z)
• From Alignment to Advancement: Bootstrapping Audio-Language Alignment with Synthetic Data [55.2480439325792]
  音声対応の大規模言語モデル(ALLM)は近年,音声入力の理解と処理において大きな進歩を遂げている。 これらのモデルは典型的にはテキストベースの大規模言語モデル(LLM)に適応し、音声関連タスクのさらなるトレーニングを行う。 本研究では、現在と欠落した音を区別するALLMの能力を高めるために、コントラッシブな訓練データを生成するデータ生成フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-26T16:08:41Z)
• Baichuan-Audio: A Unified Framework for End-to-End Speech Interaction [9.101978573666546]
  Baichuan-Audioは、音声理解と生成をシームレスに統合するエンドツーエンドのオーディオ大言語モデルである。 テキスト誘導されたアライメントされた音声生成機構を備え、理解能力と生成能力の両方でリアルタイムな音声対話を可能にする。
  論文  参考訳（メタデータ） (2025-02-24T15:16:34Z)
• AudioLDM 2: Learning Holistic Audio Generation with Self-supervised Pretraining [46.22290575167155]
  本稿では, 音声, 音楽, 音響効果生成のための同じ学習手法を用いた枠組みを提案する。 私たちのフレームワークでは、LOA(Language of Audio)と呼ばれる音声の一般的な表現を導入しています。
  論文  参考訳（メタデータ） (2023-08-10T17:55:13Z)
• CLIPSonic: Text-to-Audio Synthesis with Unlabeled Videos and Pretrained Language-Vision Models [50.42886595228255]
  本稿では,橋梁としての視覚的モダリティを活用して,所望のテキスト・オーディオ対応を学習することを提案する。 我々は、事前訓練されたコントラスト言語画像事前学習モデルによって符号化されたビデオフレームを考慮し、条件付き拡散モデルを用いてビデオの音声トラックを生成する。
  論文  参考訳（メタデータ） (2023-06-16T05:42:01Z)
• CTAL: Pre-training Cross-modal Transformer for Audio-and-Language Representations [20.239063010740853]
  音声と言語間のモダリティ内およびモダリティ間接続を学習することを目的としたCTAL(Cross-modal Transformer for Audio-and-Language)を提案する。 感情分類,感情分析,話者検証など,様々なタスクにまたがる顕著な改善が観察された。
  論文  参考訳（メタデータ） (2021-09-01T04:18:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。