論文の概要: FireRedAudio: A General-Purpose Audio Language Model with Decoupled Continuous Representations for Understanding and Generation
- arxiv url: http://arxiv.org/abs/2608.24168v2
- Date: Thu, 27 Aug 2026 03:36:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-28 14:16:51.780487
- Title: FireRedAudio: A General-Purpose Audio Language Model with Decoupled Continuous Representations for Understanding and Generation
- Title（参考訳）: FireRedAudio: 理解と生成のための連続表現を分離した汎用オーディオモデル
- Abstract要約: 統一音声モデルは、音声合成と編集をサポートしながら、言語、パラ言語、環境情報を認識し、理解する必要がある。
9BパラメータLLMを共用した汎用オーディオ言語モデルFireRedAudioを紹介する。
FireRedAudioは、音声理解と多言語ASRにおける競合的ないし先進的なパフォーマンス、ゼロショットTSにおける強いコンテンツ精度と話者タイムスタンプの保存、Ming-UniAudio-Editに対する大幅な改善を実現している。
- 参考スコア（独自算出の注目度）: 46.93738546805678
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A unified audio model must recognize and understand linguistic, paralinguistic, and environmental information while supporting speech synthesis and editing. A key challenge is representation: understanding favors compact features suited to long-context modeling, whereas speech generation requires reconstructible features that preserve fine-grained acoustic detail. We introduce FireRedAudio, a general-purpose audio language model with a shared 9B-parameter LLM. To the best of our knowledge, it is the first publicly disclosed unified audio-language model to provide separate continuous input representations for understanding and generation within a single trainable autoregressive LLM. Audio to be recognized or analyzed is processed by a dedicated Audio Encoder, while speech inputs for generation use a RedAE-based pathway. The LLM directly generates text or conditions a flow-matching DiT to produce continuous acoustic latents. Through progressive multitask training, FireRedAudio supports ASR and audio understanding, with the latter extending to recordings of up to one hour, as well as zero-shot TTS, Instruct TTS, and semantic and acoustic speech editing. Its structured organization of long-form audio achieves second-level timestamp accuracy. Across comprehensive evaluations, FireRedAudio achieves competitive or leading performance in audio understanding and multilingual ASR, strong content accuracy and speaker preservation in zero-shot TTS, leading instruction following in Instruct TTS, and substantial improvements over Ming-UniAudio-Edit in both semantic and acoustic speech editing. These results demonstrate the viability of decoupled continuous input representations for unifying audio understanding and continuous-latent speech generation in a model of moderate scale. Our code is available at https://github.com/FireRedTeam/FireRedAudio.
- Abstract（参考訳）: 統一音声モデルは、音声合成と編集をサポートしながら、言語、パラ言語、環境情報を認識し、理解する必要がある。
重要な課題は表現である: 理解は長文モデリングに適したコンパクトな特徴を好むが、音声生成には微細な音響的詳細を保存した再構成可能な特徴が必要である。
9BパラメータLLMを共有する汎用オーディオ言語モデルFireRedAudioを紹介する。
我々の知る限りでは、単一の訓練可能な自己回帰LDM内での理解と生成のための個別の連続的な入力表現を提供する、最初の公開統合音声言語モデルである。
認識または分析される音声は専用オーディオエンコーダで処理され、生成のための音声入力はRedAEベースの経路を使用する。
LLMは、連続音響潜水剤を生成するために、直接、テキストまたはフローマッチングDiTを生成する。
プログレッシブなマルチタスクトレーニングを通じて、FireRedAudioはASRとオーディオ理解をサポートし、後者は最大1時間までの録音、ゼロショットTS、インストラクションTS、セマンティックおよび音響音声編集をサポートする。
ロングフォームオーディオの構造化された構成は、第2レベルのタイムスタンプ精度を実現する。
総合的な評価では、FireRedAudioは音声理解と多言語ASRにおける競合的ないし先進的なパフォーマンス、ゼロショットTSにおける強い内容精度と話者保存、インストラクションTSにおける指導の指導、意味的および音響的音声編集におけるMing-UniAudio-Editに対する大幅な改善を実現している。
これらの結果は、中等度スケールのモデルにおいて、音声理解と連続ラテント音声生成を統一するための分離された連続入力表現の実現可能性を示す。
私たちのコードはhttps://github.com/FireRedTeam/FireRedAudio.comで利用可能です。
関連論文リスト
- Continuous Audio Thinking for Large Audio Language Models [16.335310406868217]
応答生成に先立って音響情報を整理するための連続的な潜時ワークスペースを備えた音声モデルを実現するために,Continuous Audio Thinking (CoAT)を導入した。
思考空間内では、モデルはその応答を生成する際に専門家の蒸留によって提供される豊かな音響情報を利用することができる。
CoATは、ベースラインに対する追加の自己回帰復号化コストを必要としない。
論文 参考訳（メタデータ） (2026-06-05T11:38:30Z) - MOSS-Audio Technical Report [80.01042232102883]
MOSS-Audioは、音声、環境音、音楽理解のための統一された音声言語モデルである。
音声キャプション、タイムアウェアな質問応答、タイムスタンプによる書き起こし、音声による推論をサポートする。
論文 参考訳（メタデータ） (2026-06-01T07:19:22Z) - AudioStory: Generating Long-Form Narrative Audio with Large Language Models [87.23256929520743]
AudioStoryは、大きな言語モデルとテキストからオーディオシステムを統合して、構造化された長文の音声物語を生成するフレームワークである。
LLMを用いて複雑な物語クエリを時間順に並べたサブタスクに分解する。
広汎な実験により,単一音声生成と物語音声生成の両方においてAudioStoryの優位性が,指示追従能力と音声忠実性の両方において,TTAベースラインを上回った。
論文 参考訳（メタデータ） (2025-08-27T17:55:38Z) - Step-Audio 2 Technical Report [120.58375054866815]
Step-Audio 2は、業界における音声理解と音声会話のために設計された、エンドツーエンドのマルチモーダルな大規模言語モデルである。
遅延オーディオエンコーダと推論中心強化学習(RL)を統合することにより、Step-Audio 2は自動音声認識(ASR)および音声理解において有望な性能を達成する。
論文 参考訳（メタデータ） (2025-07-22T14:23:55Z) - From Alignment to Advancement: Bootstrapping Audio-Language Alignment with Synthetic Data [55.2480439325792]
音声対応の大規模言語モデル(ALLM)は近年,音声入力の理解と処理において大きな進歩を遂げている。
これらのモデルは典型的にはテキストベースの大規模言語モデル(LLM)に適応し、音声関連タスクのさらなるトレーニングを行う。
本研究では、現在と欠落した音を区別するALLMの能力を高めるために、コントラッシブな訓練データを生成するデータ生成フレームワークを提案する。
論文 参考訳（メタデータ） (2025-05-26T16:08:41Z) - Baichuan-Audio: A Unified Framework for End-to-End Speech Interaction [9.101978573666546]
Baichuan-Audioは、音声理解と生成をシームレスに統合するエンドツーエンドのオーディオ大言語モデルである。
テキスト誘導されたアライメントされた音声生成機構を備え、理解能力と生成能力の両方でリアルタイムな音声対話を可能にする。
論文 参考訳（メタデータ） (2025-02-24T15:16:34Z) - Improving Audio Codec-based Zero-Shot Text-to-Speech Synthesis with Multi-Modal Context and Large Language Model [11.62674351793]
複数の拡張を伴ってコンテキスト特徴を適応する新しい音声ベースのTSモデルを提案する。
Qformerの成功に触発されて,マルチモーダルなコンテキスト強化Qformerを提案する。
提案手法は,様々な状況のTSシナリオにおいて,ベースラインよりも優れる。
論文 参考訳（メタデータ） (2024-06-06T03:06:45Z) - LauraGPT: Listen, Attend, Understand, and Regenerate Audio with GPT [65.69648099999439]
Generative Pre-trained Transformer (GPT) モデルは、様々な自然言語処理タスクにおいて顕著なパフォーマンスを実現している。
音声認識, 理解, 生成のための新しい音声・テキストGPTベースのLLMであるLauraGPTを提案する。
論文 参考訳（メタデータ） (2023-10-07T03:17:59Z) - AudioLDM 2: Learning Holistic Audio Generation with Self-supervised Pretraining [46.22290575167155]
本稿では, 音声, 音楽, 音響効果生成のための同じ学習手法を用いた枠組みを提案する。
私たちのフレームワークでは、LOA(Language of Audio)と呼ばれる音声の一般的な表現を導入しています。
論文 参考訳（メタデータ） (2023-08-10T17:55:13Z) - AudioLM: a Language Modeling Approach to Audio Generation [59.19364975706805]
本稿では,長期的整合性を有する高品質オーディオ生成フレームワークであるAudioLMを紹介する。
本稿では,既存の音声トークンが,再建品質と長期構造との間に異なるトレードオフをもたらすことを示す。
我々は,コヒーレントピアノ音楽の継続を生成することによって,我々のアプローチが音声を超えてどのように拡張されるかを実証する。
論文 参考訳（メタデータ） (2022-09-07T13:40:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。