論文の概要: AuK Technical Report: An Open-Source Foundational Model for Speech Generation and Editing

• arxiv url: http://arxiv.org/abs/2609.08936v1
• Date: Tue, 08 Sep 2026 15:59:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-11 20:31:11.836278
• Title: AuK Technical Report: An Open-Source Foundational Model for Speech Generation and Editing
• Title（参考訳）: AuK Technical Report: 音声生成と編集のためのオープンソースの基礎モデル
• Abstract要約: 我々は,自然言語命令と音声コンテキストの共通インターフェースを通じて音声生成と編集を統合する,オープンソースの基礎モデルであるAuKを紹介する。 我々は5つのタスクファミリーで約330億のインストラクションオーディオインスタンスと195万時間の効果的な監視時間を構築した。
• 参考スコア（独自算出の注目度）: 74.97664372105693
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce AuK, an open-source foundational model that unifies speech generation and editing through a common interface of natural-language instructions and audio context. To support this broad capability set, we construct approximately 3.03 billion instruction--audio instances and 1.95 million hours of effective supervision across five task families: speech generation, content editing, enhancement and separation, paralinguistic editing, and acoustic editing. AuK combines a multimodal large language model for semantic conditioning, an VAE jointly trained on speech, general audio, and music for acoustic conditioning, and a hybrid rectified-flow Transformer that performs dual-stream MMDiT blocks followed by unified single-stream DiT blocks for generation. Training begins with generation-only warm-up and proceeds to joint generation--editing pre-training. We then apply complementary post-training strategies: human-feedback preference optimization for open-ended editing and reward-based reinforcement learning for speech generation. To reduce inference cost, we further distill the model with consistency initialization and task-routed Decoupled DMD. The resulting AuK-Flash performs 4-step inference without classifier-free guidance and achieves a 4.5 wall-clock speedup over the full model under matched conditions. Experiments demonstrate leading performance on zero-shot and instruction-controlled speech generation and general instruction-guided editing, while remaining competitive on signal-level restoration tasks. We release both the source code and model weights to support reproducibility and further research.
• Abstract（参考訳）: 我々は,自然言語命令と音声コンテキストの共通インターフェースを通じて音声生成と編集を統合する,オープンソースの基礎モデルであるAuKを紹介する。 この広範な機能セットをサポートするため、約330億の命令-オーディオインスタンスを構築し、音声生成、コンテンツ編集、拡張と分離、パラ言語編集、音響編集の5つのタスクファミリに対して、195万時間の効果的な監視を行う。 AuKは、セマンティックコンディショニングのためのマルチモーダルな大規模言語モデル、音声、一般オーディオ、音響コンディショニングのための音楽に共同で訓練されたVAE、デュアルストリームMMDiTブロックを実行するハイブリッド整流トランスフォーマーと、生成のための単一ストリームDiTブロックを併用する。 訓練は世代のみのウォームアップから始まり、共同世代へと進む。 提案手法は,オープンエンド編集のためのヒューマンフィードバック選好最適化と,音声生成のための報酬ベース強化学習である。 推論コストを削減するため, 整合初期化とタスクトラウトデカップリングDMDによりモデルをさらに蒸留する。 結果としてAuK-Flashは4ステップの推論を行うが、分類器なしの誘導は行わず、マッチした条件下ではフルモデル上で4.5ウォールクロックの高速化が達成される。 実験では、ゼロショットおよび命令制御された音声生成と一般的な命令誘導編集において、信号レベルの復元作業において競争力を維持しながら、主要な性能を示す。 再現性とさらなる研究をサポートするために、ソースコードとモデルウェイトの両方をリリースします。

関連論文リスト

• Audio-Omni: Extending Multi-modal Understanding to Versatile Audio Generation and Editing [63.573256490583724]
  Audio-Omniは、一般的な音、音楽、音声ドメイン間で生成と編集を統合する最初のエンドツーエンドフレームワークである。 高次推論のための凍結型マルチモーダル大言語モデルと高忠実度合成のためのトレーニング可能な拡散変換器を併用する。 AudioEditは100万以上の精巧にキュレートされた編集ペアからなる大規模なデータセットである。
  論文  参考訳（メタデータ） (2026-04-12T16:08:20Z)
• UniTalking: A Unified Audio-Video Framework for Talking Portrait Generation [9.86219488808079]
  我々は,高忠実度音声とリップ同期ビデオを生成するための統合されたエンドツーエンド拡散フレームワークUniTalkingを紹介する。 事前訓練されたビデオ生成モデルから強力な事前情報を活用することにより、このフレームワークは最先端の視覚的忠実度を確保しつつ、効率的なトレーニングを可能にする。
  論文  参考訳（メタデータ） (2026-03-02T03:46:53Z)
• AzeroS: Extending LLM to Speech with Self-Generated Instruction-Free Tuning [49.68129589035101]
  AZeroS (Auden Zero-Instruction-tuned Speech-LLM) を導入する。 AZeroSはセマンティックベンチマークとパラ言語ベンチマークの両方で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2025-12-31T04:05:04Z)
• Ming-UniAudio: Speech LLM for Joint Understanding, Generation and Editing with Unified Representation [43.25237304356213]
  本稿では,音声理解,生成,編集を統一する新しいフレームワークを提案する。 統合されたモデルの中核は、意味的および音響的特徴を効果的に統合する最初の連続的トークン化ツールであるMingTok-Audioである。 この統合された連続音声トークン化手法に基づいて,生成能力と理解能力のバランスをとる言語モデルMing-UniAudioを開発した。
  論文  参考訳（メタデータ） (2025-10-26T17:55:34Z)
• UniVerse-1: Unified Audio-Video Generation via Stitching of Experts [59.38012380516272]
  協調音声とビデオの同時生成が可能な統合型Veo-3型モデルUniVerse-1を提案する。 トレーニング効率を向上させるために、スクラッチからトレーニングをバイパスし、代わりに専門家の縫合技術(SoE)を用いる。
  論文  参考訳（メタデータ） (2025-09-07T17:55:03Z)
• Baichuan-Audio: A Unified Framework for End-to-End Speech Interaction [9.101978573666546]
  Baichuan-Audioは、音声理解と生成をシームレスに統合するエンドツーエンドのオーディオ大言語モデルである。 テキスト誘導されたアライメントされた音声生成機構を備え、理解能力と生成能力の両方でリアルタイムな音声対話を可能にする。
  論文  参考訳（メタデータ） (2025-02-24T15:16:34Z)
• Step-Audio: Unified Understanding and Generation in Intelligent Speech Interaction [110.38946048535033]
  本稿では,音声認識のための最初のプロダクション対応オープンソースソリューションであるStep-Audioを紹介する。 1) 統合された理解と生成を実現する統合音声テキストマルチモーダルモデル、2) 安価な音声クローニングフレームワークを確立し、蒸留によりオープンソースで軽量なStep-Audio-TTS-3Bモデルを生産する生成音声データエンジン、3) 方言、感情、歌、RAP間の動的調整を可能にする命令駆動型微制御システム、4) ツールコールとロールプレイング機能を備えた強化認知アーキテクチャ。
  論文  参考訳（メタデータ） (2025-02-17T15:58:56Z)
• FINALLY: fast and universal speech enhancement with studio-like quality [7.207284147264852]
  本稿では,様々な歪みを含む実世界の録音における音声強調の課題に対処する。 本研究では, 対人訓練の安定性を高めるために, 知覚喪失のための様々な特徴抽出器について検討した。 我々は、WavLMに基づく知覚損失をMS-STFT逆行訓練パイプラインに統合し、音声強調モデルの効果的で安定した訓練手順を作成する。
  論文  参考訳（メタデータ） (2024-10-08T11:16:03Z)
• uSee: Unified Speech Enhancement and Editing with Conditional Diffusion Models [57.71199494492223]
  本稿では,条件付き拡散モデルを用いた統一音声強調編集(uSee)モデルを提案する。 実験の結果,提案したuSeeモデルは,他の生成的音声強調モデルと比較して,発声および発声の双方において優れた性能が得られることがわかった。
  論文  参考訳（メタデータ） (2023-10-02T04:36:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。