論文の概要: Fish Audio Drama 3 Technical Report

• arxiv url: http://arxiv.org/abs/2610.18010v1
• Date: Tue, 13 Oct 2026 09:06:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.569659
• Title: Fish Audio Drama 3 Technical Report
• Title（参考訳）: 魚のオーディオドラマ(第3報)
• Abstract要約: Fish Audio Drama 3は、テキストを演出に変換する音声生成モデルである。 複数の参照からの音声をクローンし、自然言語の方向に従って、次のターンがメモをくれたときにテイクを更新する。 既存の音声を埋め込んで編集し、ロングフォームとストリーミングオーディオを合成する。
• 参考スコア（独自算出の注目度）: 22.95540907419594
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce Fish Audio Drama 3, an open-source speech generation model that turns text into directed performances, built on a 35B-parameter mixture-of-experts backbone that activates 3B parameters per token. It clones voices from multiple references, follows natural-language direction, revises a take when the next turn gives a note, voices multi-character scenes, edits existing speech by infilling, and synthesizes long-form and streaming audio. Multi-turn revision, scene dubbing, editing by infilling, and streaming text input are new in Drama 3, all in one model. Drama 3 pairs the hybrid linear-attention backbone with a new codebook multi-token-prediction audio decoder that predicts the acoustic codebooks of each frame in dedicated layers that attend over the entire sequence. The model is trained with a three-stage pre-training recipe, instruction fine-tuning, and large-batch reinforcement learning whose only reward is a single learned model of human preference. Its inference engine decodes a single stream at 271 frames per second on one H200, against 177 for Fish Audio S2, although Drama 3 has more than seven times as many parameters. The model weights are available on GitHub (https://github.com/fishaudio/fish-speech) and Hugging Face (https://huggingface.co/fishaudio/drama-3), and inference is available through SGLang-Omni (https://github.com/sgl-project/sglang-omni). We highly encourage readers to visit https://fish.audio to direct their own performances.
• Abstract（参考訳）: 本稿では,35Bパラメータの混合処理により,トークン単位の3Bパラメータを活性化するバックボーン上に構築した,テキストを指向的なパフォーマンスに変換する,オープンソースの音声生成モデルであるFish Audio Drama 3を紹介する。 複数の参照からの音声をクローンし、自然言語の方向に従い、次のターンがメモをくれたときにテイクを訂正し、複数文字のシーンを声で再生し、埋め込んで既存の音声を編集し、ロングフォームとストリーミングオーディオを合成する。 マルチターンリビジョン、シーンダビング、インフィルによる編集、ストリーミングテキスト入力はドラマ3で新しい。 ドラマ3では、ハイブリッドなリニアアテンションバックボーンと、新しいコードブックのマルチトーケン予測オーディオデコーダをペアリングして、各フレームの音響コードブックを、全シーケンスに付随する専用レイヤで予測する。 このモデルは、3段階の事前学習のレシピ、指導の微調整、大きなバッチ強化学習で訓練される。 その推論エンジンは、1つのH200で毎秒271フレームで1つのストリームをデコードし、フィッシュオーディオS2では177フレームをデコードするが、ドラマ3は7倍以上のパラメータを持つ。 モデルはGitHub(https://github.com/fishaudio/fish-speech)とHugging Face(https://huggingface.co/fishaudio/drama-3)で入手できる。 私たちは読者に対して、自身のパフォーマンスを指示するためにhttps://fish.audio.comを訪れるよう強く勧めています。

関連論文リスト

• Unified Audio Intelligence Without Regressing on Text Intelligence [86.55418188552768]
  我々は,統一音声テキストLLMであるNemotron-Labs-Audex-30B-A3B(Audex)を紹介する。 Audexは単一のTransformerデコーダで単純な統一設計を採用する。 Audexは最先端の音声理解、音声認識と翻訳、テキスト音声合成、音声生成、音声音声生成を提供する。
  論文  参考訳（メタデータ） (2026-07-06T15:11:57Z)
• Fish Audio S2 Technical Report [15.530056049608412]
  Fish Audio S2は、オープンソースのテキスト音声合成システムである。 マルチスピーカー、マルチターン生成、および自然な記述による命令追従制御を備えている。 モデルウェイト、微調整コード、推論エンジンをリリースします。
  論文  参考訳（メタデータ） (2026-03-09T18:34:33Z)
• Fun-Audio-Chat Technical Report [71.07966678560291]
  音声トークン(25Hz)とテキストトークン(3Hz)の間の時間分解能は意味情報のミスマッチを緩和し、高い計算コストを発生させる。 本稿では,大規模な音声合成タスクであるFun-Audio-Chatを紹介する。 Fun-Audio-Chat 8BとMoE 30BA3Bは、SpeechTextとSpeech-to-scaleタスクの競合性能を達成する。
  論文  参考訳（メタデータ） (2025-12-23T08:35:27Z)
• Large-scale unsupervised audio pre-training for video-to-speech synthesis [64.86087257004883]
  音声合成は、話者の無声映像から音声信号を再構成する作業である。 本稿では,24kHzで3,500時間以上のオーディオデータをエンコーダ・デコーダモデルでトレーニングすることを提案する。 次に、事前学習したデコーダを用いて、音声合成タスクの音声デコーダを初期化する。
  論文  参考訳（メタデータ） (2023-06-27T13:31:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。