論文の概要: Multi Codec Discrete Diffusion Model for Text Guided Speech Inpainting and Editing

• arxiv url: http://arxiv.org/abs/2608.06424v1
• Date: Wed, 05 Aug 2026 18:57:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-10 16:21:25.244606
• Title: Multi Codec Discrete Diffusion Model for Text Guided Speech Inpainting and Editing
• Title（参考訳）: テキスト案内音声の描画・編集のためのマルチコーデック離散拡散モデル
• Abstract要約: 音声の塗装は欠落したセグメントを復元する一方、音声編集は編集されたテキストに従って音声コンテンツを置換する。 SIEDDは、階層的トークン上でのテキスト誘導音声の描画と編集のための離散拡散フレームワークである。 RealEdit のベンチマークでは,SIEDD が評価手法の中で最高の音声編集性能を達成している。
• 参考スコア（独自算出の注目度）: 10.49533454106105
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Speech recordings often contain missing, corrupted, or incorrect regions that must be reconstructed or modified without re-synthesizing the entire utterance. Speech inpainting restores missing segments, whereas speech editing replaces spoken content according to an edited transcript. Both tasks require the generated speech to express the intended words while remaining consistent with the surrounding speaker identity, prosody, timing, and recording conditions. Discrete diffusion is particularly well suited to these tasks because it can iteratively refine masked tokens while jointly conditioning on both left and right acoustic context. We introduce SIEDD, a discrete diffusion framework for text-guided speech inpainting and editing over hierarchical codec tokens. Its core architecture, HiCoDD, follows the RVQ generation order by representing previously generated codebooks as clean, committed acoustic context and applying diffusion only to the current refinement codebook. This separation enables leakage-free joint training while matching sequential coarse-to-fine inference. The model further combines phoneme-level conditioning, span-localized classifier-free guidance, and duration prediction to support both fixed-duration inpainting and variable-duration text edits. On the RealEdit benchmark, SIEDD achieves the best overall speech-editing performance among the evaluated methods. It also outperforms the evaluated autoregressive baselines across all speech-inpainting settings, on both single and multiple gaps. These results demonstrate that explicitly modeling the codec hierarchy substantially improves context-preserving speech reconstruction and editing. See our full code at https://github.com/iftachShoham/SIEDD.
• Abstract（参考訳）: 音声記録には、全体の発話を再合成することなく再構成または修正する必要がある欠落、破損、または不正な領域がしばしば含まれる。 音声の塗装は欠落したセグメントを復元する一方、音声編集は編集されたテキストに従って音声コンテンツを置換する。 どちらのタスクも、生成した音声で意図した単語を表現し、周囲の話者のアイデンティティ、韻律、タイミング、記録条件と整合性を保つ必要がある。 離散拡散はマスク付きトークンを反復的に洗練し、左右両方の音響文脈で共同条件付けできるため、これらのタスクに特に適している。 SIEDDは,階層型コーデックトークン上でのテキスト入力と編集のための離散拡散フレームワークである。 コアアーキテクチャであるHiCoDDは、以前に生成されたコードブックをクリーンでコミットされたアコースティックなコンテキストとして表現し、現在の洗練コードブックにのみ拡散を適用することで、RVQ生成順序に従う。 この分離により、シーケンシャルな粗大な推論を一致させながら、漏れのないジョイントトレーニングが可能になる。 このモデルはさらに音素レベルの条件付け、スパンローカライズされた分類器フリーガイダンス、および継続時間予測を組み合わせることで、固定順と可変順の両方のテキスト編集をサポートする。 RealEdit のベンチマークでは,SIEDD が評価手法の中で最高の音声編集性能を達成している。 また、評価された自己回帰ベースラインを、単一のギャップと複数のギャップの両方で、すべての音声強調設定で上回る。 これらの結果は,コーデック階層を明示的にモデル化することで,文脈保存音声の再構成と編集を大幅に改善することを示した。 コードの全文はhttps://github.com/iftachShoham/SIEDD.comにある。

関連論文リスト

• UniSAE: Unified Speech Attribute Editing on Speaker, Emotion and Low-Level Content via Discrete Phonetic Posteriorgram Modelling [31.829301124201226]
  音声編集は、残音声を保存しながら、発話の特定の部分を変更することを目的としている。 サブ音素から単語レベルまでの構成可能な話者・感情・コンテンツ編集をサポートする統一音声属性編集フレームワークUniSAEを提案する。 実験により,提案した統合フレームワークは,正確な話者と感情の制御,複数の粒度でのコンテンツ編集,一つのフレームワーク内での3つの属性の共用化をサポートすることが示された。
  論文  参考訳（メタデータ） (2026-06-30T04:46:45Z)
• EntangleCodec: A Unified Discrete Audio Tokenizer via Semantic-Acoustic Entanglement [54.95940885045993]
  EntangleCodecは、量子化の前にキャプションに沿った意味音響表現を学習する独立したオーディオトークンである。 コンパクトなトークンストリーム内に言語内容、話者識別、感情、韻律、音響シーンをキャプチャする。 特殊なコーデックと競合する再構成品質を実現し、統合されたフレームワークでTSとTTAの生成をサポートする。
  論文  参考訳（メタデータ） (2026-06-01T18:05:18Z)
• MOSS-Speech: Towards True Speech-to-Speech Models Without Text Guidance [66.74042564585942]
  MOSS-Speechは、テキストガイダンスに頼ることなく直接理解し、音声を生成する、真の音声音声合成大言語モデルである。 我々の研究は、表現的かつ効率的なエンドツーエンドの音声対話のための新しいパラダイムを確立する。
  論文  参考訳（メタデータ） (2025-10-01T04:32:37Z)
• RFM-Editing: Rectified Flow Matching for Text-guided Audio Editing [21.479883699581308]
  そこで本研究では,音声編集のための効率のよいフロー整合型拡散フレームワークを提案する。 実験の結果,補助的なキャプションやマスクを必要とせず,忠実なセマンティックアライメントを実現することができた。
  論文  参考訳（メタデータ） (2025-09-17T14:13:40Z)
• SecoustiCodec: Cross-Modal Aligned Streaming Single-Codecbook Speech Codec [83.61175662066364]
  音声コーデックは、音声とテキスト言語モデルを統一するための重要なブリッジとして機能する。 既存の手法はセマンティックエンコーディングにおいていくつかの課題に直面している。 本稿では,クロスモーダルな低ビットレートストリーミング音声コーデックSecoustiCodecを提案する。
  論文  参考訳（メタデータ） (2025-08-04T19:22:14Z)
• FluentEditor2: Text-based Speech Editing by Modeling Multi-Scale Acoustic and Prosody Consistency [40.95700389032375]
  テキストベースの音声編集(TSE)により、ユーザーは元の録音を変更することなく、対応するテキストを直接修正して音声を編集できる。 現在のTSE技術は、学習中に生成された音声と編集領域における参照の相違を最小限に抑えることに焦点を当てていることが多い。 従来のtextitFluentEditor モデルである textittextbfFluentEditor2 をベースとした新しい流速音声編集手法を提案する。
  論文  参考訳（メタデータ） (2024-09-28T10:18:35Z)
• A Non-autoregressive Generation Framework for End-to-End Simultaneous Speech-to-Speech Translation [48.84039953531355]
  同時音声翻訳のための新しい非自己回帰生成フレームワーク(NAST-S2X)を提案する。 NAST-S2Xは、音声テキストと音声音声タスクを統合エンドツーエンドフレームワークに統合する。 3秒未満の遅延で高品質な同時解釈を実現し、オフライン生成において28倍のデコードスピードアップを提供する。
  論文  参考訳（メタデータ） (2024-06-11T04:25:48Z)
• FluentEditor: Text-based Speech Editing by Considering Acoustic and Prosody Consistency [44.7425844190807]
  テキストベースの音声編集(TSE)技術は、ユーザが音声自体の代わりに入力テキストの書き起こしを変更することで出力オーディオを編集できるように設計されている。 本稿では,TSE訓練における流速を考慮した訓練基準を考慮し,流速音声編集モデルであるtextitFluentEditorを提案する。 VCTKの主観的および客観的な実験結果から,本論文のテキストFluentEditorは,自然性や流布性の観点から,すべての高度なベースラインを上回ります。
  論文  参考訳（メタデータ） (2023-09-21T01:58:01Z)
• token2vec: A Joint Self-Supervised Pre-training Framework Using Unpaired Speech and Text [65.04385919645395]
  token2vecは、音声の離散表現に基づく、未ペア音声とテキストのための新しい事前学習フレームワークである。 実験の結果、 token2vec は様々な音声のみの事前学習ベースラインよりも大幅に優れており、WER の相対的な減少率は17.7%である。
  論文  参考訳（メタデータ） (2022-10-30T06:38:19Z)
• CampNet: Context-Aware Mask Prediction for End-to-End Text-Based Speech Editing [67.96138567288197]
  本稿では,コンテキスト認識型マスク予測ネットワーク(CampNet)と呼ばれる,エンドツーエンドのテキストベースの音声編集手法を提案する。 モデルは、音声の一部をランダムにマスキングしてテキストベースの音声編集プロセスをシミュレートし、音声コンテキストを感知してマスキング領域を予測する。 編集された領域における不自然な韻律を解き、テキスト中の不明瞭な単語に対応する音声を合成することができる。
  論文  参考訳（メタデータ） (2022-02-21T02:05:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。