論文の概要: UniSAE: Unified Speech Attribute Editing on Speaker, Emotion and Low-Level Content via Discrete Phonetic Posteriorgram Modelling

• arxiv url: http://arxiv.org/abs/2606.31128v1
• Date: Tue, 30 Jun 2026 04:46:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-01 18:27:19.075212
• Title: UniSAE: Unified Speech Attribute Editing on Speaker, Emotion and Low-Level Content via Discrete Phonetic Posteriorgram Modelling
• Title（参考訳）: UniSAE:離散音声後表モデルによる話者・感情・低レベルコンテンツ編集のための統一音声属性
• Abstract要約: 音声編集は、残音声を保存しながら、発話の特定の部分を変更することを目的としている。 サブ音素から単語レベルまでの構成可能な話者・感情・コンテンツ編集をサポートする統一音声属性編集フレームワークUniSAEを提案する。 実験により,提案した統合フレームワークは,正確な話者と感情の制御,複数の粒度でのコンテンツ編集,一つのフレームワーク内での3つの属性の共用化をサポートすることが示された。
• 参考スコア（独自算出の注目度）: 31.829301124201226
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Speech editing aims to modify specific portions of an utterance while preserving the remaining speech. Existing approaches primarily focus on word-level content modification and typically treat content, speaker, and emotion editing as separate tasks, limiting both editing granularity and flexibility. We propose UniSAE, a unified speech attribute editing framework which supports composable speaker, emotion and content editing from sub-phoneme to word level within a single architecture. UniSAE introduces a Discrete Phonetic PosteriorGram (DPPG) representation that factorizes speech content into discrete tokens encoding phoneme identity, pronunciation variants, and duration, enabling direct phoneme- and sub-phoneme-level editing. For higher-level modifications, an autoregressive content transformer predicts edited DPPG sequences for word-level content editing. The edited sequences are rendered into speech by a diffusion-based acoustic decoder, conditioned on disentangled speaker and emotion representations. Experimental results demonstrate that the proposed unified framework supports precise speaker and emotion control, content editing at multiple granularities, and joint modification of all three attributes within a single framework.
• Abstract（参考訳）: 音声編集は、残音声を保存しながら、発話の特定の部分を変更することを目的としている。 既存のアプローチは、主に単語レベルのコンテンツ修正に焦点を当て、通常、コンテンツ、話者、感情の編集を別々のタスクとして扱い、粒度と柔軟性の両方を制限している。 サブ音素から単語レベルまでの構成可能な話者・感情・コンテンツ編集をサポートする統一音声属性編集フレームワークUniSAEを提案する。 UniSAEは、音声コンテンツを音素の同一性、発音の変種、継続期間をコードする離散トークンに分解し、直接音素とサブ音素レベルの編集を可能にするDPPG(Disdisrete Phonetic PosteriorGram)表現を導入している。 高レベルな修正のために、自動回帰コンテンツ変換器は、単語レベルのコンテンツ編集のために、DPPGの編集シーケンスを予測する。 編集されたシーケンスは拡散に基づく音響デコーダによって音声に変換され、不整合話者と感情表現に条件付けされる。 実験により,提案した統合フレームワークは,正確な話者と感情の制御,複数の粒度でのコンテンツ編集,一つのフレームワーク内での3つの属性の共用化をサポートすることが示された。

関連論文リスト

• Multi Codec Discrete Diffusion Model for Text Guided Speech Inpainting and Editing [10.49533454106105]
  音声の塗装は欠落したセグメントを復元する一方、音声編集は編集されたテキストに従って音声コンテンツを置換する。 SIEDDは、階層的トークン上でのテキスト誘導音声の描画と編集のための離散拡散フレームワークである。 RealEdit のベンチマークでは,SIEDD が評価手法の中で最高の音声編集性能を達成している。
  論文  参考訳（メタデータ） (2026-08-05T18:57:34Z)
• dots.tts.edit: Precisely Controlled Speech Editing with a Continuous Autoregressive Model [25.837532849844436]
  本稿では,XMLスタイルのタグを用いた音声編集のための,正確で明示的なインタフェースについて検討する。 インターフェイスをdots$.$tts$.$editでインスタンス化する。 バイリンガル評価スイートであるdoteBenchについても紹介する。
  論文  参考訳（メタデータ） (2026-08-02T15:03:37Z)
• Language-Guided Joint Audio-Visual Editing via One-Shot Adaptation [56.92841782969847]
  言語誘導型共同視覚編集という新しいタスクを導入する。 この課題は、音声と映像のペアが与えられたとき、言語指導に基づいて与えられた音質イベントを編集することにより、新たな音声・視覚コンテンツを生成することである。 共同音声・視覚編集のための拡散型フレームワークを提案し,2つの重要なアイデアを紹介した。
  論文  参考訳（メタデータ） (2024-10-09T22:02:30Z)
• FluentEditor2: Text-based Speech Editing by Modeling Multi-Scale Acoustic and Prosody Consistency [40.95700389032375]
  テキストベースの音声編集(TSE)により、ユーザーは元の録音を変更することなく、対応するテキストを直接修正して音声を編集できる。 現在のTSE技術は、学習中に生成された音声と編集領域における参照の相違を最小限に抑えることに焦点を当てていることが多い。 従来のtextitFluentEditor モデルである textittextbfFluentEditor2 をベースとした新しい流速音声編集手法を提案する。
  論文  参考訳（メタデータ） (2024-09-28T10:18:35Z)
• DiffEditor: Enhancing Speech Editing with Semantic Enrichment and Acoustic Consistency [20.3466261946094]
  我々は,OODテキストシナリオの性能向上を目的とした新しい音声編集モデルであるDiffEditorを紹介する。 事前学習した言語モデルから抽出した単語埋め込みを統合することで,音素埋め込みの意味情報を豊かにする。 本稿では、編集境界におけるスムーズな遷移を促進し、編集された音声の全体的な流速を高めるための1次損失関数を提案する。
  論文  参考訳（メタデータ） (2024-09-19T07:11:54Z)
• Voice Attribute Editing with Text Prompt [48.48628304530097]
  本稿では,テキストプロンプトを用いた音声属性編集という新しい課題を紹介する。 目標は、テキストプロンプトに記述された動作に応じて、音声属性を相対的に修正することである。 この課題を解決するために,エンドツーエンド生成モデルであるVoxEditorを提案する。
  論文  参考訳（メタデータ） (2024-04-13T00:07:40Z)
• VoiceShop: A Unified Speech-to-Speech Framework for Identity-Preserving Zero-Shot Voice Editing [20.446399170808682]
  本稿では,新しい音声合成フレームワークであるVoiceShopを紹介する。 年齢、性別、アクセント、音声スタイルなど、音声の複数の属性を、1つの前方通過で変更することができる。 変換効果の大きさは弱く、分布外話者にはゼロショット能力がない、あるいは合成された出力は望ましくない音色漏れを示す。
  論文  参考訳（メタデータ） (2024-04-10T01:33:08Z)
• FluentEditor: Text-based Speech Editing by Considering Acoustic and Prosody Consistency [44.7425844190807]
  テキストベースの音声編集(TSE)技術は、ユーザが音声自体の代わりに入力テキストの書き起こしを変更することで出力オーディオを編集できるように設計されている。 本稿では,TSE訓練における流速を考慮した訓練基準を考慮し,流速音声編集モデルであるtextitFluentEditorを提案する。 VCTKの主観的および客観的な実験結果から,本論文のテキストFluentEditorは,自然性や流布性の観点から,すべての高度なベースラインを上回ります。
  論文  参考訳（メタデータ） (2023-09-21T01:58:01Z)
• Emotion Selectable End-to-End Text-based Speech Editing [63.346825713704625]
  Emo-CampNet (Emotion CampNet) は感情選択可能なテキストベースの音声編集モデルである。 テキストベースの音声編集において、生成した音声の感情を効果的に制御することができる。 未知の話者のスピーチを編集することもできる。
  論文  参考訳（メタデータ） (2022-12-20T12:02:40Z)
• SpeechLM: Enhanced Speech Pre-Training with Unpaired Textual Data [100.46303484627045]
  本稿では,事前定義した統一表現と音声とテキストの事前学習を協調させるクロスモーダル音声言語モデル(SpeechLM)を提案する。 具体的には、音声とテキストのモダリティをブリッジするために、2つの別の離散トークン化器を導入する。 音声認識, 音声翻訳, ユニバーサル表現評価フレームワーク SUPERB など, 様々な音声言語処理タスクにおける音声LM の評価を行った。
  論文  参考訳（メタデータ） (2022-09-30T09:12:10Z)
• Textless Speech Emotion Conversion using Decomposed and Discrete Representations [49.55101900501656]
  我々は、音声を、コンテンツ単位、F0、話者、感情からなる離散的、非絡み合いの学習表現に分解する。 まず、内容単位を対象の感情に翻訳し、その単位に基づいて韻律的特徴を予測することによって、音声内容を変更する。 最後に、予測された表現をニューラルボコーダに入力して音声波形を生成する。
  論文  参考訳（メタデータ） (2021-11-14T18:16:42Z)
• Bridging the Modality Gap for Speech-to-Text Translation [57.47099674461832]
  エンド・ツー・エンドの音声翻訳は、ある言語における音声を、エンド・ツー・エンドの方法で他の言語におけるテキストに変換することを目的としている。 既存のほとんどの手法では、音響表現と意味情報を同時に学習するために、単一のエンコーダを持つエンコーダ・デコーダ構造を用いる。 本稿では,音声とテキスト間のモダリティギャップを埋めることで,エンドツーエンドのモデル性能を向上させることを目的とした音声翻訳モデルのための音声テキスト適応手法を提案する。
  論文  参考訳（メタデータ） (2020-10-28T12:33:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。