論文の概要: SEmoEdit: Probing and Harnessing the Editability of Pre-trained Speech Flows

• arxiv url: http://arxiv.org/abs/2609.34648v1
• Date: Mon, 28 Sep 2026 08:56:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 11:36:14.986229
• Title: SEmoEdit: Probing and Harnessing the Editability of Pre-trained Speech Flows
• Title（参考訳）: SEMOEdit:事前学習した音声の編集可能性の検証とハーネス化
• Abstract要約: 既存の訓練ベースの音声感情編集手法は、しばしばタスク固有の訓練を必要とし、不安定である。 ソースとターゲットの感情間の動的速度伝達として感情編集を定式化する,最初のトレーニング不要のフレームワークであるSEmoEditを提案する。 以上の結果から,SEmoEditは既存のトレーニングベースおよびアクティベーション・ステアリング法よりも効果的であり,広く適用可能であることが示唆された。
• 参考スコア（独自算出の注目度）: 25.627358606465524
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Existing training-based speech emotion editing methods often require substantial task-specific training and can be unstable. This motivates us to investigate whether the pretrained generative dynamics of large-scale text-to-speech (TTS) models can be directly manipulated for training-free emotion editing. To answer this question, we probe the editability of pretrained flow-matching and hybrid TTS models by constructing a controlled test set and systematically diagnosing editing effects along the generative trajectory. Our analysis reveals that pretrained TTS models are substantially editable in emotion, but such editability is architecture- and trajectory-dependent and can be disrupted by early flow-matching steps, while cross-speaker emotion transport carries additional acoustic attributes beyond emotion. To address these limitations, we propose SEmoEdit, the first training-free framework that formulates emotion editing as dynamic velocity transport between source and target emotions, enabling robust, flow-based speech emotion editing directly within pretrained TTS models. SEmoEdit unifies three core operations: emotion replacement, emotion erasure, and continuous emotion interpolation, requiring neither parameter updates nor task-specific optimization. To systematically evaluate these capabilities, we introduce SEmoEditBench, a dataset comprising 600 editing cases, and conduct extensive experiments across state-of-the-art (SOTA) models and backbones. Our results show that SEmoEdit is highly effective and broadly applicable, outperforming existing training-based and activation-steering methods. Ultimately, this work reveals that pretrained speech flows possess rich, latent emotion-editing capabilities, providing useful guidance for real applications. Code, benchmark, and Audio samples are available at https://github.com/imxtx/SEmoEdit.
• Abstract（参考訳）: 既存の訓練ベースの音声感情編集手法は、しばしばタスク固有の訓練を必要とし、不安定である。 これにより、大規模テキスト音声(TTS)モデルの事前学習された生成ダイナミクスを、トレーニング不要な感情編集のために直接操作できるかどうかを調査する動機付けとなる。 そこで本研究では,制御されたテストセットを構築し,生成軌道に沿った編集効果を系統的に診断することにより,事前学習したフローマッチングモデルとハイブリッドTSモデルの編集可能性について検討する。 我々の分析では、事前学習されたTSモデルは感情において実質的に編集可能であるが、そのような編集性はアーキテクチャに依存しており、初期のフローマッチングのステップによって破壊されうる。 これらの制約に対処するため、SEmoEditは、ソースとターゲットの感情間の動的速度伝達として感情編集を定式化する最初のトレーニング不要のフレームワークであり、事前訓練されたTSモデル内で、堅牢でフローベースの音声感情編集を可能にする。 SEmoEditは、感情の置き換え、感情の消去、継続的な感情補間という3つのコア操作を統合する。 これらの機能を体系的に評価するために、600の編集ケースからなるデータセットであるSEmoEditBenchを導入し、最先端(SOTA)モデルとバックボーンにわたる広範な実験を行う。 以上の結果から,SEmoEditは既存のトレーニングベースおよびアクティベーション・ステアリング法よりも効果的であり,広く適用可能であることが示唆された。 最終的に、この研究は、事前学習された音声フローがリッチで潜伏した感情編集能力を持ち、実際のアプリケーションに有用なガイダンスを提供することを明らかにした。 コード、ベンチマーク、オーディオサンプルはhttps://github.com/imxtx/SEmoEdit.comで入手できる。

関連論文リスト

• Self-EmoQ: Plutchik-Guided Value-based Planning to Drive Streaming Emotional TTS [10.459312281626728]
  現在のシステムは、ストリーミングテキスト音声合成(TTS)を駆動する自己感情決定機構が欠如している。 本稿では,テキスト生成に先立って感情を決定するための感情計画フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-04-21T06:50:53Z)
• SAMA: Factorized Semantic Anchoring and Motion Alignment for Instruction-Guided Video Editing [76.349958946335]
  本稿では,映像編集をセマンティックアンカーとモーションモデリングに分解するフレームワークであるSAMA(factorized Semantic Anchoring and Motion Alignment)を提案する。 まずセマンティックアンカリング(Semantic Anchoring)を導入し、スパースアンカフレームでのセマンティックトークンとビデオ潜在者を共同で予測することで、信頼性の高い視覚アンカを確立する。 第2に、モーションアライメントは同じバックボーンをモーション中心のビデオ復元のプリテキストタスクで事前トレーニングする。
  論文  参考訳（メタデータ） (2026-03-19T17:59:51Z)
• Versatile Editing of Video Content, Actions, and Dynamics without Training [57.167192591765456]
  我々はDynaEditを紹介した。DynaEditは、事前訓練されたテキスト・ツー・ビデオ・フローモデルを用いて、多目的なビデオ編集機能を解放する訓練不要の編集方法である。 そこで,DynaEditは複雑なテキストベースのビデオ編集タスクにおいて,アクションの変更,シーンと対話するオブジェクトの挿入,グローバルな効果の導入など,最先端の成果を達成していることを示す。
  論文  参考訳（メタデータ） (2026-03-18T17:50:56Z)
• MotionEdit: Benchmarking and Learning Motion-Centric Image Editing [81.28392925790568]
  動き中心の画像編集のための新しいデータセットであるMotionEditを紹介する。 MotionEditは、連続ビデオから抽出されたリアルな動き変換を描写した高忠実な画像ペアを提供する。 本研究では,入力画像とモデル編集画像間の動きの流れが地中動とどのように一致しているかに基づいて,動きアライメントの報酬を計算するためにMotionNFTを提案する。
  論文  参考訳（メタデータ） (2025-12-11T04:53:58Z)
• O-DisCo-Edit: Object Distortion Control for Unified Realistic Video Editing [88.93410369258203]
  O-DisCo-Editは、新しいオブジェクト歪み制御(O-DisCo)を組み込んだ統合フレームワークである この信号はランダムノイズと適応ノイズに基づいて、単一の表現内に幅広い編集キューを柔軟にカプセル化する。 O-DisCo-Editは、効果的なトレーニングパラダイムによる効率的な高忠実な編集を可能にする。
  論文  参考訳（メタデータ） (2025-09-01T16:29:39Z)
• EmoCAST: Emotional Talking Portrait via Emotive Text Description [56.42674612728354]
  EmoCASTは、正確なテキスト駆動感情合成のための拡散ベースのフレームワークである。 外観モデリングでは、感情的なプロンプトはテキスト誘導の分離された感情的モジュールを通して統合される。 EmoCASTは、現実的で感情的に表現され、音声同期されたトーキーヘッドビデオを生成する、最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2025-08-28T10:02:06Z)
• EmoSteer-TTS: Fine-Grained and Training-Free Emotion-Controllable Text-to-Speech via Activation Steering [40.298056212942726]
  EmoSteer-TTSは、きめ細かい音声感情制御を実現するための、新しい訓練不要のアプローチである。 EmoSteer-TTSは、音声感情のきめ細かな、解釈可能な、連続的な制御を可能にし、最先端(SOTA)よりも優れている
  論文  参考訳（メタデータ） (2025-08-05T15:12:49Z)
• Towards Emotionally Consistent Text-Based Speech Editing: Introducing EmoCorrector and The ECD-TSE Dataset [52.95197015472105]
  EmoCorrectorはテキストベースの音声編集のための新しいポスト補正方式である。 編集されたテキストの感情的特徴を検索し、一致する感情で音声サンプルを検索し、所望の感情に合わせて音声を合成する。 EmoCorrectorは、現在のTSEメソッドにおける感情の不整合に対処しながら、意図した感情の発現を著しく向上させる。
  論文  参考訳（メタデータ） (2025-05-24T16:10:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。