Fugu-MT 論文翻訳(概要): AST: Adaptive, Seamless, and Training-Free Precise Speech Editing

論文の概要: AST: Adaptive, Seamless, and Training-Free Precise Speech Editing

arxiv url: http://arxiv.org/abs/2604.16056v1
Date: Fri, 17 Apr 2026 13:30:59 GMT
ステータス: 翻訳完了
システム内更新日: 2026-04-20 22:00:19.934669
Title: AST: Adaptive, Seamless, and Training-Free Precise Speech Editing
Title（参考訳）: AST: 適応的で、シームレスで、トレーニングなしの精密音声編集
Authors: Sihan Lv, Yechen Jin, Zhen Li, Jintao Chen, Jinshan Zhang, Ying Li, Jianwei Yin, Meng Xi,
Abstract要約: ASTはAdaptive, Seamless, and Trainingなしの正確な音声編集フレームワークである。 ASTはワードエラー率を70%近く削減し,一貫性を向上させることを示す。基礎的TSモデルにASTを適用すると、WDTWは27%減少し、最先端の話者保存と時間的忠実度を達成する。
参考スコア（独自算出の注目度）: 28.699272599440032
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Text-based speech editing aims to modify specific segments while preserving speaker identity and acoustic context. Existing methods rely on task-specific training, which incurs high data costs and struggles with temporal fidelity in unedited regions. Meanwhile, adapting Text-to-Speech (TTS) models often faces a trade-off between editing quality and consistency. To address these issues, we propose AST, an Adaptive, Seamless, and Training-free precise speech editing framework. Leveraging a pre-trained autoregressive TTS model, AST introduces Latent Recomposition to selectively stitch preserved source segments with newly synthesized targets. Furthermore, AST extends this latent manipulation to enable precise style editing for specific speech segments. To prevent artifacts at these edit boundaries, the framework incorporates Adaptive Weak Fact Guidance (AWFG). AWFG dynamically modulates a mel-space guidance signal, enforcing structural constraints only where necessary without disrupting the generative manifold. To fill the gap of publicly accessible benchmarks, we introduce LibriSpeech-Edit, a new and larger speech editing dataset. As existing metrics poorly evaluate temporal consistency in unedited regions, we propose Word-level Dynamic Time Warping (WDTW). Extensive experiments demonstrate that AST resolves the controllability-quality trade-off without extra training. Compared to the previous most temporally consistent baseline, AST improves consistency while reducing Word Error Rate by nearly 70%. Moreover, applying AST to a foundation TTS model reduces WDTW by 27%, achieving state-of-the-art speaker preservation and temporal fidelity.
Abstract（参考訳）: テキストベースの音声編集は、話者のアイデンティティと音響的コンテキストを保ちながら、特定のセグメントを変更することを目的としている。既存の方法はタスク固有のトレーニングに依存しており、データコストが高くなり、未処理領域の時間的忠実さに苦しむ。一方、Text-to-Speech(TTS)モデルの適用は、編集品質と一貫性のトレードオフに直面していることが多い。これらの問題に対処するため,適応型,Seamless およびトレーニング不要な正確な音声編集フレームワーク AST を提案する。 ASTは、事前訓練された自己回帰的TSモデルを利用して、新しく合成されたターゲットで保存されたソースセグメントを選択的に縫合する遅延分解を導入する。さらに、ASTはこの潜時操作を拡張して、特定の音声セグメントの正確なスタイル編集を可能にする。これらの編集境界におけるアーティファクトを防止するため、フレームワークにはAdaptive Weak Fact Guidance (AWFG)が組み込まれている。 AWFGはメリースペース誘導信号を動的に変調し、生成多様体を乱すことなく必要であれば構造的制約を強制する。一般にアクセス可能なベンチマークのギャップを埋めるために、新しいより大きな音声編集データセットであるLibriSpeech-Editを導入する。既存のメトリクスは未編集領域における時間的一貫性を低く評価するため、ワードレベルの動的時間ワープ(WDTW)を提案する。広範囲にわたる実験は、ASTが余分な訓練なしでコントロール可能性品質のトレードオフを解消することを示した。これまでで最も時間的に一貫性のあるベースラインと比較すると、ASTはWordエラー率を70%近く削減しながら一貫性を改善している。さらに,基礎的TSモデルにASTを適用することでWDTWを27%削減し,最先端の話者保存と時間的忠実度を実現する。

関連論文リスト

Temporal Contrastive Decoding: A Training-Free Method for Large Audio-Language Models [56.91801348360746]
大規模な音声言語モデル(LALM)は、音声、音声、音楽にまたがって一般化される。統一デコーダは時空間のスムーズなバイアスを示します LALMの学習自由復号法であるemphTemporal Contrastive Decoding (TCD)を提案する。
論文参考訳（メタデータ） (2026-04-16T02:30:41Z)
Bootstrapping Video Semantic Segmentation Model via Distillation-assisted Test-Time Adaptation [58.40817037271021]
DiTTA(Distillation-assisted Test-Time Adaptation)は、ISSモデルをアノテーション付きビデオなしで時間的に認識されたVSSモデルに変換する新しいフレームワークである。完全教師付きVSS法と比較して,DITTAの有効性を示す。
論文参考訳（メタデータ） (2026-04-13T03:47:08Z)
Adaptive Duration Model for Text Speech Alignment [2.594813802197567]
音声からテキストへのアライメントは、ニューラルテキストから音声へのアライメント(TTS)モデルの重要な構成要素である。そこで本研究では,音素レベルの持続時間分布を与えられたテキストで予測できる新しい持続時間予測フレームワークを提案する。
論文参考訳（メタデータ） (2025-07-30T12:31:11Z)
Orthogonal Projection Subspace to Aggregate Online Prior-knowledge for Continual Test-time Adaptation [67.80294336559574]
連続テスト時間適応(CTTA)は、新しいシナリオに継続的に適応するために、ソース事前訓練されたモデルを必要とするタスクである。我々は、OoPkと呼ばれるオンライン事前知識を集約する新しいパイプラインOrthogonal Projection Subspaceを提案する。
論文参考訳（メタデータ） (2025-06-23T18:17:39Z)
Counterfactual Activation Editing for Post-hoc Prosody and Mispronunciation Correction in TTS Models [19.852233854729235]
既存の韻律操作のアプローチは、しばしば特別なモジュールや追加の訓練に依存し、ポストホック調整の能力を制限する。本稿では,韻律と発音のポストホック制御を実現するために,事前学習されたTSモデルの内部表現を操作するモデル非依存の手法であるCounterfactual Activation Editingを紹介する。実験の結果,提案手法は韻律的特徴を効果的に調整し,合成品質を保ちながら誤認識を補正することがわかった。
論文参考訳（メタデータ） (2025-06-01T04:33:37Z)
MegaTTS 3: Sparse Alignment Enhanced Latent Diffusion Transformer for Zero-Shot Speech Synthesis [56.25862714128288]
本稿では,イノベーティブなスパースアライメントアルゴリズムを備えたゼロショット音声合成(TTS)システムであるtextitMegaTTS 3を提案する。具体的には,検索空間を制限せずにアライメントの困難さを軽減するために,MegaTTS 3にスパースアライメント境界を提供する。実験により、MegaTTS 3は最先端のゼロショットTTS音声品質を実現し、アクセント強度を柔軟に制御できることが示されている。
論文参考訳（メタデータ） (2025-02-26T08:22:00Z)
FluentEditor2: Text-based Speech Editing by Modeling Multi-Scale Acoustic and Prosody Consistency [40.95700389032375]
テキストベースの音声編集(TSE)により、ユーザーは元の録音を変更することなく、対応するテキストを直接修正して音声を編集できる。現在のTSE技術は、学習中に生成された音声と編集領域における参照の相違を最小限に抑えることに焦点を当てていることが多い。従来のtextitFluentEditor モデルである textittextbfFluentEditor2 をベースとした新しい流速音声編集手法を提案する。
論文参考訳（メタデータ） (2024-09-28T10:18:35Z)
DiffEditor: Enhancing Speech Editing with Semantic Enrichment and Acoustic Consistency [20.3466261946094]
我々は,OODテキストシナリオの性能向上を目的とした新しい音声編集モデルであるDiffEditorを紹介する。事前学習した言語モデルから抽出した単語埋め込みを統合することで,音素埋め込みの意味情報を豊かにする。本稿では、編集境界におけるスムーズな遷移を促進し、編集された音声の全体的な流速を高めるための1次損失関数を提案する。
論文参考訳（メタデータ） (2024-09-19T07:11:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。