論文の概要: FreeSonic: Training-Free Temporal-Aware Decoupled Attention for Precise Audio Editing
- arxiv url: http://arxiv.org/abs/2606.15186v1
- Date: Sat, 13 Jun 2026 08:22:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-16 16:21:33.042825
- Title: FreeSonic: Training-Free Temporal-Aware Decoupled Attention for Precise Audio Editing
- Title（参考訳）: FreeSonic: 正確なオーディオ編集のためのトレーニング不要のテンポラル・アウェアの非結合アテンション
- Authors: Yuxuan Jiang, Mingyang Han, Yusheng Dai, Andong Wang, Tianhong Zhou, Jiaxin Ye, Dongxiao Wang, Haoxiang Shi, Boyu Li, Jun Song, Cheng Yu, Bo Zheng, Weibei Dou, Zehua Chen, Jun Zhu,
- Abstract要約: FreeSonicは、最先端のRectified FlowベースのTangoFluxモデルを活用した、トレーニング不要のフレームワークである。
FreeSonicは、正確で一貫したオーディオ編集のための高忠実で効率的なソリューションを提供することで、優れたバランスを実現することを実証した。
- 参考スコア（独自算出の注目度）: 39.04954541799759
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Text-to-audio (TTA) generation has made significant strides, yet achieving precise and consistent audio editing remains a major challenge. However, existing methods struggle to balance temporal consistency with background preservation. In this paper, we propose FreeSonic, a training-free framework leveraging the state-of-the-art Rectified Flow-based TangoFlux model. FreeSonic utilizes an optimized inversion-reverse process and joint text-audio attention maps for precise target segment extraction. For content editing, a novel scheduled attention decoupling confines modifications to target regions while preserving original acoustic context. Furthermore, task-oriented noise injection enhances versatility for tasks such as audio removal and non-rigid replacement. Extensive experimental results demonstrate that FreeSonic achieves a superior balance by providing a high-fidelity and efficient solution for precise and consistent audio editing. Project and demos: https://free-sonic.github.io/
- Abstract（参考訳）: テキスト・トゥ・オーディオ(TTA)生成は大きな進歩を遂げているが、正確で一貫したオーディオ編集を実現することは大きな課題である。
しかし,既存の手法では時間的一貫性と背景保存のバランスがとれない。
本稿では,最先端のRectified FlowベースのTangoFluxモデルを活用したトレーニングフリーフレームワークであるFreeSonicを提案する。
FreeSonicは、最適化された反転逆プロセスと共同テキストオーディオアテンションマップを使用して、正確なターゲットセグメント抽出を行う。
コンテンツ編集において、新しいアテンションデカップリングは、本来の音響コンテキストを保ちながら、ターゲット領域への変更を限定する。
さらに、タスク指向ノイズインジェクションは、音声除去や非剛性置換といったタスクの汎用性を高める。
広汎な実験結果から,高精度で一貫したオーディオ編集のための高忠実かつ効率的なソリューションを提供することにより,FreeSonicは優れたバランスを実現することが示された。
プロジェクトとデモ:https://free-sonic.github.io/
関連論文リスト
- DiscoForcing: A Unified Framework for Real-Time Audio-Driven Character Control with Diffusion Forcing [27.626489251186968]
ストリーミングオーディオ駆動拡散フレームワークであるDiscoForcingを紹介する。
不均一ノイズレベル下で訓練された拡散強制シーケンスモデルを用いて、リズミカル構造と位相ダイナミクスをキャプチャする。
因果関係や遅延制約にマッチしたベースラインよりも、より安定したロングホライゾンロールアウトとオーディオモーションアライメントを提供する。
論文 参考訳（メタデータ） (2026-05-27T13:47:40Z) - Sound Sparks Motion: Audio and Text Tuning for Video Editing [53.136757756110626]
本研究では、オーディオ映像生成モデルにおけるモーション編集を可能にする、トレーニング不要のフレームワークであるSound Sparks Motionを紹介する。
Sound Sparks Motionはテスト時に内部のマルチモーダルコンディショニング信号を調整します。
この結果から,マルチモーダル・コンディショニング・チューニングをモーション対応ビデオ編集の有望な方向として強調した。
論文 参考訳（メタデータ） (2026-05-14T18:20:50Z) - Temporal Contrastive Decoding: A Training-Free Method for Large Audio-Language Models [56.91801348360746]
大規模な音声言語モデル(LALM)は、音声、音声、音楽にまたがって一般化される。
統一デコーダは 時空間のスムーズなバイアスを示します
LALMの学習自由復号法であるemphTemporal Contrastive Decoding (TCD)を提案する。
論文 参考訳（メタデータ） (2026-04-16T02:30:41Z) - Beyond Transcription: Unified Audio Schema for Perception-Aware AudioLLMs [53.41256816230278]
最近のオーディオ大言語モデル(AudioLLMs)は、顕著な性能逆転を示す。
複雑な推論タスクには優れるが、音の微妙な知覚では一貫して性能が劣る。
音声情報を3つの明示的な構成要素に整理する総合的かつ構造化された監視フレームワークであるUnified Audio (UAS)を提案する。
論文 参考訳（メタデータ） (2026-04-14T09:30:12Z) - RFM-Editing: Rectified Flow Matching for Text-guided Audio Editing [21.479883699581308]
そこで本研究では,音声編集のための効率のよいフロー整合型拡散フレームワークを提案する。
実験の結果,補助的なキャプションやマスクを必要とせず,忠実なセマンティックアライメントを実現することができた。
論文 参考訳（メタデータ） (2025-09-17T14:13:40Z) - Zero-Shot Audio-Visual Editing via Cross-Modal Delta Denoising [114.39028517171236]
そこで我々は,ゼロショット音声映像編集を導入し,新たなモデルトレーニングを必要とせず,特定のテキストプロンプトに合わせるために,オリジナル音声映像コンテンツを変換する新しいタスクを提案する。
この課題を評価するために、ゼロショットオーディオビデオ編集用に明示的に設計されたベンチマークデータセットAvED-Benchをキュレートする。
AvEDは、AvED-Benchと最近のOAVEデータセットの両方で優れた結果を示し、その一般化能力を検証する。
論文 参考訳（メタデータ） (2025-03-26T17:59:04Z) - VALL-E R: Robust and Efficient Zero-Shot Text-to-Speech Synthesis via Monotonic Alignment [101.2489492032816]
VALL-E Rは、堅牢で効率的なゼロショットテキスト音声合成システムである。
この研究は、失語症に罹患した人々のためのスピーチの作成を含む有意義なプロジェクトに適用される可能性がある。
論文 参考訳（メタデータ） (2024-06-12T04:09:44Z) - Unifying Speech Enhancement and Separation with Gradient Modulation for
End-to-End Noise-Robust Speech Separation [23.758202121043805]
本稿では,音声の強調と分離を勾配変調で統一し,ノイズ・ロバスト性を改善する新しいネットワークを提案する。
実験結果から,大規模Libri2Mix-およびLibri3Mix-noisyデータセットの最先端化が得られた。
論文 参考訳（メタデータ） (2023-02-22T03:54:50Z) - EdiTTS: Score-based Editing for Controllable Text-to-Speech [9.34612743192798]
EdiTTSは音声合成のためのスコアベース生成モデルに基づく市販音声編集手法である。
我々は、拡散モデルから所望の振る舞いを誘導するために、ガウス事前空間において粗大で故意に摂動を適用する。
リスニングテストは、EdiTTSがユーザの要求を満たす自然音を確実に生成できることを示した。
論文 参考訳（メタデータ） (2021-10-06T08:51:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。