論文の概要: AlignAudio: A Unified Dual-Alignment Framework for Noise-Robust Speech-Conditioned Generation

• arxiv url: http://arxiv.org/abs/2610.14697v1
• Date: Sat, 10 Oct 2026 08:15:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.09046
• Title: AlignAudio: A Unified Dual-Alignment Framework for Noise-Robust Speech-Conditioned Generation
• Title（参考訳）: AlignAudio:ノイズ・ロバスト音声合成のための統合デュアルアライメントフレームワーク
• Abstract要約: 音声条件付き生成モデルはクリーンな音響条件下で高い忠実度を達成するが、その性能は環境騒音下では著しく低下する。 両アライメントに基づくノイズロバスト生成フレームワークであるAlignAudioを提案する。 実験により、AlignAudioはクリーン音声のベースラインに匹敵する性能を維持しつつ、様々な雑音条件で性能を著しく上回っていることが示された。
• 参考スコア（独自算出の注目度）: 51.879180556030626
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Speech-conditioned generation maps speech signals to target audio outputs. Prior end-to-end speech-conditioned generative models achieve high fidelity in clean acoustic conditions, but their performance degrades substantially under environmental noise. While prior noise-robust approaches have achieved significant success in feature-level purification, maintaining consistent generation under clean and noisy conditioning remains a key challenge. To address this, we propose AlignAudio, a noise-robust generative framework based on dual alignment: (i) aligning the representations of clean and noisy speech to preserve semantic cues, and (ii) enforcing generation-level consistency within a flow matching paradigm to improve conditioning fidelity. Experiments on speech-to-audio (STA) and voice conversion (VC) tasks demonstrate that AlignAudio maintains performance comparable to baselines on clean speech while significantly outperforming them across various noisy conditions. Furthermore, the proposed dual-alignment strategy is applicable to both single- and multi-stream speech conditioning and can be integrated into different flow matching-based generation frameworks and post-training settings. Audio demonstrations and qualitative comparisons: \href{https://alignaudio.github.io/AlignAudio}{\textcolor{cyan}{\textit{https://alignaudio.github.io/AlignAudio}}}.
• Abstract（参考訳）: 音声条件付き生成は、音声信号をターゲット音声出力にマッピングする。 従来の音声条件生成モデルでは, クリーンな音響条件下では高い忠実度が得られるが, その性能は環境騒音下では著しく低下する。 従来のノイズロストアプローチは特徴レベルの浄化において大きな成功を収めてきたが、クリーンでノイズの多い条件下で一貫した生成を維持することは重要な課題である。 これを解決するために、両アライメントに基づくノイズロバスト生成フレームワークであるAlignAudioを提案する。 一 意味的手がかりを維持するために清潔で騒々しい音声の表現を調整すること、 (II)条件整合性を改善するため,フローマッチングパラダイム内で生成レベルの整合性を実現する。 音声合成(STA)および音声変換(VC)タスクの実験により、アリグアディオは清潔な音声のベースラインに匹敵する性能を維持しつつ、様々な雑音条件下でそれらを著しく上回っていることが示された。 さらに,提案手法は単一・複数ストリームの音声条件に適応し,異なるフローマッチングベースの生成フレームワークや後学習設定に組み込むことができる。 オーディオデモと定性比較: \href{https://alignaudio.github.io/AlignAudio}{\textcolor{cyan}{\textit{https://alignaudio.github.io/AlignAudio}}}

関連論文リスト

• Unison: Harmonizing Motion, Speech, and Sound for Human-Centric Audio-Video Generation [50.411841997631484]
  We present Unison, a unified framework that promote coherence across the motion, speech, and sound modalities。 We show that Unison achieves state-of-the-art performance in audio perceptual quality and cross-modal synchro。
  論文  参考訳（メタデータ） (2026-05-09T06:32:54Z)
• Talker-T2AV: Joint Talking Audio-Video Generation with Autoregressive Diffusion Modeling [59.97930201616015]
  本研究では,共有バックボーン内で高レベルなクロスモーダルモデリングを行う自己回帰拡散フレームワークであるTalker-T2AVを提案する。 共有自己回帰言語モデルは、統一されたパッチレベルのトークン空間において、オーディオとビデオに対して共同で原因となる。 ポートレートベンチマークの実験では、Talker-T2AVはリップシンク精度、ビデオ品質、オーディオ品質において、デュアルブランチベースラインを上回っている。
  論文  参考訳（メタデータ） (2026-04-26T07:48:47Z)
• ViSAudio: End-to-End Video-Driven Binaural Spatial Audio Generation [55.76423101183408]
  ViSAudioは、条件付きフローマッチングとデュアルブランチオーディオ生成アーキテクチャを利用するエンドツーエンドフレームワークである。 空間浸漬による高品質なオーディオを生成し、視点の変化、音源の動き、様々な音響環境に適応する。
  論文  参考訳（メタデータ） (2025-12-02T18:56:12Z)
• AdaptVC: High Quality Voice Conversion with Adaptive Learning [28.25726543043742]
  鍵となる課題は、ソースと音声スタイルから絡み合った言語コンテンツを抽出することである。 本稿では,アダプタを用いた自己教師型音声特徴の調整により,コンテンツと話者の特徴のアンタングル化を成功させる。 アダプタは、リッチな自己教師付き特徴からニュアンス特徴を動的に符号化するように訓練され、デコーダはそれらを融合して参照に正確に類似した音声を生成する。
  論文  参考訳（メタデータ） (2025-01-02T16:54:08Z)
• Robust Active Speaker Detection in Noisy Environments [29.785749048315616]
  雑音環境下での頑健なアクティブ話者検出(rASD)問題を定式化する。 既存のASDアプローチは、音声と視覚の両モードを利用するが、周囲の環境における非音声は、性能に悪影響を及ぼす可能性がある。 雑音のない音声特徴を学習するためのガイダンスとして,音声・視覚的音声分離を利用した新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-27T20:52:30Z)
• DDTSE: Discriminative Diffusion Model for Target Speech Extraction [62.422291953387955]
  ターゲット音声抽出(DDTSE)のための識別拡散モデルを提案する。 拡散モデルと同じ前方プロセスを適用し, 判別法と同様の復元損失を利用する。 モデルトレーニング中に推論過程をエミュレートするための2段階のトレーニング戦略を考案する。
  論文  参考訳（メタデータ） (2023-09-25T04:58:38Z)
• LA-VocE: Low-SNR Audio-visual Speech Enhancement using Neural Vocoders [53.30016986953206]
  雑音の多い音声・視覚音声からのメルスペクトルをトランスフォーマーベースアーキテクチャにより予測する2段階のアプローチであるLA-VocEを提案する。 我々は、何千もの話者と11以上の異なる言語でフレームワークを訓練し、評価し、異なるレベルのバックグラウンドノイズや音声干渉に適応するモデルの能力について研究する。
  論文  参考訳（メタデータ） (2022-11-20T15:27:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。