論文の概要: DiT-Flow: Speech Enhancement Robust to Multiple Distortions based on Flow Matching in Latent Space and Diffusion Transformers

• arxiv url: http://arxiv.org/abs/2603.21608v1
• Date: Mon, 23 Mar 2026 06:03:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-24 19:11:39.514165
• Title: DiT-Flow: Speech Enhancement Robust to Multiple Distortions based on Flow Matching in Latent Space and Diffusion Transformers
• Title（参考訳）: DiT-Flow:潜時空間と拡散変換器のフローマッチングに基づく複数歪みに対する音声強調ロバスト
• Authors: Tianyu Cao, Helin Wang, Ari Frummer, Yuval Sieradzki, Adi Arbel, Laureano Moro Velazquez, Jesus Villalba, Oren Gal, Thomas Thebaud, Najim Dehak,
• Abstract要約: DiT-Flowは、遅延拡散変換器(DiT)のバックボーン上に構築されたフローマッチングベースのSEフレームワークである。 DiT-Flowは、最先端のジェネレーティブSEモデルよりも一貫して優れていることを示す。
• 参考スコア（独自算出の注目度）: 22.00618863958246
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advances in generative models, such as diffusion and flow matching, have shown strong performance in audio tasks. However, speech enhancement (SE) models are typically trained on limited datasets and evaluated under narrow conditions, limiting real-world applicability. To address this, we propose DiT-Flow, a flow matching-based SE framework built on the latent Diffusion Transformer (DiT) backbone and trained for robustness across diverse distortions, including noise, reverberation, and compression. DiT-Flow operates on compact variational auto-encoders (VAEs)-derived latent features. We validated our approach on StillSonicSet, a synthetic yet acoustically realistic dataset composed of LibriSpeech, FSD50K, FMA, and 90 Matterport3D scenes. Experiments show that DiT-Flow consistently outperforms state-of-the-art generative SE models, demonstrating the effectiveness of flow matching in multi-condition speech enhancement. Despite ongoing efforts to expand synthetic data realism, a persistent bottleneck in SE is the inevitable mismatch between training and deployment conditions. By integrating LoRA with the MoE framework, we achieve both parameter-efficient and high-performance training for DiT-Flow robust to multiple distortions with using 4.9% percentage of the total parameters to obtain a better performance on five unseen distortions.
• Abstract（参考訳）: 拡散やフローマッチングなどの生成モデルの最近の進歩は、音声タスクにおいて強いパフォーマンスを示している。 しかし、音声強調(SE)モデルは通常、限られたデータセットで訓練され、狭い条件下で評価され、現実の応用性が制限される。 そこで本研究では,遅延拡散変換器(DiT)のバックボーン上に構築されたフローマッチングベースのSEフレームワークであるDiT-Flowを提案する。 DiT-Flowは、VAE(英語版)由来の小型変分自動エンコーダ(英語版) (VAE) で動作している。 我々は、LibriSpeech、FSD50K、FMA、90 Matterport3Dのシーンからなる合成かつ音響的に現実的なデータセットであるStillSonicSetのアプローチを検証した。 実験により,DiT-Flowは,多条件音声強調における流れマッチングの有効性を実証し,最先端のSEモデルより一貫して優れていることが示された。 合成データリアリズムを拡大するための継続的な努力にもかかわらず、SEの永続的なボトルネックは、トレーニングとデプロイメント条件の必然的なミスマッチである。 また,LoRAをMoEフレームワークに統合することにより,複数歪みに頑健なDiT-Flowのパラメータ効率と高性能トレーニングの両立を実現した。

関連論文リスト

• High-Performance Self-Supervised Learning by Joint Training of Flow Matching [1.8659515282266286]
  フローマッチングに基づく基礎モデル(FlowFM) FlowFMは拡散ベースのアプローチに比べてトレーニング時間を50.4%削減する。 ダウンストリームタスクでは、FlowFMが5つのデータセットすべてで最先端のSSLメソッド(SSL-Wearables)を上回った。
  論文  参考訳（メタデータ） (2025-12-17T06:35:03Z)
• MeanFlow-Accelerated Multimodal Video-to-Audio Synthesis via One-Step Generation [12.665130073406651]
  サイレントビデオから音声を合成する上で重要な課題は、合成品質と推論効率のトレードオフである。 平均速度を用いて流れ場を特徴付ける平均流加速モデルを提案する。 我々は,MeanFlowをネットワークに組み込むことで,知覚品質を損なうことなく推論速度を大幅に向上することを示した。
  論文  参考訳（メタデータ） (2025-09-08T07:15:21Z)
• Temporal In-Context Fine-Tuning for Versatile Control of Video Diffusion Models [34.131515004434846]
  我々は,事前学習した映像拡散モデルを条件付き生成タスクに適用するための効率的なアプローチであるTIC-FT(Temporal In-Context Fine-Tuning)を導入する。 TIC-FTはアーキテクチャの変更を必要とせず、10-30のトレーニングサンプルで高いパフォーマンスを実現している。 我々は,CagVideoX-5B や Wan-14B といった大規模ベースモデルを用いて,映像映像生成や映像映像生成など,様々なタスクにまたがる手法を検証する。
  論文  参考訳（メタデータ） (2025-06-01T12:57:43Z)
• Communication-Efficient Wireless Federated Fine-Tuning for Large-Scale AI Models [13.742950928229078]
  Low-Rank Adaptation (LoRA) は、完全に微調整された大型モデルではなく、コンパクトで低ランクな行列を訓練することでこれらの問題に対処する。 本稿では,学習性能と通信効率の両方を最適化する無線フェデレーションLoRAファインチューニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-01T06:15:38Z)
• One-Step Diffusion Model for Image Motion-Deblurring [85.76149042561507]
  本稿では,脱臭過程を1段階に短縮する新しいフレームワークである脱臭拡散モデル(OSDD)を提案する。 拡散モデルにおける忠実度損失に対処するために,構造復元を改善する改良された変分オートエンコーダ(eVAE)を導入する。 提案手法は,実測値と非参照値の両方で高い性能を達成する。
  論文  参考訳（メタデータ） (2025-03-09T09:39:57Z)
• FlowTS: Time Series Generation via Rectified Flow [67.41208519939626]
  FlowTSは、確率空間における直線輸送を伴う整流フローを利用するODEベースのモデルである。 非条件設定では、FlowTSは最先端のパフォーマンスを達成し、コンテキストFIDスコアはStockとETThデータセットで0.019と0.011である。 条件設定では、太陽予測において優れた性能を達成している。
  論文  参考訳（メタデータ） (2024-11-12T03:03:23Z)
• DiTAS: Quantizing Diffusion Transformers via Enhanced Activation Smoothing [5.174900115018253]
  効率的な拡散変換器(DiT)のためのデータフリー後トレーニング量子化(PTQ)法を提案する。 DiTASは、入力アクティベーションにおけるチャネルワイド・アウトレイアの影響を軽減するために、時間的凝集平滑化手法が提案されている。 提案手法により,DiTの4ビット重み付き8ビットアクティベーション(W4A8)量子化が可能であり,全精度モデルとして同等の性能を維持した。
  論文  参考訳（メタデータ） (2024-09-12T05:18:57Z)
• Boundary-aware Decoupled Flow Networks for Realistic Extreme Rescaling [49.215957313126324]
  Invertible rescaling Network (IRN) やgenerative adversarial Network (GAN) などを含む最近の生成手法は、画像再スケーリングにおいて例外的な性能を示した。 しかし、IRNベースの手法は過度に滑らかな結果を生成する傾向にあり、一方、GANベースの手法は偽の細部を容易に生成する。 本稿では,現実的かつ視覚的に満足な結果を生成するために,境界対応デカップリングフローネットワーク(BDFlow)を提案する。
  論文  参考訳（メタデータ） (2024-05-05T14:05:33Z)
• From PEFT to DEFT: Parameter Efficient Finetuning for Reducing Activation Density in Transformers [52.199303258423306]
  本稿では,事前学習したモデルにおいて,高い活性化空間性を促進する新しい密度損失を提案する。 提案手法である textbfDEFT は,RoBERTa$_mathrmLarge$ で textbf44.94% ,Flan-T5$_mathrmXXL$ で textbf53.19% (エンコーダ密度) と textbf90.60% (デコーダ密度) で常に活性化密度を減少させることができる。
  論文  参考訳（メタデータ） (2024-02-02T21:25:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。