論文の概要: Mutual Learning for Acoustic Matching and Dereverberation via Visual Scene-driven Diffusion
- arxiv url: http://arxiv.org/abs/2407.10373v1
- Date: Mon, 15 Jul 2024 00:47:56 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-16 16:40:16.516381
- Title: Mutual Learning for Acoustic Matching and Dereverberation via Visual Scene-driven Diffusion
- Title（参考訳）: 視覚的シーン駆動拡散による音響マッチングと残響の相互学習
- Authors: Jian Ma, Wenguan Wang, Yi Yang, Feng Zheng,
- Abstract要約: 本稿では拡散モデルに基づく相互学習フレームワークMVSDを紹介する。
MVSDは2つのタスクを対称的に考慮し、逆タスクからの学習を容易にするために相互関係を利用する。
我々のフレームワークは、残響器と残響器の性能を向上させることができる。
- 参考スコア（独自算出の注目度）: 93.32354378820648
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Visual acoustic matching (VAM) is pivotal for enhancing the immersive experience, and the task of dereverberation is effective in improving audio intelligibility. Existing methods treat each task independently, overlooking the inherent reciprocity between them. Moreover, these methods depend on paired training data, which is challenging to acquire, impeding the utilization of extensive unpaired data. In this paper, we introduce MVSD, a mutual learning framework based on diffusion models. MVSD considers the two tasks symmetrically, exploiting the reciprocal relationship to facilitate learning from inverse tasks and overcome data scarcity. Furthermore, we employ the diffusion model as foundational conditional converters to circumvent the training instability and over-smoothing drawbacks of conventional GAN architectures. Specifically, MVSD employs two converters: one for VAM called reverberator and one for dereverberation called dereverberator. The dereverberator judges whether the reverberation audio generated by reverberator sounds like being in the conditional visual scenario, and vice versa. By forming a closed loop, these two converters can generate informative feedback signals to optimize the inverse tasks, even with easily acquired one-way unpaired data. Extensive experiments on two standard benchmarks, i.e., SoundSpaces-Speech and Acoustic AVSpeech, exhibit that our framework can improve the performance of the reverberator and dereverberator and better match specified visual scenarios.
- Abstract（参考訳）: 視覚音響マッチング (VAM) は没入感を高めるために重要であり, 難聴化の課題は聴取能力の向上に有効である。
既存の方法は、それぞれのタスクを独立して扱い、それらの間の固有の相互性を見渡す。
さらに、これらの手法は、ペア化されたトレーニングデータに依存しており、これは取得が困難であり、広範囲な障害のないデータの利用を妨げる。
本稿では拡散モデルに基づく相互学習フレームワークMVSDを紹介する。
MVSDは2つのタスクを対称的に考慮し、相互関係を利用して逆タスクから学習し、データの不足を克服する。
さらに,従来のGANアーキテクチャのトレーニング不安定性と過度にスムースな欠点を回避するため,拡散モデルを基本条件変換器として利用する。
具体的には、MVSDは2つのコンバータを使用する: 1つはリバーベレータと呼ばれるVAM用、もう1つはデアバーベレータと呼ばれるデアバーベレータ用である。
残響による残響音声が、条件付き視覚シナリオのようだと判断し、その逆を判定する。
クローズドループを形成することにより、この2つのコンバータは情報フィードバック信号を生成して逆タスクを最適化する。
SoundSpaces-Speech と Acoustic AVSpeech という2つの標準ベンチマークの大規模な実験により、我々のフレームワークは、残響器と残響器の性能を改善し、特定の視覚シナリオとよりよく一致させることができることを示した。
関連論文リスト
- Speed Co-Augmentation for Unsupervised Audio-Visual Pre-training [102.18680666349806]
本稿では,音声とビデオデータの再生速度をランダムに変更する高速化手法を提案する。
実験の結果,提案手法は,バニラ音声・視覚的コントラスト学習と比較して,学習表現を著しく改善することがわかった。
論文 参考訳（メタデータ） (2023-09-25T08:22:30Z) - DiffusionVMR: Diffusion Model for Joint Video Moment Retrieval and
Highlight Detection [38.12212015133935]
DiffusionVMRという新しいフレームワークは、2つのタスクを統一された条件記述生成プロセスとして再定義するために提案されている。
5つの広く利用されているベンチマークで実施された実験は、提案されたDiffusionVMRの有効性と柔軟性を示している。
論文 参考訳（メタデータ） (2023-08-29T08:20:23Z) - Lip2Vec: Efficient and Robust Visual Speech Recognition via
Latent-to-Latent Visual to Audio Representation Mapping [4.271091833712731]
従来のモデルから学習するシンプルなアプローチであるLip2Vecを提案する。
提案手法は LRS3 データセット上で26 WER を達成する完全教師付き学習法と比較した。
我々は、VSRをASRタスクとして再プログラムすることで、両者のパフォーマンスギャップを狭め、より柔軟な唇読解法を構築することができると考えている。
論文 参考訳（メタデータ） (2023-08-11T12:59:02Z) - Anticipating the Unseen Discrepancy for Vision and Language Navigation [63.399180481818405]
視覚言語ナビゲーションでは、エージェントは特定のターゲットに到達するために自然言語命令に従う必要がある。
目に見える環境と目に見えない環境の間に大きな違いがあるため、エージェントがうまく一般化することは困難である。
本研究では,テストタイムの視覚的整合性を促進することによって,未知の環境への一般化を学習する,未知の離散性予測ビジョンと言語ナビゲーション(DAVIS)を提案する。
論文 参考訳（メタデータ） (2022-09-10T19:04:40Z) - Improving Noise Robustness of Contrastive Speech Representation Learning
with Speech Reconstruction [109.44933866397123]
実環境における音声認識システムの実現には,雑音の堅牢性が不可欠である。
雑音認識のための自己教師型フレームワークにより学習したノイズロスト表現を用いる。
ラベル付きデータのわずか16%で報告された最高の教師付きアプローチに匹敵するパフォーマンスを実現した。
論文 参考訳（メタデータ） (2021-10-28T20:39:02Z) - Diffusion-Based Representation Learning [65.55681678004038]
教師付き信号のない表現学習を実現するために,デノナイズスコアマッチングフレームワークを拡張した。
対照的に、拡散に基づく表現学習は、デノナイジングスコアマッチング目的の新しい定式化に依存している。
同じ手法を用いて,半教師付き画像分類における最先端モデルの改善を実現する無限次元潜在符号の学習を提案する。
論文 参考訳（メタデータ） (2021-05-29T09:26:02Z) - Robust Audio-Visual Instance Discrimination [79.74625434659443]
音声・映像表現を学習するための自己指導型学習法を提案する。
視聴覚インスタンスの識別の問題に対処し、転送学習パフォーマンスを向上させます。
論文 参考訳（メタデータ） (2021-03-29T19:52:29Z) - Switching Variational Auto-Encoders for Noise-Agnostic Audio-visual
Speech Enhancement [26.596930749375474]
本稿では,異なるVAEアーキテクチャを時間的に切り換えるために,マルコフの依存関係を持つ潜在逐次変数を導入する。
モデルのパラメータを推定し、音声信号を強化するために、対応する変動予測-最大化アルゴリズムを導出する。
論文 参考訳（メタデータ） (2021-02-08T11:45:02Z) - Should we hard-code the recurrence concept or learn it instead ?
Exploring the Transformer architecture for Audio-Visual Speech Recognition [10.74796391075403]
本稿では,最近提案されたTransformerブロックに,Long Short-term Memory(LSTM)ブロックを置き換えた AV Align の変種について述べる。
また,トランスフォーマーはクロスモーダルなモノトニックアライメントも学習するが,LSTMモデルと同じ視覚収束問題に悩まされている。
論文 参考訳（メタデータ） (2020-05-19T09:06:39Z) - Audio-Visual Decision Fusion for WFST-based and seq2seq Models [3.2771898634434997]
雑音下では、音声認識システムは高い単語誤り率(WER)に悩まされる
提案手法は,推測時における音声と視覚のモダリティから情報を融合する新しい手法である。
提案手法は音響のみのWERよりも大幅に改善されていることを示す。
論文 参考訳（メタデータ） (2020-01-29T13:45:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。