論文の概要: TDFNet: An Efficient Audio-Visual Speech Separation Model with Top-down Fusion

• arxiv url: http://arxiv.org/abs/2401.14185v1
• Date: Thu, 25 Jan 2024 13:47:22 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-26 14:34:19.628804
• Title: TDFNet: An Efficient Audio-Visual Speech Separation Model with Top-down Fusion
• Title（参考訳）: TDFNet:トップダウン融合を用いた高能率音声・音声分離モデル
• Authors: Samuel Pegg, Kai Li, Xiaolin Hu
• Abstract要約: Top-Down-Fusion Net (TDFNet) は、音声・視覚音声分離のための最先端(SOTA)モデルである。 TDFNetは、以前のSOTAメソッドであるCTCNetと比較して、すべてのパフォーマンス指標で最大10%のパフォーマンス向上を実現している。
• 参考スコア（独自算出の注目度）: 21.278294846228935
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Audio-visual speech separation has gained significant traction in recent years due to its potential applications in various fields such as speech recognition, diarization, scene analysis and assistive technologies. Designing a lightweight audio-visual speech separation network is important for low-latency applications, but existing methods often require higher computational costs and more parameters to achieve better separation performance. In this paper, we present an audio-visual speech separation model called Top-Down-Fusion Net (TDFNet), a state-of-the-art (SOTA) model for audio-visual speech separation, which builds upon the architecture of TDANet, an audio-only speech separation method. TDANet serves as the architectural foundation for the auditory and visual networks within TDFNet, offering an efficient model with fewer parameters. On the LRS2-2Mix dataset, TDFNet achieves a performance increase of up to 10\% across all performance metrics compared with the previous SOTA method CTCNet. Remarkably, these results are achieved using fewer parameters and only 28\% of the multiply-accumulate operations (MACs) of CTCNet. In essence, our method presents a highly effective and efficient solution to the challenges of speech separation within the audio-visual domain, making significant strides in harnessing visual information optimally.
• Abstract（参考訳）: 近年, 音声認識, ダイアリゼーション, シーン分析, 補助技術など様々な分野に応用される可能性から, 音声と視覚の分離が注目されている。 軽量な音声-視覚音声分離ネットワークの設計は低遅延アプリケーションでは重要であるが、既存の手法では高い計算コストとより多くのパラメータを必要とすることが多い。 本稿では、音声のみの音声分離手法であるTDANetのアーキテクチャを基盤として、音声-視覚分離のための最先端(SOTA)モデルであるTop-Down-Fusion Net(TDFNet)を提案する。 TDANetは、TDFNet内の聴覚および視覚ネットワークのアーキテクチャ基盤として機能し、パラメータが少ない効率的なモデルを提供する。 LRS2-2Mixデータセットでは,従来のSOTAメソッドであるCTCNetと比較して,すべてのパフォーマンス指標に対して最大10倍のパフォーマンス向上を実現している。 注目すべきは、これらの結果はより少ないパラメータとCTCNetの乗算累積演算(MAC)の28.5%で達成されることだ。 本手法は,音声・視覚領域における音声分離の課題に対する高効率かつ効率的な解法であり,視覚情報の最適活用に大きく貢献する。

関連論文リスト

• Multilingual Audio-Visual Speech Recognition with Hybrid CTC/RNN-T Fast Conformer [59.57249127943914]
  本稿では,複数の改良を加えた多言語音声認識モデルを提案する。 我々は、6つの異なる言語に対する音声視覚訓練データの量を増やし、重複しない多言語データセットの自動書き起こしを生成する。 提案モデルでは, LRS3データセット上での新たな最先端性能を実現し, WERは0.8%に達した。
  論文  参考訳（メタデータ） (2024-03-14T01:16:32Z)
• RTFS-Net: Recurrent Time-Frequency Modelling for Efficient Audio-Visual Speech Separation [18.93255531121519]
  本稿では,時間周波数領域の音声-視覚音声分離手法を提案する。 RTFS-Netはそのアルゴリズムをショートタイムフーリエ変換によって得られる複雑な時間周波数ビンに適用する。 これは、時間周波数領域の音声・視覚的音声分離法として初めて、現代の時間領域の全てを上回ります。
  論文  参考訳（メタデータ） (2023-09-29T12:38:00Z)
• Improving Audio-Visual Speech Recognition by Lip-Subword Correlation Based Visual Pre-training and Cross-Modal Fusion Encoder [58.523884148942166]
  本稿では,事前学習および微調整訓練の枠組みの下で,音声視覚音声認識(AVSR)を改善するための2つの新しい手法を提案する。 まず, マンダリンにおける口唇形状と音節レベルサブワード単位の相関について検討し, 口唇形状から良好なフレームレベル音節境界を確立する。 次に,音声誘導型クロスモーダルフュージョンエンコーダ(CMFE)ニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2023-08-14T08:19:24Z)
• Audio-visual End-to-end Multi-channel Speech Separation, Dereverberation and Recognition [52.11964238935099]
  本稿では,音声-視覚的多チャンネル音声分離,デバーベレーション,認識手法を提案する。 ビデオ入力は、マスクベースのMVDR音声分離、DNN-WPEまたはスペクトルマッピング(SpecM)ベースの音声残響フロントエンドで一貫して実証される。 オックスフォードLSS2データセットのシミュレーションや再生を用いて合成した重畳および残響音声データについて実験を行った。
  論文  参考訳（メタデータ） (2023-07-06T10:50:46Z)
• Visually-Guided Sound Source Separation with Audio-Visual Predictive Coding [57.08832099075793]
  視覚誘導音源分離は、視覚特徴抽出、マルチモーダル特徴融合、音響信号処理の3つの部分からなる。 本稿では,この課題をパラメータ調和とより効果的な方法で解決するために,AVPC(Audio-visual predictive coding)を提案する。 さらに、同一音源の2つの音声視覚表現を共予測することにより、AVPCのための効果的な自己教師型学習戦略を開発する。
  論文  参考訳（メタデータ） (2023-06-19T03:10:57Z)
• Audio-Visual Speech Separation in Noisy Environments with a Lightweight Iterative Model [35.171785986428425]
  雑音環境下での音声・視覚音声分離を行うために,AVLIT(Audio-Visual Lightweight ITerative Model)を提案する。 我々のアーキテクチャは、オーディオブランチとビデオブランチで構成されており、各モードの重みを共有する反復的なA-FRCNNブロックがある。 実験は、様々な音声のみのベースラインと音声視覚のベースラインに対して、両方の設定において、我々のモデルが優れていることを示す。
  論文  参考訳（メタデータ） (2023-05-31T20:09:50Z)
• Exploring Turkish Speech Recognition via Hybrid CTC/Attention Architecture and Multi-feature Fusion Network [1.514049362441354]
  本稿では,音声認識チューニング技術のシリーズについて検討する。 本稿では,効率的な特徴情報の利用を最大化するために,新たな特徴抽出器LSPCを提案する。 我々のモデル性能は、先進的なエンド・ツー・エンドモデルに匹敵する。
  論文  参考訳（メタデータ） (2023-03-22T04:11:35Z)
• Multi-Dimensional and Multi-Scale Modeling for Speech Separation Optimized by Discriminative Learning [9.84949849886926]
  音声分離のためのSE変換器とISCIT(Intra-SE-Conformer and Inter-Transformer) 新しいネットワークSE-Conformerは、複数の次元とスケールでオーディオシーケンスをモデル化できる。
  論文  参考訳（メタデータ） (2023-03-07T08:53:20Z)
• Simple Pooling Front-ends For Efficient Audio Classification [56.59107110017436]
  入力音声特徴量における時間的冗長性を排除することは,効率的な音声分類に有効な方法である可能性が示唆された。 本稿では、単純な非パラメトリックプーリング操作を用いて冗長な情報を削減する単純なプールフロントエンド(SimPFs)のファミリーを提案する。 SimPFは、市販オーディオニューラルネットワークの浮動小数点演算数の半数以上を削減できる。
  論文  参考訳（メタデータ） (2022-10-03T14:00:41Z)
• A Study of Designing Compact Audio-Visual Wake Word Spotting System Based on Iterative Fine-Tuning in Neural Network Pruning [57.28467469709369]
  視覚情報を利用した小型音声覚醒単語スポッティング(WWS)システムの設計について検討する。 繰り返し微調整方式(LTH-IF)で抽選券仮説を通したニューラルネットワークプルーニング戦略を導入する。 提案システムでは,ノイズ条件の異なる単一モード(オーディオのみ,ビデオのみ)システムに対して,大幅な性能向上を実現している。
  論文  参考訳（メタデータ） (2022-02-17T08:26:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。