論文の概要: MoMuSE: Momentum Multi-modal Target Speaker Extraction for Real-time Scenarios with Impaired Visual Cues
- arxiv url: http://arxiv.org/abs/2412.08247v1
- Date: Wed, 11 Dec 2024 09:55:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-12 14:00:56.596947
- Title: MoMuSE: Momentum Multi-modal Target Speaker Extraction for Real-time Scenarios with Impaired Visual Cues
- Title（参考訳）: MoMuSE:視覚障害のあるリアルタイムシナリオのためのモーメントムマルチモーダルターゲット話者抽出
- Authors: Junjie Li, Ke Zhang, Shuai Wang, Kong Aik Lee, Haizhou Li,
- Abstract要約: Momentum Multi-modal target extract (MoMuSE)について紹介する。
MoMuSEはメモリ内に話者アイデンティティの運動量を保持しており、モデルがターゲット話者を継続的に追跡することができる。
実験により、特に視覚的手がかりの重篤な障害のあるシナリオにおいて、MoMuSEは顕著な改善を示すことが示された。
- 参考スコア（独自算出の注目度）: 60.04223853584275
- License:
- Abstract: Audio-visual Target Speaker Extraction (AV-TSE) aims to isolate the speech of a specific target speaker from an audio mixture using time-synchronized visual cues. In real-world scenarios, visual cues are not always available due to various impairments, which undermines the stability of AV-TSE. Despite this challenge, humans can maintain attentional momentum over time, even when the target speaker is not visible. In this paper, we introduce the Momentum Multi-modal target Speaker Extraction (MoMuSE), which retains a speaker identity momentum in memory, enabling the model to continuously track the target speaker. Designed for real-time inference, MoMuSE extracts the current speech window with guidance from both visual cues and dynamically updated speaker momentum. Experimental results demonstrate that MoMuSE exhibits significant improvement, particularly in scenarios with severe impairment of visual cues.
- Abstract（参考訳）: 音声-視覚的ターゲット話者抽出(AV-TSE)は、時間同期の視覚的手がかりを用いて、特定のターゲット話者の音声をオーディオ混合物から分離することを目的としている。
AV-TSEの安定性を損なう様々な障害のために、現実のシナリオでは、視覚的手がかりは必ずしも利用できない。
この課題にもかかわらず、ターゲット話者が見えない場合でも、人間は時間とともに注意力を維持することができる。
本稿では,モーメント・マルチモーダル・ターゲット話者抽出法(MoMuSE)を提案する。
リアルタイム推論のために設計されたMoMuSEは、視覚的手がかりと動的に更新された話者運動量の両方から、現在の音声ウィンドウを抽出する。
実験の結果,MoMuSEは特に視力障害の重篤な症例において顕著な改善を示した。
関連論文リスト
- Separate in the Speech Chain: Cross-Modal Conditional Audio-Visual Target Speech Extraction [13.5641621193917]
音声・視覚的対象音声抽出タスクでは、音声モダリティが支配的になりがちであり、視覚誘導の重要性を覆す可能性がある。
提案手法は,音声・視覚的対象音声抽出タスクを,音声知覚と音声生成の2段階に分割する。
生成した音声によって伝達される意味情報が、唇の動きによって伝達される意味情報と一致することを保証するために、対照的な意味マッチング損失を導入する。
論文 参考訳（メタデータ） (2024-04-19T09:08:44Z) - Cooperative Dual Attention for Audio-Visual Speech Enhancement with
Facial Cues [80.53407593586411]
頑健な音声音声強調(AVSE)のための唇領域を超えて顔の手がかりを活用することに注力する。
本稿では,音声関連情報を無視し,音声関連情報を顔の手がかりで捉え,AVSEの音声信号と動的に統合するDual Attention Cooperative Framework(DualAVSE)を提案する。
論文 参考訳（メタデータ） (2023-11-24T04:30:31Z) - VCSE: Time-Domain Visual-Contextual Speaker Extraction Network [54.67547526785552]
本稿では,VCSEという2段階の時間領域視覚コンテキスト話者抽出ネットワークを提案する。
第1段階では、視覚的手がかりで対象音声を事前抽出し、基礎となる音声系列を推定する。
第2段階では、事前抽出されたターゲット音声を自己学習した文脈的手がかりで洗練する。
論文 参考訳（メタデータ） (2022-10-09T12:29:38Z) - AV-Gaze: A Study on the Effectiveness of Audio Guided Visual Attention
Estimation for Non-Profilic Faces [28.245662058349854]
本稿では,音声誘導型粗いヘッドポジションが,非プロデューフィック顔に対する視覚的注意度推定性能をさらに向上させるかどうかを考察する。
オフ・ザ・シェルフ・オブ・ザ・アーティファクト・モデルを用いて、クロスモーダルな弱いスーパービジョンを促進する。
我々のモデルは、タスク固有の推論に利用可能な任意のモダリティを利用することができる。
論文 参考訳（メタデータ） (2022-07-07T02:23:02Z) - AVATAR: Unconstrained Audiovisual Speech Recognition [75.17253531162608]
本稿では,ASR TrAnsformeR (AVATAR) を用いて,スペクトルとフルフレームRGBからエンドツーエンドにトレーニングした新しいシーケンス・ツー・シーケンスASR TrAnsformeRを提案する。
本稿では,ハウ2 AV-ASR ベンチマークにおける視覚的モダリティの寄与を,特にシミュレートノイズの存在下で実証する。
また、我々はAV-ASRのための新しい実世界テストベッドVisSpeechを作成し、挑戦的な音声条件下での視覚的モダリティの寄与を実証した。
論文 参考訳（メタデータ） (2022-06-15T17:33:19Z) - Look\&Listen: Multi-Modal Correlation Learning for Active Speaker
Detection and Speech Enhancement [18.488808141923492]
ADENetは,音声・視覚モデルの共同学習による話者検出と音声強調を実現するために提案されている。
聴覚と視覚ストリームの相互関係は,マルチタスク学習の課題に対して有望な解決法である。
論文 参考訳（メタデータ） (2022-03-04T09:53:19Z) - Multimodal Attention Fusion for Target Speaker Extraction [108.73502348754842]
マルチモーダル核融合のための新しい注意機構とその訓練方法を提案する。
シミュレーションデータに対する従来の核融合機構よりも,信号対歪み比(SDR)を1.0dB向上させる。
論文 参考訳（メタデータ） (2021-02-02T05:59:35Z) - MAAS: Multi-modal Assignation for Active Speaker Detection [59.08836580733918]
本稿では,本問題のマルチモーダル性に直接対処するアクティブな話者検出手法を提案する。
実験では,単一フレームで構築した小さなグラフデータ構造により,瞬時に発生する視聴覚課題を近似できることを示した。
論文 参考訳（メタデータ） (2021-01-11T02:57:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。