論文の概要: Look\&Listen: Multi-Modal Correlation Learning for Active Speaker
Detection and Speech Enhancement
- arxiv url: http://arxiv.org/abs/2203.02216v1
- Date: Fri, 4 Mar 2022 09:53:19 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-07 19:31:53.926968
- Title: Look\&Listen: Multi-Modal Correlation Learning for Active Speaker
Detection and Speech Enhancement
- Title（参考訳）: Look\&Listen: アクティブ話者検出と音声強調のためのマルチモーダル相関学習
- Authors: Junwen Xiong, Yu Zhou, Peng Zhang, Lei Xie, Wei Huang, Yufei Zha
- Abstract要約: ADENetは,音声・視覚モデルの共同学習による話者検出と音声強調を実現するために提案されている。
聴覚と視覚ストリームの相互関係は,マルチタスク学習の課題に対して有望な解決法である。
- 参考スコア（独自算出の注目度）: 18.488808141923492
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Active speaker detection and speech enhancement have become two increasingly
attractive topics in audio-visual scenario understanding. According to their
respective characteristics, the scheme of independently designed architecture
has been widely used in correspondence to each single task. This may lead to
the learned feature representation being task-specific, and inevitably result
in the lack of generalization ability of the feature based on multi-modal
modeling. More recent studies have shown that establishing cross-modal
relationship between auditory and visual stream is a promising solution for the
challenge of audio-visual multi-task learning. Therefore, as a motivation to
bridge the multi-modal cross-attention, in this work, a unified framework
ADENet is proposed to achieve target speaker detection and speech enhancement
with joint learning of audio-visual modeling.
- Abstract（参考訳）: アクティブな話者検出と音声強調は、音声と視覚のシナリオ理解において、ますます魅力的なトピックとなっている。
それぞれの特徴により、独立設計アーキテクチャのスキームは個々のタスクに対応して広く使われている。
これは、学習された特徴表現がタスク固有であり、必然的にマルチモーダルモデリングに基づく特徴の一般化能力の欠如につながる可能性がある。
近年の研究では、聴覚と視覚ストリームの相互関係を確立することが、マルチタスク学習の課題に対して有望な解決策であることが示されている。
そこで本研究では,マルチモーダル・クロスアテンションを橋渡しするモチベーションとして,ターゲット話者検出と音声強調を実現するための統合フレームワークADENetを提案する。
関連論文リスト
- Integrating Audio, Visual, and Semantic Information for Enhanced Multimodal Speaker Diarization [25.213694510527436]
既存の話者ダイアリゼーションシステムの多くは、単調な音響情報のみに依存している。
本稿では,音声,視覚,意味的手がかりを併用して話者ダイアリゼーションを向上する新しいマルチモーダル手法を提案する。
我々の手法は、最先端の話者ダイアリゼーション法より一貫して優れている。
論文 参考訳（メタデータ） (2024-08-22T03:34:03Z) - AV-SUPERB: A Multi-Task Evaluation Benchmark for Audio-Visual Representation Models [92.92233932921741]
AV-SUPERBベンチマークは,音声・視覚・バイモーダル融合表現の汎用的評価を可能にする。
我々は,最近の5つの自己教師型モデルを評価し,これらのモデルがすべてのタスクに一般化されないことを示す。
我々は,AudioSetを用いた中間タスクの微調整と音声イベント分類によって表現が改善されることを実証した。
論文 参考訳（メタデータ） (2023-09-19T17:35:16Z) - Multi-Modal Multi-Correlation Learning for Audio-Visual Speech
Separation [38.75352529988137]
音声・視覚的音声分離作業を対象としたマルチモーダル・マルチ相関学習フレームワークを提案する。
我々は,(1)識別相関(音色と顔の属性間の相関),(2)音声相関という2つの重要な相関関係を定義した。
この2つの相関関係を最大化するために,コントラスト学習法や逆学習法を適用した。
論文 参考訳（メタデータ） (2022-07-04T04:53:39Z) - CTAL: Pre-training Cross-modal Transformer for Audio-and-Language
Representations [20.239063010740853]
音声と言語間のモダリティ内およびモダリティ間接続を学習することを目的としたCTAL(Cross-modal Transformer for Audio-and-Language)を提案する。
感情分類,感情分析,話者検証など,様々なタスクにまたがる顕著な改善が観察された。
論文 参考訳（メタデータ） (2021-09-01T04:18:19Z) - MAAS: Multi-modal Assignation for Active Speaker Detection [59.08836580733918]
本稿では,本問題のマルチモーダル性に直接対処するアクティブな話者検出手法を提案する。
実験では,単一フレームで構築した小さなグラフデータ構造により,瞬時に発生する視聴覚課題を近似できることを示した。
論文 参考訳（メタデータ） (2021-01-11T02:57:25Z) - Active Speakers in Context [88.22935329360618]
能動話者検出のための現在の手法は、単一話者からの短期音声視覚情報をモデル化することに焦点を当てている。
本稿では,複数話者間の関係を長期にわたってモデル化する新しい表現であるActive Speaker Contextを紹介する。
実験の結果,構造的特徴アンサンブルはすでにアクティブな話者検出性能の恩恵を受けていることがわかった。
論文 参考訳（メタデータ） (2020-05-20T01:14:23Z) - Disentangled Speech Embeddings using Cross-modal Self-supervision [119.94362407747437]
本研究では,映像における顔と音声の自然な相互同期を生かした自己教師型学習目標を提案する。
我々は,(1)両表現に共通する低レベルの特徴を共有する2ストリームアーキテクチャを構築し,(2)これらの要因を明示的に解消する自然なメカニズムを提供する。
論文 参考訳（メタデータ） (2020-02-20T14:13:12Z) - Speech Enhancement using Self-Adaptation and Multi-Head Self-Attention [70.82604384963679]
本稿では,補助的話者認識機能を用いた音声強調のための自己適応手法について検討する。
テスト発話から直接適応に用いる話者表現を抽出する。
論文 参考訳（メタデータ） (2020-02-14T05:05:36Z) - Deep Audio-Visual Learning: A Survey [53.487938108404244]
現在の音声・視覚学習タスクを4つのサブフィールドに分割する。
本稿では,各サブフィールドに残る課題だけでなく,最先端の手法についても論じる。
一般的に使用されるデータセットとパフォーマンスメトリクスを要約します。
論文 参考訳（メタデータ） (2020-01-14T13:11:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。