Fugu-MT 論文翻訳(概要): Audio-Visual Speaker Verification via Joint Cross-Attention

論文の概要: Audio-Visual Speaker Verification via Joint Cross-Attention

arxiv url: http://arxiv.org/abs/2309.16569v1
Date: Thu, 28 Sep 2023 16:25:29 GMT
ステータス: 処理完了
システム内更新日: 2023-09-29 13:39:02.461244
Title: Audio-Visual Speaker Verification via Joint Cross-Attention
Title（参考訳）: 連通注意による音声・映像話者の検証
Authors: R. Gnana Praveen, Jahangir Alam
Abstract要約: モーダル間補間情報とモーダル内情報を完全に活用するためのモーダル間共同注意モーダル内およびモーダル間関係を効率よく活用することで、話者検証のための音声・視覚融合の性能が著しく向上することを示してきた。
参考スコア（独自算出の注目度）: 4.229744884478575
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Speaker verification has been widely explored using speech signals, which has shown significant improvement using deep models. Recently, there has been a surge in exploring faces and voices as they can offer more complementary and comprehensive information than relying only on a single modality of speech signals. Though current methods in the literature on the fusion of faces and voices have shown improvement over that of individual face or voice modalities, the potential of audio-visual fusion is not fully explored for speaker verification. Most of the existing methods based on audio-visual fusion either rely on score-level fusion or simple feature concatenation. In this work, we have explored cross-modal joint attention to fully leverage the inter-modal complementary information and the intra-modal information for speaker verification. Specifically, we estimate the cross-attention weights based on the correlation between the joint feature presentation and that of the individual feature representations in order to effectively capture both intra-modal as well inter-modal relationships among the faces and voices. We have shown that efficiently leveraging the intra- and inter-modal relationships significantly improves the performance of audio-visual fusion for speaker verification. The performance of the proposed approach has been evaluated on the Voxceleb1 dataset. Results show that the proposed approach can significantly outperform the state-of-the-art methods of audio-visual fusion for speaker verification.
Abstract（参考訳）: 話者検証は音声信号を用いて広く研究されており、深層モデルによる顕著な改善が示されている。近年,音声信号の単一モダリティにのみ依存するよりも,相補的で包括的な情報提供が可能な顔や声の探索が急増している。顔と声の融合に関する文献における現在の手法は、個々の顔や声のモダリティよりも改善されているが、話者認証のためには、音声・視覚融合の可能性は十分に検討されていない。音声と視覚の融合に基づく既存の手法のほとんどは、スコアレベル融合または単純な特徴結合に依存する。本研究では,モーダル間補間情報と話者検証のためのモーダル内情報を完全に活用するために,モーダル間共同注意を探索した。具体的には, 顔と声の相互関係を効果的に把握するために, 共同特徴提示と個々の特徴表現の相関関係に基づいて, 交差注意重みを推定する。モーダル内およびモーダル間関係の有効利用により,話者照合のための音声・視覚融合の性能が著しく向上することを示した。提案手法の性能はVoxceleb1データセットで評価されている。その結果,提案手法は話者照合における視聴覚融合の最先端手法を著しく上回ることがわかった。

関連論文リスト

Integrating Audio, Visual, and Semantic Information for Enhanced Multimodal Speaker Diarization [25.213694510527436]
既存の話者ダイアリゼーションシステムの多くは、単調な音響情報のみに依存している。本稿では,音声,視覚,意味的手がかりを併用して話者ダイアリゼーションを向上する新しいマルチモーダル手法を提案する。我々の手法は、最先端の話者ダイアリゼーション法より一貫して優れている。
論文参考訳（メタデータ） (2024-08-22T03:34:03Z)
Audio-Visual Person Verification based on Recursive Fusion of Joint Cross-Attention [3.5803801804085347]
本稿では,クロスアテンショナル・フレームワークにおいて,共同音声・視覚的特徴表現が使用されるような,共同のクロスアテンショナル・モデルを提案する。また,音声・視覚的特徴表現の時間的モデリングを改善するため,BLSTMについても検討する。その結果,本モデルでは,モーダル内関係とモーダル間関係を良好に捉えることにより,融合性能が向上することが示唆された。
論文参考訳（メタデータ） (2024-03-07T16:57:45Z)
Unveiling the Power of Audio-Visual Early Fusion Transformers with Dense Interactions through Masked Modeling [24.346868432774453]
人間は聴覚情報と視覚情報を統合でき、周囲の環境をより深く理解することができる。認知心理学と神経科学の研究を通じて実証された、音声と視覚の早期融合は、マルチモーダル知覚モデルを開発するための有望な可能性を提供する。初期融合によるオーディオ・ビジュアル・エンコーダの訓練にマスク付き再構成フレームワークを活用することで、早期融合アーキテクチャの訓練に対処する。本研究では,局所的な音声と視覚的表現の相互作用を捉え,細粒度な相互作用を捕捉するモデルの能力を向上する,注意に基づく融合モジュールを提案する。
論文参考訳（メタデータ） (2023-12-02T03:38:49Z)
Rethink Cross-Modal Fusion in Weakly-Supervised Audio-Visual Video Parsing [58.9467115916639]
本研究では, 核融合における非相関なクロスモーダルコンテキストを低減するために, メッセンジャー誘導型中間核融合変換器を提案する。メッセンジャーは、完全なクロスモーダルコンテキストをコンパクトな表現に凝縮し、有用なクロスモーダル情報のみを保持する。そこで我々は,無関係な音声情報の視覚事象予測への影響を抑えるために,クロスオーディオ予測整合性を提案する。
論文参考訳（メタデータ） (2023-11-14T13:27:03Z)
Improving Speaker Diarization using Semantic Information: Joint Pairwise Constraints Propagation [53.01238689626378]
本稿では,話者ダイアリゼーションシステムにおける意味情報を活用する新しい手法を提案する。音声言語理解モジュールを導入し、話者関連意味情報を抽出する。本稿では,これらの制約を話者ダイアリゼーションパイプラインに統合する新しい枠組みを提案する。
論文参考訳（メタデータ） (2023-09-19T09:13:30Z)
Improving Audio-Visual Speech Recognition by Lip-Subword Correlation Based Visual Pre-training and Cross-Modal Fusion Encoder [58.523884148942166]
本稿では,事前学習および微調整訓練の枠組みの下で,音声視覚音声認識(AVSR)を改善するための2つの新しい手法を提案する。まず, マンダリンにおける口唇形状と音節レベルサブワード単位の相関について検討し, 口唇形状から良好なフレームレベル音節境界を確立する。次に,音声誘導型クロスモーダルフュージョンエンコーダ(CMFE)ニューラルネットワークを提案する。
論文参考訳（メタデータ） (2023-08-14T08:19:24Z)
Audio-visual speech separation based on joint feature representation with cross-modal attention [45.210105822471256]
本研究は,アテンション機構を備えた音声と視覚ストリームから,共同特徴表現を学習することから着想を得たものである。音声と視覚の分離をさらに改善するため、唇の動きの濃密な光学的流れが組み込まれている。性能の全体的な改善により、追加のモーションネットワークは、唇画像と音声信号の組み合わせによる視覚的表現を効果的に強化することを示した。
論文参考訳（メタデータ） (2022-03-05T04:39:46Z)
Multimodal Attention Fusion for Target Speaker Extraction [108.73502348754842]
マルチモーダル核融合のための新しい注意機構とその訓練方法を提案する。シミュレーションデータに対する従来の核融合機構よりも,信号対歪み比(SDR)を1.0dB向上させる。
論文参考訳（メタデータ） (2021-02-02T05:59:35Z)
Correlating Subword Articulation with Lip Shapes for Embedding Aware Audio-Visual Speech Enhancement [94.0676772764248]
埋め込み認識音声強調(EASE)を改善するための視覚的埋め込み手法を提案する。視覚のみのEASE(VEASE)のための事前訓練された電話機や調音位置認識器を用いて、まず唇フレームから視覚埋め込みを抽出する。次に,マルチモーダルEASE(MEASE)における音声・視覚的特徴の相補性を利用して,雑音の多い音声・唇ビデオからの音声・視覚的埋め込みを情報交叉方式で抽出する。
論文参考訳（メタデータ） (2020-09-21T01:26:19Z)
An Overview of Deep-Learning-Based Audio-Visual Speech Enhancement and Separation [57.68765353264689]
音声強調と音声分離は関連する2つの課題である。伝統的に、これらのタスクは信号処理と機械学習技術を使って取り組まれてきた。ディープラーニングは強力なパフォーマンスを達成するために利用されています。
論文参考訳（メタデータ） (2020-08-21T17:24:09Z)
Audio-Visual Event Localization via Recursive Fusion by Joint Co-Attention [25.883429290596556]
音声-視覚イベントのローカライゼーションタスクにおける大きな課題は、複数のモーダルからの情報を効果的に融合する方法にある。近年の研究では、核融合プロセスにおいて注意機構が有用であることが示されている。音声・視覚イベントの局所化のためのマルチモーダル融合法を用いた新しい共同注意機構を提案する。
論文参考訳（メタデータ） (2020-08-14T21:50:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。