Fugu-MT 論文翻訳(概要): FaVoA: Face-Voice Association Favours Ambiguous Speaker Detection

論文の概要: FaVoA: Face-Voice Association Favours Ambiguous Speaker Detection

arxiv url: http://arxiv.org/abs/2109.00577v1
Date: Wed, 1 Sep 2021 19:08:15 GMT
ステータス: 処理完了
システム内更新日: 2021-09-03 13:57:20.542592
Title: FaVoA: Face-Voice Association Favours Ambiguous Speaker Detection
Title（参考訳）: FaVoA:Face-Voice Associationは、あいまいな話者検出を脅かす
Authors: Hugo Carneiro, Cornelius Weber and Stefan Wermter
Abstract要約: 特に曖昧なシナリオを正しく分類できるニューラルネットワークモデルであるFaVoAを紹介する。 FaVoAは肯定的な関連を見出すが、非マッチングの対面関係を除外するのに役立つ。これらのモデルの融合にゲート・バイモーダル・ユニット・アーキテクチャ(英語版)を用いることで、各モダリティが分類にどの程度貢献するかを定量的に決定することができる。
参考スコア（独自算出の注目度）: 21.77939278537753
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: The strong relation between face and voice can aid active speaker detection systems when faces are visible, even in difficult settings, when the face of a speaker is not clear or when there are several people in the same scene. By being capable of estimating the frontal facial representation of a person from his/her speech, it becomes easier to determine whether he/she is a potential candidate for being classified as an active speaker, even in challenging cases in which no mouth movement is detected from any person in that same scene. By incorporating a face-voice association neural network into an existing state-of-the-art active speaker detection model, we introduce FaVoA (Face-Voice Association Ambiguous Speaker Detector), a neural network model that can correctly classify particularly ambiguous scenarios. FaVoA not only finds positive associations, but helps to rule out non-matching face-voice associations, where a face does not match a voice. Its use of a gated-bimodal-unit architecture for the fusion of those models offers a way to quantitatively determine how much each modality contributes to the classification.
Abstract（参考訳）: 顔と音声の強い関係は、顔が見えても、難しい設定でも、スピーカーの顔がはっきりしていないときや、同じシーンに複数の人がいるときでも、アクティブな話者検出システムに役立つ。発話から人の正面顔の表情を推定できることで、同じ場面の人物から口の動きが検出されない困難な場合であっても、その人物がアクティブな話者として分類される可能性のある候補であるかどうかを判断しやすくなる。既存の最先端アクティブ話者検出モデルに音声関連ニューラルネットワークを組み込むことにより、特にあいまいなシナリオを正しく分類できるニューラルネットワークモデルfavoa(face-voice association ambiguous speaker detector)を導入する。 FaVoAは肯定的な関連を見出すだけでなく、顔が声と一致しない非マッチングの対人関係を除外するのに役立ちます。それらのモデルの融合にゲートバイモーダル単位のアーキテクチャを使うことは、各モダリティが分類にどの程度寄与するかを定量的に決定する方法を提供する。

関連論文リスト

Character-aware audio-visual subtitling in context [58.95580154761008]
本稿では,テレビ番組における文字認識型音声視覚サブタイピングのための改良されたフレームワークを提案する。提案手法は,音声認識,話者ダイアリゼーション,文字認識を統合し,音声と視覚の両方を活用する。提案手法を12テレビ番組のデータセット上で検証し,既存手法と比較して話者ダイアリゼーションと文字認識精度に優れた性能を示す。
論文参考訳（メタデータ） (2024-10-14T20:27:34Z)
Evaluating Speaker Identity Coding in Self-supervised Models and Humans [0.42303492200814446]
話者のアイデンティティは、人間のコミュニケーションにおいて重要な役割を担い、社会的応用においてますます利用されている。本研究では, 話者識別において, 音響的表現よりも, 話者識別において, 異なる家族の自己指導的表現の方が有意に優れていることを示す。また、このような話者識別タスクは、これらの強力なネットワークの異なる層における音響情報表現の性質をよりよく理解するためにも利用できることを示す。
論文参考訳（メタデータ） (2024-06-14T20:07:21Z)
Cooperative Dual Attention for Audio-Visual Speech Enhancement with Facial Cues [80.53407593586411]
頑健な音声音声強調(AVSE)のための唇領域を超えて顔の手がかりを活用することに注力する。本稿では,音声関連情報を無視し,音声関連情報を顔の手がかりで捉え,AVSEの音声信号と動的に統合するDual Attention Cooperative Framework(DualAVSE)を提案する。
論文参考訳（メタデータ） (2023-11-24T04:30:31Z)
Zero-shot personalized lip-to-speech synthesis with face image based voice control [41.17483247506426]
顔画像から対応する音声を予測するLip-to-Speech(Lip2Speech)合成は、様々なモデルや訓練戦略で大きく進歩している。顔画像が話者の身元を制御するゼロショットパーソナライズされたLip2Speech合成法を提案する。
論文参考訳（メタデータ） (2023-05-09T02:37:29Z)
A Closer Look at Audio-Visual Multi-Person Speech Recognition and Active Speaker Selection [9.914246432182873]
様々な雑音条件下では,エンド・ツー・エンドのモデルが,少なくとも大きな2段階のシステムを動作させることを示す。トレーニングデータとして5万時間以上の公開YouTubeビデオを収録した実験では、アクティブな話者選択タスクにおいて、最初に注目層の精度を評価する。
論文参考訳（メタデータ） (2022-05-11T15:55:31Z)
Audio-Visual Speech Codecs: Rethinking Audio-Visual Speech Enhancement by Re-Synthesis [67.73554826428762]
本稿では,AR/VRにおける高忠実度通信のための新しい音声・視覚音声強調フレームワークを提案する。提案手法は音声・視覚音声の手がかりを利用してニューラル音声のコードを生成することで,ノイズ信号からクリーンでリアルな音声を効率的に合成する。
論文参考訳（メタデータ） (2022-03-31T17:57:10Z)
Facetron: Multi-speaker Face-to-Speech Model based on Cross-modal Latent Representations [22.14238843571225]
個人の顔の映像を条件付けして、話者固有の音声波形を合成する効果的な方法を提案する。唇読解モデルを用いて唇の動きから言語的特徴を抽出し,顔画像から話者特性を予測する。本稿では,従来の手法よりも客観評価と主観評価の両面において,提案手法の優位性を示す。
論文参考訳（メタデータ） (2021-07-26T07:36:02Z)
Pose-Controllable Talking Face Generation by Implicitly Modularized Audio-Visual Representation [96.66010515343106]
ポーズ制御可能な発話顔を生成するためのクリーンで効果的なフレームワークを提案する。我々は1枚の写真のみを識別基準として生の顔画像を操作する。私達のモデルに極度な視野の堅牢性および話す表面前部化を含む複数の高度の機能があります。
論文参考訳（メタデータ） (2021-04-22T15:10:26Z)
Streaming Multi-talker Speech Recognition with Joint Speaker Identification [77.46617674133556]
SURITは、音声認識と話者識別の両方のバックボーンとして、リカレントニューラルネットワークトランスデューサ(RNN-T)を採用しています。 Librispeechから派生したマルチストーカーデータセットであるLibrispeechデータセットに関するアイデアを検証し、奨励的な結果を提示した。
論文参考訳（メタデータ） (2021-04-05T18:37:33Z)
FaceFilter: Audio-visual speech separation using still images [41.97445146257419]
本稿では,2つの話者の混在した話者の発話を,ディープ・オーディオ・ビジュアル・音声分離ネットワークを用いて分離することを目的とする。ビデオクリップの唇の動きや事前登録された話者情報を補助的条件特徴として用いた従来の作品とは異なり、対象話者の単一顔画像を使用する。
論文参考訳（メタデータ） (2020-05-14T15:42:31Z)
Visually Guided Self Supervised Learning of Speech Representations [62.23736312957182]
音声視覚音声の文脈における視覚的モダリティによって導かれる音声表現を学習するためのフレームワークを提案する。音声クリップに対応する静止画像をアニメーション化し、音声セグメントの実際の映像にできるだけ近いよう、生成した映像を最適化する。我々は,感情認識のための技術成果と,音声認識のための競争結果を達成する。
論文参考訳（メタデータ） (2020-01-13T14:53:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。