論文の概要: VCSE: Time-Domain Visual-Contextual Speaker Extraction Network

• arxiv url: http://arxiv.org/abs/2210.06177v1
• Date: Sun, 9 Oct 2022 12:29:38 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-13 13:19:37.914389
• Title: VCSE: Time-Domain Visual-Contextual Speaker Extraction Network
• Title（参考訳）: vcse: 時間領域ビジュアルコンテキスト話者抽出ネットワーク
• Authors: Junjie Li, Meng Ge, Zexu Pan, Longbiao Wang, Jianwu Dang
• Abstract要約: 本稿では,VCSEという2段階の時間領域視覚コンテキスト話者抽出ネットワークを提案する。 第1段階では、視覚的手がかりで対象音声を事前抽出し、基礎となる音声系列を推定する。 第2段階では、事前抽出されたターゲット音声を自己学習した文脈的手がかりで洗練する。
• 参考スコア（独自算出の注目度）: 54.67547526785552
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Speaker extraction seeks to extract the target speech in a multi-talker scenario given an auxiliary reference. Such reference can be auditory, i.e., a pre-recorded speech, visual, i.e., lip movements, or contextual, i.e., phonetic sequence. References in different modalities provide distinct and complementary information that could be fused to form top-down attention on the target speaker. Previous studies have introduced visual and contextual modalities in a single model. In this paper, we propose a two-stage time-domain visual-contextual speaker extraction network named VCSE, which incorporates visual and self-enrolled contextual cues stage by stage to take full advantage of every modality. In the first stage, we pre-extract a target speech with visual cues and estimate the underlying phonetic sequence. In the second stage, we refine the pre-extracted target speech with the self-enrolled contextual cues. Experimental results on the real-world Lip Reading Sentences 3 (LRS3) database demonstrate that our proposed VCSE network consistently outperforms other state-of-the-art baselines.
• Abstract（参考訳）: 話者抽出は、補助参照が与えられたマルチストーカーシナリオでターゲット音声を抽出しようとする。 そのような参照は、聴覚、すなわち予め録音された音声、視覚、唇の動き、あるいは文脈、すなわち音素列である。 異なるモダリティの参照は、ターゲットの話者にトップダウンの注意を向けるために融合できる、個別で補完的な情報を提供する。 これまでの研究では、視覚と文脈のモダリティを1つのモデルに導入している。 本稿では,すべてのモダリティを最大限に活用するために,ステージごとに視覚的および自己表現された文脈的手がかりを組み込んだ2段階の時間領域視覚コンテキスト話者抽出ネットワークvcseを提案する。 第1段階では、目標音声を視覚手がかりで予め抽出し、基本音素列を推定する。 第2段階では、事前抽出されたターゲット音声を自己学習した文脈的手がかりで洗練する。 実世界のLip Reading Sentences 3(LRS3)データベースの実験結果から,提案したVCSEネットワークは,他の最先端のベースラインよりも一貫して優れていることが示された。

関連論文リスト

• Separate in the Speech Chain: Cross-Modal Conditional Audio-Visual Target Speech Extraction [13.5641621193917]
  音声・視覚的対象音声抽出タスクでは、音声モダリティが支配的になりがちであり、視覚誘導の重要性を覆す可能性がある。 提案手法は,音声・視覚的対象音声抽出タスクを,音声知覚と音声生成の2段階に分割する。 生成した音声によって伝達される意味情報が、唇の動きによって伝達される意味情報と一致することを保証するために、対照的な意味マッチング損失を導入する。
  論文  参考訳（メタデータ） (2024-04-19T09:08:44Z)
• Audio-Visual Neural Syntax Acquisition [91.14892278795892]
  視覚的音声からの句構造誘導について検討する。 本稿では,音声を聴いたり,画像を見たりすることでフレーズ構造を学習するAV-NSL(Audio-Visual Neural Syntax Learner)について述べる。
  論文  参考訳（メタデータ） (2023-10-11T16:54:57Z)
• VATLM: Visual-Audio-Text Pre-Training with Unified Masked Prediction for Speech Representation Learning [119.49605266839053]
  VATLM (Visual-Audio-Text Language Model) を用いたクロスモーダル表現学習フレームワークを提案する。 提案したVATLMは、モダリティに依存しない情報をモデル化するために、統一されたバックボーンネットワークを使用する。 これら3つのモダリティを1つの共有セマンティック空間に統合するために、VATLMは統一トークンのマスク付き予測タスクで最適化される。
  論文  参考訳（メタデータ） (2022-11-21T09:10:10Z)
• ESSumm: Extractive Speech Summarization from Untranscribed Meeting [7.309214379395552]
  本稿では,音声から音声への直接要約のための新しいアーキテクチャであるESSummを提案する。 市販の自己教師型畳み込みニューラルネットワークを利用して、生音声から深層音声の特徴を抽出する。 提案手法は,目的の要約長でキー情報をキャプチャする音声セグメントの最適シーケンスを自動的に予測する。
  論文  参考訳（メタデータ） (2022-09-14T20:13:15Z)
• Self-Supervised Speech Representation Learning: A Review [105.1545308184483]
  自己教師付き表現学習法は、幅広いタスクやドメインに利益をもたらす単一の普遍的モデルを約束する。 音声表現学習は、生成的、コントラスト的、予測的という3つの主要なカテゴリで同様の進歩を経験している。 本稿では,自己指導型音声表現学習のアプローチと,他の研究領域との関係について述べる。
  論文  参考訳（メタデータ） (2022-05-21T16:52:57Z)
• Direct speech-to-speech translation with discrete units [64.19830539866072]
  本稿では、中間テキスト生成に頼ることなく、ある言語から別の言語に音声を変換する直接音声音声翻訳(S2ST)モデルを提案する。 そこで本稿では,ラベルなし音声コーパスから学習した自己教師付き離散表現の予測を提案する。 対象のテキスト書き起こしが利用可能となると、同一の推論パスで2つのモード出力(音声とテキスト)を同時に生成できる、共同音声認識とテキストトレーニングを備えたマルチタスク学習フレームワークを設計する。
  論文  参考訳（メタデータ） (2021-07-12T17:40:43Z)
• LiRA: Learning Visual Speech Representations from Audio through Self-supervision [53.18768477520411]
  セルフスーパービジョン(LiRA)による音声からの視覚的表現の学習を提案する。 具体的には、ResNet+Conformerモデルをトレーニングし、未学習の視覚音声から音響的特徴を予測する。 提案手法は,WildデータセットのLip Readingにおいて,他の自己教師的手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-06-16T23:20:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。