論文の概要: AKVSR: Audio Knowledge Empowered Visual Speech Recognition by Compressing Audio Knowledge of a Pretrained Model

• arxiv url: http://arxiv.org/abs/2308.07593v1
• Date: Tue, 15 Aug 2023 06:38:38 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-16 13:49:24.888489
• Title: AKVSR: Audio Knowledge Empowered Visual Speech Recognition by Compressing Audio Knowledge of a Pretrained Model
• Title（参考訳）: akvsr: 事前学習モデルの音声知識圧縮による視覚音声認識能力の向上
• Authors: Jeong Hun Yeo, Minsu Kim, Jeongsoo Choi, Dae Hoe Kim, and Yong Man Ro
• Abstract要約: 本稿では、音声モダリティを用いて、視覚的モダリティの不十分な音声情報を補うために、AKVSR(AKVSR)を提案する。 提案手法の有効性を広範囲な実験により検証し,広範に使用されているデータセット,LSS2,LSS3上での最先端性能を実現する。
• 参考スコア（独自算出の注目度）: 53.492751392755636
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Visual Speech Recognition (VSR) is the task of predicting spoken words from silent lip movements. VSR is regarded as a challenging task because of the insufficient information on lip movements. In this paper, we propose an Audio Knowledge empowered Visual Speech Recognition framework (AKVSR) to complement the insufficient speech information of visual modality by using audio modality. Different from the previous methods, the proposed AKVSR 1) utilizes rich audio knowledge encoded by a large-scale pretrained audio model, 2) saves the linguistic information of audio knowledge in compact audio memory by discarding the non-linguistic information from the audio through quantization, and 3) includes Audio Bridging Module which can find the best-matched audio features from the compact audio memory, which makes our training possible without audio inputs, once after the compact audio memory is composed. We validate the effectiveness of the proposed method through extensive experiments, and achieve new state-of-the-art performances on the widely-used datasets, LRS2 and LRS3.
• Abstract（参考訳）: 視覚音声認識(VSR)は、無声唇の動きから発声語を予測するタスクである。 VSRは唇運動に関する情報が不足しているため、難しい課題とみなされている。 本稿では、音声モダリティを用いて、視覚的モダリティの不十分な音声情報を補うために、AKVSR(Audio Knowledge empowered Visual Speech Recognition framework)を提案する。 従来の手法と異なり、提案されたAKVSR 1)大規模事前学習音声モデルにより符号化されたリッチオーディオ知識を利用する。 2)小型オーディオメモリにおける音声知識の言語情報は、量子化により音声から非言語情報を捨てて保存する。 3)コンパクトオーディオメモリから最適なオーディオ機能を見つけることができるオーディオブリッジモジュールが含まれており、コンパクトオーディオメモリが構成された後、オーディオ入力なしでトレーニングを行える。 提案手法の有効性を広範囲な実験により検証し,広範に使用されているデータセット,LSS2,LSS3上での最先端性能を実現する。

関連論文リスト

• Learning Video Temporal Dynamics with Cross-Modal Attention for Robust Audio-Visual Speech Recognition [29.414663568089292]
  音声-視覚音声認識は、音声とビデオの両方のモダリティを用いて人間の音声を転写することを目的としている。 本研究では,映像データ中の3つの時間的ダイナミクスを学習することにより,映像特徴の強化を図る。 LRS2 と LRS3 の AVSR ベンチマークにおいて,ノイズ優越性設定のための最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-07-04T01:25:20Z)
• XLAVS-R: Cross-Lingual Audio-Visual Speech Representation Learning for Noise-Robust Speech Perception [62.660135152900615]
  音声認識と翻訳システムではノイズの多い入力が不十分である。 XLAVS-Rは、雑音による音声認識と翻訳のための言語間音声・視覚音声表現モデルである。
  論文  参考訳（メタデータ） (2024-03-21T13:52:17Z)
• AV-CPL: Continuous Pseudo-Labeling for Audio-Visual Speech Recognition [27.58390468474957]
  音声-視覚音声認識(AV-CPL)のための連続擬似ラベリングを提案する。 AV-CPLは、ラベル付きビデオとラベルなしビデオの組み合わせに基づいて、音声視覚音声認識モデルを訓練する半教師付き手法である。 提案手法は教師付きトレーニングと擬似ラベル生成の両方に同じ音声・視覚モデルを使用し,擬似ラベル生成のための外部音声認識モデルの必要性を緩和する。
  論文  参考訳（メタデータ） (2023-09-29T16:57:21Z)
• Exploring the Role of Audio in Video Captioning [59.679122191706426]
  本稿では,キャプションの音響モダリティの可能性をフル活用することを目的とした音声視覚フレームワークを提案する。 本稿では,音声とビデオ間の情報交換を改善するため,新たなローカル・グローバル融合機構を提案する。
  論文  参考訳（メタデータ） (2023-06-21T20:54:52Z)
• Multi-Temporal Lip-Audio Memory for Visual Speech Recognition [32.65865343643458]
  MTLAM(Multi-Temporal Lip-Audio Memory)を提案する。 提案手法は主に2つの部分から構成される: 1) MTLAMは、短期および長期の音声信号から発生する多時間音声特徴を保存し、MTLAMは、推測フェーズにおける視覚的特徴から記憶された多時間音声特徴をロードするための視覚音声マッピングを記憶する。
  論文  参考訳（メタデータ） (2023-05-08T08:30:52Z)
• AVFormer: Injecting Vision into Frozen Speech Models for Zero-Shot AV-ASR [79.21857972093332]
  本稿では,視覚情報を用いた音声のみのモデル拡張手法であるAVFormerについて述べる。 最小限のトレーニング時間とパラメータで、弱ラベル付き動画データを少量でトレーニングできることが示される。 また、トレーニング中に簡単なカリキュラム方式を導入し、モデルが音声と視覚情報を効果的に処理できることを示します。
  論文  参考訳（メタデータ） (2023-03-29T07:24:28Z)
• Visually-Aware Audio Captioning With Adaptive Audio-Visual Attention [54.4258176885084]
  曖昧な音を正確に認識する方法は、音声キャプションにとって大きな課題である。 本稿では,視覚情報を利用して不明瞭な音の物体の記述を支援する視覚認識型音声キャプションを提案する。 提案手法は,機械翻訳メトリクスの最先端結果を実現する。
  論文  参考訳（メタデータ） (2022-10-28T22:45:41Z)
• Learning Speech Representations from Raw Audio by Joint Audiovisual Self-Supervision [63.564385139097624]
  生音声波形から自己教師付き音声表現を学習する手法を提案する。 音声のみの自己スーパービジョン(情報的音響属性の予測)と視覚的自己スーパービジョン(音声から発話顔を生成する)を組み合わせることで生音声エンコーダを訓練する。 本研究は,音声表現学習におけるマルチモーダル・セルフ・スーパービジョンの可能性を示すものである。
  論文  参考訳（メタデータ） (2020-07-08T14:07:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。