論文の概要: Enhancing Lip Reading with Multi-Scale Video and Multi-Encoder
- arxiv url: http://arxiv.org/abs/2404.05466v1
- Date: Mon, 8 Apr 2024 12:44:24 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-09 14:25:08.903928
- Title: Enhancing Lip Reading with Multi-Scale Video and Multi-Encoder
- Title（参考訳）: マルチスケールビデオとマルチエンコーダによる唇読解の強化
- Authors: He Wang, Pengcheng Guo, Xucheng Wan, Huan Zhou, Lei Xie,
- Abstract要約: リップリーダーは、ビデオで捉えたスピーカーのサイレントな唇の動きから、音声コンテンツを自動で書き起こすことを目的としている。
マルチスケールビデオデータとマルチエンコーダを組み込むことにより,リップリーディングを向上させることを提案する。
提案手法はICME 2024 ChatCLR Challenge Task 2で2位となった。
- 参考スコア（独自算出の注目度）: 21.155264134308915
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Automatic lip-reading (ALR) aims to automatically transcribe spoken content from a speaker's silent lip motion captured in video. Current mainstream lip-reading approaches only use a single visual encoder to model input videos of a single scale. In this paper, we propose to enhance lipreading by incorporating multi-scale video data and multi-encoder. Specifically, we first propose a novel multi-scale lip extraction algorithm based on the size of the speaker's face and an enhanced ResNet3D visual front-end (VFE) to extract lip features at different scales. For the multi-encoder, in addition to the mainstream Transformer and Conformer, we also incorporate the recently proposed Branchformer and EBranchformer as visual encoders. In the experiments, we explore the influence of different video data scales and encoders on ALR system performance and fuse the texts transcribed by all ALR systems using recognizer output voting error reduction (ROVER). Finally, our proposed approach placed second in the ICME 2024 ChatCLR Challenge Task 2, with a 21.52% reduction in character error rate (CER) compared to the official baseline on the evaluation set.
- Abstract（参考訳）: 自動唇読解(ALR)は、ビデオで捉えた話者の無声唇の動きから音声コンテンツを自動転写することを目的としている。
現在の主流のリップリーダーアプローチでは、単一スケールの入力ビデオをモデル化するために単一のビジュアルエンコーダしか使用していない。
本稿では,マルチスケールビデオデータとマルチエンコーダを組み込むことにより,リリーディングの強化を提案する。
具体的には、まず、話者の顔の大きさに基づく新しいマルチスケール唇抽出アルゴリズムと、異なるスケールで唇の特徴を抽出する強化されたResNet3D視覚フロントエンド(VFE)を提案する。
マルチエンコーダでは、メインストリームの Transformer と Conformer に加えて、最近提案された Branchformer と EBranchformer をビジュアルエンコーダとして組み込む。
実験では、異なるビデオデータスケールとエンコーダがALRシステムの性能に与える影響について検討し、認識器出力投票誤り低減(ROVER)を用いて全ALRシステムで書き起こされたテキストを融合させる。
最後に,提案手法はICME 2024 ChatCLR Challenge Task 2で2位となり,文字誤り率(CER)が21.52%低下した。
関連論文リスト
- EVC-MF: End-to-end Video Captioning Network with Multi-scale Features [13.85795110061781]
本稿では,ビデオキャプションのためのエンド・ツー・エンドエンコーダ・デコーダ・ネットワーク(EVC-MF)を提案する。
マルチスケールの視覚的特徴とテキスト的特徴を効果的に利用し、ビデオ記述を生成する。
その結果,EVC-MFは最先端技術に比べて競争性能が高いことがわかった。
論文 参考訳（メタデータ） (2024-10-22T02:16:02Z) - The NPU-ASLP-LiAuto System Description for Visual Speech Recognition in
CNVSRC 2023 [67.11294606070278]
本稿では,第1回中国連続視覚音声認識チャレンジ(CNVSRC)2023において,NPU-ASLP-LiAuto(Team 237)が導入した視覚音声認識システムについて述べる。
データ処理に関しては,ベースライン1からリップモーション抽出器を利用してマルチスケール映像データを生成する。
トレーニング中に、速度摂動、ランダム回転、水平反転、色変換を含む様々な拡張技術が適用される。
論文 参考訳（メタデータ） (2024-01-07T14:20:52Z) - Improving Audio-Visual Speech Recognition by Lip-Subword Correlation
Based Visual Pre-training and Cross-Modal Fusion Encoder [58.523884148942166]
本稿では,事前学習および微調整訓練の枠組みの下で,音声視覚音声認識(AVSR)を改善するための2つの新しい手法を提案する。
まず, マンダリンにおける口唇形状と音節レベルサブワード単位の相関について検討し, 口唇形状から良好なフレームレベル音節境界を確立する。
次に,音声誘導型クロスモーダルフュージョンエンコーダ(CMFE)ニューラルネットワークを提案する。
論文 参考訳（メタデータ） (2023-08-14T08:19:24Z) - Lip2Vec: Efficient and Robust Visual Speech Recognition via
Latent-to-Latent Visual to Audio Representation Mapping [4.271091833712731]
従来のモデルから学習するシンプルなアプローチであるLip2Vecを提案する。
提案手法は LRS3 データセット上で26 WER を達成する完全教師付き学習法と比較した。
我々は、VSRをASRタスクとして再プログラムすることで、両者のパフォーマンスギャップを狭め、より柔軟な唇読解法を構築することができると考えている。
論文 参考訳（メタデータ） (2023-08-11T12:59:02Z) - Visually-Guided Sound Source Separation with Audio-Visual Predictive
Coding [57.08832099075793]
視覚誘導音源分離は、視覚特徴抽出、マルチモーダル特徴融合、音響信号処理の3つの部分からなる。
本稿では,この課題をパラメータ調和とより効果的な方法で解決するために,AVPC(Audio-visual predictive coding)を提案する。
さらに、同一音源の2つの音声視覚表現を共予測することにより、AVPCのための効果的な自己教師型学習戦略を開発する。
論文 参考訳（メタデータ） (2023-06-19T03:10:57Z) - SVTS: Scalable Video-to-Speech Synthesis [105.29009019733803]
本稿では,ビデオ・トゥ・スペクトログラム予測器と事前学習したニューラルボコーダの2つのコンポーネントからなるスケーラブルなビデオ音声合成フレームワークを提案する。
私たちは、挑戦的なLSS3データセットで不可解な結果を示す最初の人です。
論文 参考訳（メタデータ） (2022-05-04T13:34:07Z) - Sub-word Level Lip Reading With Visual Attention [88.89348882036512]
我々は、リップリーディングで遭遇するユニークな課題に注目し、調整されたソリューションを提案する。
公開データセット上でのトレーニングにおいて,挑戦的なLSS2とLSS3ベンチマークの最先端結果を得る。
我々の最良のモデルはLRS2データセットで22.6%のワードエラー率を達成する。
論文 参考訳（メタデータ） (2021-10-14T17:59:57Z) - End-to-end Audio-visual Speech Recognition with Conformers [65.30276363777514]
ResNet-18とConvolution-augmented Transformer(Conformer)に基づくハイブリッドCTC/Attentionモデルを提案する。
特に、オーディオおよびビジュアルエンコーダは、生のピクセルとオーディオ波形から直接特徴を抽出することを学びます。
提案手法は, 音声のみ, 視覚のみ, および視聴覚実験において, 最先端の性能を高めることを実証する。
論文 参考訳（メタデータ） (2021-02-12T18:00:08Z) - Multiresolution and Multimodal Speech Recognition with Transformers [22.995102995029576]
本稿ではトランスフォーマーアーキテクチャを用いた音声視覚自動音声認識(AV-ASR)システムを提案する。
我々は、視覚情報によって提供されるシーンコンテキストに着目して、ASRを接地する。
私たちの結果は、最先端のListen、Attend、Spellベースのアーキテクチャに匹敵します。
論文 参考訳（メタデータ） (2020-04-29T09:32:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。