論文の概要: Learning Visual Speech Representations via Cross-Modal Distillation and Joint Face-Lip Modeling
- arxiv url: http://arxiv.org/abs/2610.19559v1
- Date: Wed, 14 Oct 2026 04:18:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-15 21:06:15.957238
- Title: Learning Visual Speech Representations via Cross-Modal Distillation and Joint Face-Lip Modeling
- Title（参考訳）: クロスモーダル蒸留とジョイント・フェイスリップ・モデリングによる視覚表現の学習
- Abstract要約: 視覚音声の明瞭さと、ヘッドポーズやビデオ解像度に対する感度が原因で、リップリーディングは依然として困難である。
本研究では, クロスモーダル蒸留とジョイント・フェイスリップ・モデリングによる堅牢な視覚表現学習のためのフレームワークであるFLAREを提案する。
FLAREは、それぞれ11.7%、13.2%、34.3%のワードエラー率で、強いリップリーディング性能を達成している。
- 参考スコア（独自算出の注目度）: 19.81293326539404
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Lipreading remains challenging due to the inherent ambiguity of visual speech cues and their sensitivity to head pose and video resolution. In this work, we propose FLARE, a framework for robust visual speech representation learning via cross-modal distillation and joint face-lip modeling. FLARE leverages semantically rich Whisper representations as the acoustic teacher signal, converting them into discrete distillation targets through a random-projection quantizer and pretraining the model with a masked prediction objective. To capture complementary visual information, FLARE employs a dual-stream architecture that jointly processes lip region-of-interest (ROI) and full-face inputs, where the lip stream captures finegrained articulatory motion and the face stream encodes broader facial dynamics. During pretraining, auxiliary audio input is incorporated to facilitate cross-modal alignment, and modality dropout is applied to encourage robust visual-only representations. For downstream lipreading, FLARE serves as a visual encoder coupled with either a lightweight Transformer decoder or an LLM-based decoder. Evaluated on LRS2, LRS3, and the out-of-domain WildVSR benchmark, FLARE achieves strong lipreading performance, with word error rates of 11.7%, 13.2%, and 34.3%, respectively. A progressive design study confirms the contribution of each major component. Further analyses demonstrate that joint face-lip modeling improves robustness under degraded video resolution and large head pose variation, while yielding more phoneme-discriminative visual representations. Code and pretrained models are available at https://github.com/jxzhanggg/FLARE.
- Abstract（参考訳）: 視覚音声の明瞭さと、ヘッドポーズやビデオ解像度に対する感度が原因で、リップリーディングは依然として困難である。
本研究では,クロスモーダル蒸留とジョイント・フェイスリップ・モデリングによる堅牢な視覚表現学習のためのフレームワークであるFLAREを提案する。
FLAREは意味的にリッチなWhisper表現を音響教師信号として利用し、ランダム投影量化器を通じて個別の蒸留ターゲットに変換し、マスク付き予測目標でモデルを事前訓練する。
相補的な視覚情報を取得するために、FLAREは、リップ領域(ROI)とフルフェイス入力を共同で処理するデュアルストリームアーキテクチャを採用している。
事前トレーニング中に、モーダルアライメントを容易にするために補助的なオーディオ入力が組み込まれ、ロバストな視覚のみの表現を促進するためにモダリティ・ドロップアウトが適用される。
下流のリップリードでは、FLAREは軽量のTransformerデコーダとLCMベースのデコーダを結合したビジュアルエンコーダとして機能する。
LRS2、LSS3、およびドメイン外WildVSRベンチマークに基づいて評価されたFLAREは、それぞれ11.7%、13.2%、34.3%のワードエラー率で、強いリップリーディング性能を達成している。
プログレッシブデザイン研究は、各主要コンポーネントの寄与を確認します。
さらに分析した結果, 映像分解能の低下と頭部ポーズの変動による強靭性の向上を図り, 音素識別の視覚表現の増大を図った。
コードと事前訓練されたモデルはhttps://github.com/jxzhanggg/FLARE.comで入手できる。
関連論文リスト
- Head-Pose-Aware Visual Speech Recognition with FiLM Modulation [1.3686940157259604]
本稿では,頭部情報を視覚的特徴抽出に明示的に組み込んだポーズ対応音素レベルフレームワークHP-VSR-ResFiLMを提案する。
我々は,HP-VSR-ResFiLMが,訓練データに頼らずに,それぞれ25.0%,33.2%の単語誤り率(WER)で競合性能を達成することを示す。
論文 参考訳（メタデータ） (2026-05-30T14:35:47Z) - Cheers: Decoupling Patch Details from Semantic Representations Enables Unified Multimodal Comprehension and Generation [66.53544128707817]
Cheersは、パッチレベルの詳細をセマンティック表現から切り離す、統一されたマルチモーダルモデルである。
チェアは視覚的理解と生成の両方において、高度なUMMと一致または超えます。
論文 参考訳（メタデータ） (2026-03-13T08:55:27Z) - StableDub: Taming Diffusion Prior for Generalized and Efficient Visual Dubbing [63.72095377128904]
視覚的ダビングタスクは、運転音声と同期した口の動きを生成することを目的としている。
音声のみの運転パラダイムは、話者固有の唇習慣を不十分に捉えている。
Blind-inpaintingアプローチは、障害を処理する際に視覚的なアーティファクトを生成する。
論文 参考訳（メタデータ） (2025-09-26T05:23:31Z) - Audio-Driven Universal Gaussian Head Avatars [66.56656075831954]
本稿では,音声駆動型ユニバーサルフォトリアリスティックアバター合成法について紹介する。
個人に依存しない音声モデルと私たちの小説Universal Head Avatar Priorを組み合わせたものです。
我々の手法は、外観の詳細なモデリングとレンダリングを考慮に入れた最初の一般的なオーディオ駆動アバターモデルである。
論文 参考訳（メタデータ） (2025-09-23T12:46:43Z) - Discrete Diffusion VLA: Bringing Discrete Diffusion to Action Decoding in Vision-Language-Action Policies [62.653984010274485]
VLA(Vision-Language-Action)モデルは、画像や命令をロボットアクションにマッピングするために、大きな視覚言語バックボーンを適応させる。
prevailingAsは、固定された左から右への順序で自動回帰的にアクションを生成するか、バックボーンの外側で分離または拡散ヘッドをアタッチする。
本稿では離散拡散を伴う離散化作用チャンクをモデル化する統一変換器ポリシである離散拡散VLAを提案する。
論文 参考訳（メタデータ） (2025-08-27T17:39:11Z) - D^3-Talker: Dual-Branch Decoupled Deformation Fields for Few-Shot 3D Talking Head Synthesis [28.923949756720425]
3Dトーキングヘッド合成における重要な課題は、スクラッチから新しいモデルをトレーニングするために、長期にわたるトーキングヘッドビデオに依存することである。
近年,事前学習モデルを用いて音声から一般特徴を抽出し,この問題に対処する手法が提案されている。
本稿ではD3-Talkerを提案する。これは静的な3次元ガウス属性場を構築し,音声信号と顔信号を用いた新しいアプローチである。
論文 参考訳（メタデータ） (2025-08-20T06:12:33Z) - Text2Lip: Progressive Lip-Synced Talking Face Generation from Text via Viseme-Guided Rendering [53.2204901422631]
Text2Lipは、解釈可能な音声-視覚ブリッジを構築するビセメ中心のフレームワークである。
Text2Lipは、意味的忠実性、視覚的リアリズム、モダリティの堅牢性において、既存のアプローチよりも優れていることを示す。
論文 参考訳（メタデータ） (2025-08-04T12:50:22Z) - SAiD: Speech-driven Blendshape Facial Animation with Diffusion [6.4271091365094515]
大規模なビジュアルオーディオデータセットが不足しているため、音声駆動の3D顔アニメーションは困難である。
拡散モデル (SAiD) を用いた音声駆動型3次元顔アニメーションを提案する。
論文 参考訳（メタデータ） (2023-12-25T04:40:32Z) - Lip2Vec: Efficient and Robust Visual Speech Recognition via
Latent-to-Latent Visual to Audio Representation Mapping [4.271091833712731]
従来のモデルから学習するシンプルなアプローチであるLip2Vecを提案する。
提案手法は LRS3 データセット上で26 WER を達成する完全教師付き学習法と比較した。
我々は、VSRをASRタスクとして再プログラムすることで、両者のパフォーマンスギャップを狭め、より柔軟な唇読解法を構築することができると考えている。
論文 参考訳（メタデータ） (2023-08-11T12:59:02Z) - End-to-end Audio-visual Speech Recognition with Conformers [65.30276363777514]
ResNet-18とConvolution-augmented Transformer(Conformer)に基づくハイブリッドCTC/Attentionモデルを提案する。
特に、オーディオおよびビジュアルエンコーダは、生のピクセルとオーディオ波形から直接特徴を抽出することを学びます。
提案手法は, 音声のみ, 視覚のみ, および視聴覚実験において, 最先端の性能を高めることを実証する。
論文 参考訳（メタデータ） (2021-02-12T18:00:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。