論文の概要: Curriculum-Based Noise Adaptation for Phoneme-to-Text Reconstruction in Visual Speech Recognition

• arxiv url: http://arxiv.org/abs/2609.20839v1
• Date: Thu, 30 Jul 2026 04:56:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.682327
• Title: Curriculum-Based Noise Adaptation for Phoneme-to-Text Reconstruction in Visual Speech Recognition
• Title（参考訳）: 音声認識における音素間再構成のためのカリキュラムベース雑音適応
• Abstract要約: 音素中心の視覚音声認識は中間音素予測から文を再構成する。 既存の再構成手法は、清潔な音素配列や合成劣化した入力に基づいて訓練される。 本稿では,この制限に対処するプログレッシブエラーカリキュラムトレーニング(PECT)を提案する。
• 参考スコア（独自算出の注目度）: 1.3686940157259604
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Phoneme-centric visual speech recognition reconstructs sentences from intermediate phoneme predictions, making overall recognition performance highly dependent on the robustness of the phoneme-to-text reconstruction model. Existing reconstruction approaches are commonly trained on clean phoneme sequences or synthetically corrupted inputs, leading to a mismatch between training conditions and the realistic phoneme prediction errors encountered during inference. To address this limitation, this paper proposes progressive error curriculum training (PECT). This curriculum learning framework progressively adapts a No Language Left Behind (NLLB)-based phoneme-to-text reconstruction model using synthetic phoneme perturbations, multi-domain pseudo-labels, and target-domain pseudo-labels generated by a visual speech recognizer. By gradually exposing the reconstruction model to increasingly realistic phoneme prediction errors, the proposed framework improves robustness while preserving sentence-reconstruction accuracy. Experiments on the LRS2 and LRS3 benchmarks demonstrate that PECT consistently improves reconstruction performance across multiple phoneme-based visual speech recognition frontends, including visual automatic speech recognition (V-ASR), point visual automatic speech recognition (PV-ASR), and head-pose-aware visual speech recognition (HP-VSR) variants. In particular, PECT reduces the word error rate (WER) of HP-VSR-FiLMFuse (L4) from 23.3% to 22.2% on LRS2 and reduces the WER of HP-VSR-ResFiLM from 30.3% to 29.7% on LRS3. Comprehensive ablation studies and qualitative analyses further demonstrate the effectiveness of progressively adapting the reconstruction model to realistic phoneme prediction errors. These results show that PECT provides an effective and generalizable curriculum learning strategy for phoneme-to-text reconstruction in phoneme-centric visual speech recognition.
• Abstract（参考訳）: 音素中心の視覚音声認識は中間音素予測から文を再構成し、音声認識性能は音素間再構成モデルの堅牢性に大きく依存する。 既存の再構成手法は、クリーンな音素配列や合成劣化した入力に基づいて訓練され、トレーニング条件と推論中に発生する現実的な音素予測誤差のミスマッチにつながる。 本報告では,この制限に対処するため,プログレッシブエラーカリキュラムトレーニング(PECT)を提案する。 このカリキュラム学習フレームワークは、合成音素摂動、多ドメイン擬似ラベル、および視覚音声認識装置によって生成されたターゲットドメイン擬似ラベルを用いて、NLLB(No Language Left Behind)ベースの音素対テキスト再構成モデルを段階的に適応させる。 より現実的な音素予測誤差に徐々に再構成モデルを露出させることで,文再構成精度を維持しつつ頑健性を向上させる。 LRS2 と LRS3 ベンチマークの実験では、PECT は視覚自動音声認識(V-ASR)、点視覚自動音声認識(PV-ASR)、頭部認識型(HP-VSR)など、複数の音素ベースの視覚音声認識フロントエンドにおける再構成性能を一貫して改善している。 特に PECT は HP-VSR-FiLMFuse (L4) の単語誤り率 (WER) を LRS2 で 23.3% から 22.2% に減らし、HP-VSR-ResFiLM の WER を 30.3% から 29.7% に減らした。 包括的アブレーション研究と質的分析により、再現モデルを現実的な音素予測誤差に段階的に適応させる効果がさらに示された。 これらの結果から, PECTは音素中心の音声認識において, 音素からテキストへの再構成を効果的かつ一般化可能なカリキュラム学習戦略を提供することがわかった。

関連論文リスト

• Head-Pose-Aware Visual Speech Recognition with FiLM Modulation [1.3686940157259604]
  本稿では,頭部情報を視覚的特徴抽出に明示的に組み込んだポーズ対応音素レベルフレームワークHP-VSR-ResFiLMを提案する。 我々は,HP-VSR-ResFiLMが,訓練データに頼らずに,それぞれ25.0%,33.2%の単語誤り率(WER)で競合性能を達成することを示す。
  論文  参考訳（メタデータ） (2026-05-30T14:35:47Z)
• Syllabic-Structure Decoder for Automatic Speech Recognition in Vietnamese [8.447993256993428]
  我々はベトナム語の特徴から、ASRのためのSyllabic-Structure Decoderを提案する。 提案手法では,音節の音韻的構成を明示的に把握し,コンパクトな音韻インベントリから有効な音節構造をデコーダで生成する。
  論文  参考訳（メタデータ） (2026-05-27T02:51:09Z)
• Text2Lip: Progressive Lip-Synced Talking Face Generation from Text via Viseme-Guided Rendering [53.2204901422631]
  Text2Lipは、解釈可能な音声-視覚ブリッジを構築するビセメ中心のフレームワークである。 Text2Lipは、意味的忠実性、視覚的リアリズム、モダリティの堅牢性において、既存のアプローチよりも優れていることを示す。
  論文  参考訳（メタデータ） (2025-08-04T12:50:22Z)
• Phoneme-Level Visual Speech Recognition via Point-Visual Fusion and Language Model Reconstruction [1.778037147204838]
  視覚自動音声認識(V-ASR)は、唇の動きや表情などの視覚情報のみから音声言語を解釈する課題である。 既存の手法は、しばしば視覚的手がかりから直接単語を予測することを目的としているが、視覚的曖昧さによる高いエラー率に悩まされることが多い。 本稿では,視覚的特徴とランドマーク的特徴を融合した新しい音素ベースの2段階フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-07-25T00:38:39Z)
• VALLR: Visual ASR Language Model for Lip Reading [28.561566996686484]
  リップレディング(Lip Reading)または視覚自動音声認識(Visual Automatic Speech Recognition)は、視覚的手がかりからのみ音声言語の解釈を必要とする複雑なタスクである。 視覚自動音声認識(V-ASR)のための新しい2段階音素中心のフレームワークを提案する。 まず,CTCヘッドを用いたビデオ変換器を用いて,視覚入力から音素のコンパクトな列を予測する。 この音素出力は、コヒーレントな単語と文を再構成する微調整された大言語モデル(LLM)への入力として機能する。
  論文  参考訳（メタデータ） (2025-03-27T11:52:08Z)
• Towards Unsupervised Speech Recognition Without Pronunciation Models [57.222729245842054]
  本稿では,ペア音声とテキストコーパスを使わずにASRシステムを開発するという課題に取り組む。 音声合成とテキスト・テキスト・マスクによるトークン埋込から教師なし音声認識が実現可能であることを実験的に実証した。 この革新的なモデルは、レキシコンフリー環境下での以前の教師なしASRモデルの性能を上回る。
  論文  参考訳（メタデータ） (2024-06-12T16:30:58Z)
• Lip2Vec: Efficient and Robust Visual Speech Recognition via Latent-to-Latent Visual to Audio Representation Mapping [4.271091833712731]
  従来のモデルから学習するシンプルなアプローチであるLip2Vecを提案する。 提案手法は LRS3 データセット上で26 WER を達成する完全教師付き学習法と比較した。 我々は、VSRをASRタスクとして再プログラムすることで、両者のパフォーマンスギャップを狭め、より柔軟な唇読解法を構築することができると考えている。
  論文  参考訳（メタデータ） (2023-08-11T12:59:02Z)
• Jointly Learning Visual and Auditory Speech Representations from Raw Data [108.68531445641769]
  RAVEnは視覚と聴覚の表現を協調的に学習する自己教師型マルチモーダルアプローチである。 我々の設計は、ビデオとオーディオの固有の違いによって駆動される非対称なw.r.t.である。 RAVEnは視覚音声認識における全自己指導手法を超越している。
  論文  参考訳（メタデータ） (2022-12-12T21:04:06Z)
• Audio-visual multi-channel speech separation, dereverberation and recognition [70.34433820322323]
  本稿では,音声-視覚的多チャンネル音声分離,デバーベレーション,認識手法を提案する。 音声を用いた場合の視覚的モダリティの利点は、2つのニューラルデバーベレーションアプローチでのみ示される。 LRS2データセットを用いて行った実験から,提案手法がベースラインよりも優れていたことが示唆された。
  論文  参考訳（メタデータ） (2022-04-05T04:16:03Z)
• Sub-word Level Lip Reading With Visual Attention [88.89348882036512]
  我々は、リップリーディングで遭遇するユニークな課題に注目し、調整されたソリューションを提案する。 公開データセット上でのトレーニングにおいて,挑戦的なLSS2とLSS3ベンチマークの最先端結果を得る。 我々の最良のモデルはLRS2データセットで22.6%のワードエラー率を達成する。
  論文  参考訳（メタデータ） (2021-10-14T17:59:57Z)
• Learning Explicit Prosody Models and Deep Speaker Embeddings for Atypical Voice Conversion [60.808838088376675]
  本稿では,明示的な韻律モデルと深層話者埋め込み学習を用いたVCシステムを提案する。 韻律補正器は音素埋め込みを取り入れ、典型的な音素持続時間とピッチ値を推定する。 変換モデルは、音素埋め込みと典型的な韻律特徴を入力として、変換された音声を生成する。
  論文  参考訳（メタデータ） (2020-11-03T13:08:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。