論文の概要: VALLR-Pin: Uncertainty-Factorized Visual Speech Recognition for Mandarin with Pinyin Guidance

• arxiv url: http://arxiv.org/abs/2512.20032v2
• Date: Mon, 29 Dec 2025 00:34:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-30 13:10:31.513777
• Title: VALLR-Pin: Uncertainty-Factorized Visual Speech Recognition for Mandarin with Pinyin Guidance
• Title（参考訳）: VALLR-Pin: ピニイン誘導マンダリンの不確かさ判定型視覚音声認識
• Authors: Chang Sun, Dongliang Xie, Wanpeng Xie, Bo Qin, Hong Yang,
• Abstract要約: 本稿では,2段階のマンダリン音声認識フレームワークであるVALLR-Pinを提案する。 VALLR-Pinは、Pinyinを中間表現として明示的に組み込んでいる。 VALLR-Pinは複数話者条件下での転写精度を一貫して向上することを示す。
• 参考スコア（独自算出の注目度）: 10.289249986948393
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Visual speech recognition (VSR) aims to transcribe spoken content from silent lip-motion videos and is particularly challenging in Mandarin due to severe viseme ambiguity and pervasive homophones. We propose VALLR-Pin, a two-stage Mandarin VSR framework that extends the VALLR architecture by explicitly incorporating Pinyin as an intermediate representation. In the first stage, a shared visual encoder feeds dual decoders that jointly predict Mandarin characters and their corresponding Pinyin sequences, encouraging more robust visual-linguistic representations. In the second stage, an LLM-based refinement module takes the predicted Pinyin sequence together with an N-best list of character hypotheses to resolve homophone-induced ambiguities. To further adapt the LLM to visual recognition errors, we fine-tune it on synthetic instruction data constructed from model-generated Pinyin-text pairs, enabling error-aware correction. Experiments on public Mandarin VSR benchmarks demonstrate that VALLR-Pin consistently improves transcription accuracy under multi-speaker conditions, highlighting the effectiveness of combining phonetic guidance with lightweight LLM refinement.
• Abstract（参考訳）: 視覚音声認識(VSR)は、サイレントリップモーションビデオから音声コンテンツを転写することを目的としており、特にマンダリンでは激しいビセムの曖昧さと広汎なホモフォンのために困難である。 中間表現としてPinyinを明示的に組み込んでVALLRアーキテクチャを拡張する2段階のマンダリンVSRフレームワークであるVALLR-Pinを提案する。 第1段階では、共有ビジュアルエンコーダがデュアルデコーダを供給し、マンダリン文字とその対応するピニイン配列を共同で予測し、より堅牢な視覚言語表現を奨励する。 第2段階では、LLMベースの精製モジュールは、予測されたピニイン配列とN-bestの文字仮説のリストを伴って、ホモフォンによる曖昧さを解消する。 さらにLLMを視覚的認識誤差に適応させるために、モデル生成したPinyin-textペアから構築した合成命令データに微調整を行い、エラー認識補正を可能にする。 公的なマンダリンVSRベンチマークの実験では、VALLR-Pinはマルチスピーカ条件下での転写精度を一貫して改善し、音声指導と軽量LLM改善の併用の有効性を強調している。

関連論文リスト

• Transcribe, Translate, or Transliterate: An Investigation of Intermediate Representations in Spoken Language Models [68.69744941948986]
  音声を大言語モデル(LM)と統合する音声言語モデル(SLM)は、音声エンコーダの出力をデコーダ LM に理解可能な表現にマッピングするモダリティアダプタ(MA)に依存している。 ここでは、3つのSLM(SALMONN, Qwen2-Audio, Phi-4-Multimodal-Instruct)におけるMA出力表現について検討する。 MA表現に最も近いデコーダLMトークンを見つけることで、MA表現の2つの戦略を明らかにする。
  論文  参考訳（メタデータ） (2025-10-02T21:19:40Z)
• PART: Progressive Alignment Representation Training for Multilingual Speech-To-Text with LLMs [58.2469845374385]
  進歩的アライメント表現訓練(PART)について紹介する。 Partは多段階およびマルチタスクのフレームワークで、言語内のアライメントと言語間のアライメントを分離する。 CommonVoice 15の実験では、Fleurs、Wenetspeech、CoVoST2が、Particleが従来のアプローチを上回ることを示している。
  論文  参考訳（メタデータ） (2025-09-24T03:54:14Z)
• Large Language Model Should Understand Pinyin for Chinese ASR Error Correction [31.13523648668466]
  我々は,中国のASR誤り訂正を改善するため,Pinyin-enhanced GECを提案する。 提案手法は, 合成誤差をトレーニングに用い, 推論時に最良仮説を用いる。 Aishell-1とCommon Voiceデータセットの実験は、我々のアプローチがテキストのみの入力でGECを一貫して上回っていることを示している。
  論文  参考訳（メタデータ） (2024-09-20T06:50:56Z)
• Is context all you need? Scaling Neural Sign Language Translation to Large Domains of Discourse [34.70927441846784]
  手話翻訳(SLT)は手話ビデオから音声言語文を生成することを目的とした課題である。 本稿では,翻訳タスクを人間と同じようにコンテキスト対応で処理する,新しいマルチモーダルトランスフォーマーアーキテクチャを提案する。 本稿では,文脈情報を用いた最先端翻訳性能の大幅な向上を報告し,ベースラインアプローチのBLEU-4スコアをほぼ倍増させた。
  論文  参考訳（メタデータ） (2023-08-18T15:27:22Z)
• Enhancing Cross-lingual Transfer via Phonemic Transcription Integration [57.109031654219294]
  PhoneXLは、音素転写を言語間移動のための追加のモダリティとして組み込んだフレームワークである。 本研究は, 音素転写が, 言語間移動を促進するために, 正書法以外の重要な情報を提供することを示すものである。
  論文  参考訳（メタデータ） (2023-07-10T06:17:33Z)
• Dual-Decoder Transformer For end-to-end Mandarin Chinese Speech Recognition with Pinyin and Character [15.999657143705045]
  ピニインと文字・綴り体系としての性格はそれぞれ、中国語における相互の昇進である。 そこで本研究では,2次元デコーダ変換器を用いた新しい中国語ASRモデルを提案する。 AISHELL-1データセットのテストセットの結果は、言語モデルを持たない音声-ピニイン-文字-相互作用(S PCI)モデルがテストセット上で9.85%の文字誤り率(CER)を達成することを示している。
  論文  参考訳（メタデータ） (2022-01-26T07:59:03Z)
• SHUOWEN-JIEZI: Linguistically Informed Tokenizers For Chinese Language Model Pretraining [48.880840711568425]
  事前学習された言語モデルの中国語トークン化に対する3つの要因の影響について検討する。 本稿では,発音に基づくトークン化システムであるSHUOWEN (Talk Word) と,グリフに基づくトークン化システムであるJIEZI (Solve Character) の3種類のトークン化手法を提案する。 SHUOWENとJIEZIは、一般的に従来のシングル文字トークンよりも優れた性能を持つ。
  論文  参考訳（メタデータ） (2021-06-01T11:20:02Z)
• Non-autoregressive Mandarin-English Code-switching Speech Recognition with Pinyin Mask-CTC and Word Embedding Regularization [61.749126838659315]
  マンダリン・イングリッシュ・コード・スイッチング (CS) は東アジアや東南アジアでよく使われている。 近年の非自己回帰(NAR)ASRモデルは、自己回帰(AR)モデルにおける左から右へのビームデコードの必要性を排除している。 エンコーダの出力目標をpinyinに変更してエンコーダトレーニングを高速化し,文脈情報学習のためのpinyin-to-mandarinデコーダを提案する。
  論文  参考訳（メタデータ） (2021-04-06T03:01:09Z)
• Polyphone Disambiguation in Mandarin Chinese with Semi-Supervised Learning [9.13211149475579]
  漢字の大部分は単音であり、多声文字と呼ばれる特殊な文字群は複数の発音を持つ。 音声関連生成タスクの実行の前提条件として、正しい発音を複数の候補者に特定する必要がある。 マンダリン中国語多音不明瞭化のための半教師付き学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-02-01T03:47:59Z)
• g2pM: A Neural Grapheme-to-Phoneme Conversion Package for Mandarin Chinese Based on a New Open Benchmark Dataset [14.323478990713477]
  中国語の多音不明瞭化のための99,000以上の文からなる新しいベンチマークデータセットを提案する。 私たちは、その上に単純なニューラルネットワークモデルをトレーニングし、既存のG2Pシステムよりも優れていることを見つけます。
  論文  参考訳（メタデータ） (2020-04-07T05:44:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。