論文の概要: Personalized Korean Lipreading as Visual Speech Recognition: Transfer, Census and Adaptation on OLKAVS
- arxiv url: http://arxiv.org/abs/2609.28988v1
- Date: Thu, 24 Sep 2026 04:01:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-25 21:10:09.703348
- Title: Personalized Korean Lipreading as Visual Speech Recognition: Transfer, Census and Adaptation on OLKAVS
- Title（参考訳）: パーソナライズされた韓国語Lipreading:Transfer, Census and Adaptation on OLKAVS
- Abstract要約: 英語学習体重の動画のみのコンバータは9.95 - 12.19%の文字誤り率(CER)を達成した
話者当たり、CERは1.0から52.2%の範囲で、CERを7.0から9.0に下げ、プロの発声と発声が8.5から10.5、12.7ポイント上昇している。
パラメータの4.6%の低ランクアダプタは、ユーザのフロントビデオの4分から29分でトレーニングされ、12のハイエラースピーカーのCERを2.13から3.58ポイントまで下げ、失うことなくすべてのカメラに転送し、フル微調整のゲインの85%を12%に維持する。
- 参考スコア（独自算出の注目度）: 4.157665936399602
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present a personalized Korean visual speech recognition (VSR) system and quantify, on the nine-camera OLKAVS corpus, the gap between the population-level benchmark score and an individual user's error. A video-only Conformer initialized from English-trained weights attains 9.95 - 12.19% character error rate (CER) under the corpus protocol against the published 26.64, and 19.00 - 21.52 on unseen wording. Per speaker, CER spans 1.0 to 52.2%, with seen wording lowering CER by 7.0 - 9.0 points and professional delivery and spontaneous speech raising it by 8.5 - 10.5 and 12.7 points. A low-rank adapter with 4.6% of the parameters, trained on 4 to 29 minutes of the user's frontal video, lowers the CER of twelve high-error speakers by 2.13 to 3.58 points, transfers to every camera without loss, and keeps 85% of the full fine-tuning gain at 12% of its cost to other speakers. Cameras above the mouth plane add about six CER points as a constant offset that training on all views keeps small.
- Abstract（参考訳）: そこで本研究では,9カメラOLKAVSコーパスにおいて,集団レベルのベンチマークスコアと個人ユーザの誤差との差を定量化するために,個人化された韓国の視覚音声認識システムを提案する。
英語で訓練された重量から初期化されたビデオのみのコンフォーマーは、発行された26.64に対してコーパスプロトコルで9.95 - 12.19%の文字誤り率(CER)を達成し、19.00 - 21.52は見当たらない単語である。
話者当たり、CERは1.0から52.2%の範囲で、CERを7.0から9.0に下げ、プロの発声と発声が8.5から10.5、12.7ポイント上昇している。
パラメータの4.6%の低ランクアダプタは、ユーザのフロントビデオの4分から29分でトレーニングされ、12のハイエラースピーカーのCERを2.13から3.58ポイントまで下げ、失うことなくすべてのカメラに転送し、フル微調整のゲインの85%を他のスピーカーに12%のコストで保持する。
口面上のカメラは、6つのCERポイントを一定のオフセットとして追加する。
関連論文リスト
- Multi-Subject Pretraining Enables Short-Calibration Personalization for Closed-Corpus Surface EMG Speech Decoding [13.068471510855169]
表面筋電図に基づくサイレント音声インタフェースは、ユーザ間のばらつきとキャリブレーションの負担によって制限される。
クローズドな50文コーパス内において, 単目的チェックポイントから初期化, 非係留参加者の事前訓練, 対象参加者の微調整を行った。
このパイプラインは21.7%の文字誤り率(CER)と31.9%の単語誤り率(WER)を達成した。
これらの結果は、標準化されたモンタージュ・クローズド・コーパス・セッティングにおける短期校正のパーソナライズを支援する。
論文 参考訳（メタデータ） (2026-09-18T03:56:36Z) - Building a Production Greek-English Speech Recognizer [0.0]
ソフィア (Sophea) はギリシャ語と英語の自動音声認識システムである。
ギリシャ語と英語の単語誤り率,言語識別,幻覚を含む9つの生産ゲートに対して,非音声音声に対するシステムの評価を行った。
論文 参考訳（メタデータ） (2026-09-11T20:02:57Z) - Toward Deployable Bangla Sign Language Recognition with Expert-Validated Data and a Lightweight Attention-Based Model [0.4526247154772785]
RSBdSL38,10,874名の専門家による検証画像が38個のBdSLハンドサインにまたがって紹介される。
本稿では298,470個のパラメータからなる軽量な注意に基づく畳み込みネットワークを提案する。
96.37%の精度(95.72% +-0.54%の5つの種子)を達成し、9つのImageNet事前規制された効率的なアーキテクチャのうち、1.08ポイント以内である。
論文 参考訳（メタデータ） (2026-08-06T16:41:22Z) - Closing the Quality Gap in Low-Resource Text-to-Speech: LoRA Fine-Tuning of VoxCPM2 for Khmer and Korean [3.8910292487627793]
事前訓練された大規模なテキスト音声モデルは、十分にソースされた言語ではほとんど人間に聞こえるが、トレーニングデータでは稀な言語ではずっと悪い。
フローマッチング拡散拡散拡散拡散を伴うMiniCPM-4言語バックボーンを結合するモデルであるVoxCPM2を用いて、クメールと韓国のこの品質ギャップについて検討する。
約26時間の共有言語タグ付きコーパスを構築し、VoxCPM2を1つのLow-Rank Adaptation (LoRA)アダプタで適応させ、同時に両方の言語でトレーニングし、言語モデルとデコーダの両方に追加します。
論文 参考訳（メタデータ） (2026-06-25T05:27:18Z) - Benchmarking Speech-to-Speech Translation Models [55.00303727199927]
音声音声翻訳(S2ST)は急速に進歩しているが、オフライン評価には統一されたプロトコルが欠けている。
8次元にわたる46のメトリクスを統合するベンチマークフレームワークを導入する。
FLEURSとCVSSから1,248のモデル言語構成でデプロイする。
論文 参考訳（メタデータ） (2026-06-02T07:01:33Z) - From English to More Languages: Parameter-Efficient Model Reprogramming
for Cross-Lingual Speech Recognition [50.93943755401025]
言語間音声認識のためのニューラルモデル再プログラミングに基づく新しいパラメータ効率学習フレームワークを提案する。
我々は、学習可能な事前学習機能強化に焦点を当てた、異なる補助的ニューラルネットワークアーキテクチャを設計する。
提案手法は,既存のASRチューニングアーキテクチャとその拡張性能を自己監督的損失で向上させる。
論文 参考訳（メタデータ） (2023-01-19T02:37:56Z) - Few-shot Learning with Multilingual Language Models [66.49496434282564]
多様な言語群をカバーするバランスの取れたコーパス上で,多言語の自動回帰言語モデルを訓練する。
私たちの最大のモデルは、20以上の代表言語で数ショットの学習において、新しい最先端の技術を定めています。
本稿では,モデルがどこで成功し,失敗するかを詳細に分析し,特に言語間の文脈内学習を可能にすることを示す。
論文 参考訳（メタデータ） (2021-12-20T16:52:35Z) - XLS-R: Self-supervised Cross-lingual Speech Representation Learning at
Scale [48.0390317915984]
XLS-Rはwav2vec 2.0に基づく言語間音声表現学習のための大規模モデルである。
128の言語で50万時間近く、最大2Bパラメータを持つモデルをトレーニングします。
論文 参考訳（メタデータ） (2021-11-17T18:49:42Z) - Unsupervised Speech Recognition [55.864459085947345]
wav2vec-Uは、ラベル付きデータなしで音声認識モデルを訓練する方法である。
我々は、自己教師付き音声表現を活用して、ラベルなし音声をセグメント化し、これらの表現から相手の訓練を通して音素へのマッピングを学習する。
より大きな英語のLibrispeechベンチマークでは、wav2vec-Uは、わずか2年前の960時間のラベル付きデータに基づいてトレーニングされた最も優れたシステムに匹敵する、他のテストで5.9の単語エラー率を達成した。
論文 参考訳（メタデータ） (2021-05-24T04:10:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。