論文の概要: Improving Audiovisual Speech Recognition through Synthetic Visual Data Augmentation

• arxiv url: http://arxiv.org/abs/2609.31961v1
• Date: Fri, 25 Sep 2026 20:06:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 04:19:36.468638
• Title: Improving Audiovisual Speech Recognition through Synthetic Visual Data Augmentation
• Title（参考訳）: 合成視覚データ拡張による聴覚音声認識の改善
• Abstract要約: 既存の音声データからリップ同期視覚コンテンツを生成するための音声ヘッドパイプラインを開発した。 合成試料を用いた実AVデータの増大は, 単語誤り率(WER)を最大16.2%削減することを示す。 これらの結果は、合成視覚データがAVSRデータの不足に対するスケーラブルな解決策として機能する証拠となる。
• 参考スコア（独自算出の注目度）: 5.26978736768591
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Audiovisual Speech Recognition (AVSR) is a multimodal approach to speech recognition that incorporates visual information from lip movements to enhance model performance. Despite its advantages, its development remains constrained by the limited availability of labeled audiovisual (AV) datasets. This work explores the use of synthetic visual data as a solution, using an audio-driven talking-head pipeline to generate lip-synchronized visual content from existing audio data. We evaluate the effectiveness of synthetic visual data both as an augmentation strategy and as a standalone training resource, applying our approach to Spanish and Catalan. Our results show that augmenting real AV data with synthetic samples yields relative Word Error Rate (WER) reductions of up to 16.2%, demonstrating the potential of this approach. Moreover, we demonstrate that synthetic data alone can serve as a baseline for AVSR training in languages lacking AV datasets. These findings provide evidence that synthetic visual data can serve as a scalable solution to AVSR data scarcity, enabling broader language coverage.
• Abstract（参考訳）: AVSR (Audiovisual Speech Recognition) は、唇の動きから視覚情報を取り込んで、モデル性能を向上させるマルチモーダルな音声認識手法である。 その利点にもかかわらず、その開発はラベル付きオーディオヴィジュアル(AV)データセットの限られた可用性に制約されている。 本研究は,既存の音声データからリップ同期視覚コンテンツを生成するために,音声駆動型トーキングヘッドパイプラインを用いて合成視覚データをソリューションとして利用する方法について検討する。 我々は, 合成視覚データの有効性を, スペイン語とカタルーニャ語に応用して, 強化戦略とスタンドアロントレーニングリソースとして評価した。 以上の結果から, 合成試料を用いた実AVデータの増大により, 単語誤り率 (WER) は16.2%まで低下し, このアプローチの可能性を示した。 さらに,合成データだけでは,AVデータセットを欠く言語におけるAVSRトレーニングのベースラインとして機能することを示す。 これらの発見は、合成視覚データがAVSRデータの不足に対するスケーラブルな解決策として機能し、より広範な言語カバレッジを可能にする証拠となる。

関連論文リスト

• ViCocktail: Automated Multi-Modal Data Collection for Vietnamese Audio-Visual Speech Recognition [4.0048516930686535]
  本稿では,生ビデオからAVSRデータセットを生成するための実用的な手法を提案する。 ベトナムのためのベースラインAVSRモデルを開発することで、その幅広い適用性を実証する。
  論文  参考訳（メタデータ） (2025-06-05T05:13:01Z)
• Robust Audiovisual Speech Recognition Models with Mixture-of-Experts [67.75334989582709]
  EVAを導入し、オーディオVisual ASRのミックス・オブ・エクササイズを利用して、Wildのビデオに対してロバストな音声認識を行う。 まず、視覚情報を視覚トークンシーケンスにエンコードし、それらを軽量な投影により音声空間にマッピングする。 実験により,本モデルが3つのベンチマークで最先端の結果が得られることが示された。
  論文  参考訳（メタデータ） (2024-09-19T00:08:28Z)
• SynesLM: A Unified Approach for Audio-visual Speech Recognition and Translation via Language Model and Synthetic Data [42.48380346580101]
  我々は3つのマルチモーダル言語理解タスクを実行できる統一モデルであるSynesLMを提案する。 ゼロショットのAV-ASRでは、SynesLMはワードエラー率(WER)を43.4%から39.4%に下げることでSOTAのパフォーマンスを達成した。 VSTとVMTの成績は,VSTの37.2からBLEUスコアを43.5,VMTの54.4から54.8に改善した。
  論文  参考訳（メタデータ） (2024-08-01T15:09:32Z)
• Sequential Contrastive Audio-Visual Learning [12.848371604063168]
  本稿では,非集約的表現空間に基づく実例を対比した逐次コントラスト型音声視覚学習(SCAV)を提案する。 VGGSoundとMusicのデータセットによる実験は、SCAVの有効性を実証している。 また、SCAVでトレーニングされたモデルが、検索に使用されるメトリックに関して、かなりの柔軟性を示すことを示す。
  論文  参考訳（メタデータ） (2024-07-08T09:45:20Z)
• Multilingual Audio-Visual Speech Recognition with Hybrid CTC/RNN-T Fast Conformer [59.57249127943914]
  本稿では,複数の改良を加えた多言語音声認識モデルを提案する。 我々は、6つの異なる言語に対する音声視覚訓練データの量を増やし、重複しない多言語データセットの自動書き起こしを生成する。 提案モデルでは, LRS3データセット上での新たな最先端性能を実現し, WERは0.8%に達した。
  論文  参考訳（メタデータ） (2024-03-14T01:16:32Z)
• Cooperative Dual Attention for Audio-Visual Speech Enhancement with Facial Cues [80.53407593586411]
  頑健な音声音声強調(AVSE)のための唇領域を超えて顔の手がかりを活用することに注力する。 本稿では,音声関連情報を無視し,音声関連情報を顔の手がかりで捉え,AVSEの音声信号と動的に統合するDual Attention Cooperative Framework(DualAVSE)を提案する。
  論文  参考訳（メタデータ） (2023-11-24T04:30:31Z)
• VILAS: Exploring the Effects of Vision and Language Context in Automatic Speech Recognition [18.19998336526969]
  ViLaS(Vision and Language into Automatic Speech Recognition)は、CIF(Continuous Integration-and-fire)機構に基づく新しいマルチモーダルASRモデルである。 視覚と言語を統合することの効果を探るため、中国語と英語の両バージョンでマルチモーダルコンテキストキューを備えたマルチモーダルASRデータセットであるVSDialを開発した。
  論文  参考訳（メタデータ） (2023-05-31T16:01:20Z)
• AVFormer: Injecting Vision into Frozen Speech Models for Zero-Shot AV-ASR [79.21857972093332]
  本稿では,視覚情報を用いた音声のみのモデル拡張手法であるAVFormerについて述べる。 最小限のトレーニング時間とパラメータで、弱ラベル付き動画データを少量でトレーニングできることが示される。 また、トレーニング中に簡単なカリキュラム方式を導入し、モデルが音声と視覚情報を効果的に処理できることを示します。
  論文  参考訳（メタデータ） (2023-03-29T07:24:28Z)
• AV-data2vec: Self-supervised Learning of Audio-Visual Speech Representations with Contextualized Target Representations [88.30635799280923]
  AV-data2vecを導入し、文脈化表現の予測に基づいて音声・視覚表現を構築する。 LRS3の結果は、AV-data2vecが、同じ量のデータとモデルサイズで既存のメソッドを一貫して上回っていることを示している。
  論文  参考訳（メタデータ） (2023-02-10T02:55:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。