論文の概要: Development and evaluation of a deep learning algorithm for German word recognition from lip movements

• arxiv url: http://arxiv.org/abs/2504.15792v1
• Date: Tue, 22 Apr 2025 11:12:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-30 20:51:55.472773
• Title: Development and evaluation of a deep learning algorithm for German word recognition from lip movements
• Title（参考訳）: 口唇運動によるドイツ語単語認識のための深層学習アルゴリズムの開発と評価
• Authors: Dinh Nam Pham, Torsten Rahne,
• Abstract要約: 唇へのカットでは、話者の顔全体へのカットよりも70%の精度が達成された。 唇読解のためのニューラルネットワークは非常に高い精度を示し、英語のアルゴリズムに匹敵する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: When reading lips, many people benefit from additional visual information from the lip movements of the speaker, which is, however, very error prone. Algorithms for lip reading with artificial intelligence based on artificial neural networks significantly improve word recognition but are not available for the German language. A total of 1806 video clips with only one German-speaking person each were selected, split into word segments, and assigned to word classes using speech-recognition software. In 38,391 video segments with 32 speakers, 18 polysyllabic, visually distinguishable words were used to train and validate a neural network. The 3D Convolutional Neural Network and Gated Recurrent Units models and a combination of both models (GRUConv) were compared, as were different image sections and color spaces of the videos. The accuracy was determined in 5000 training epochs. Comparison of the color spaces did not reveal any relevant different correct classification rates in the range from 69% to 72%. With a cut to the lips, a significantly higher accuracy of 70% was achieved than when cut to the entire speaker's face (34%). With the GRUConv model, the maximum accuracies were 87% with known speakers and 63% in the validation with unknown speakers. The neural network for lip reading, which was first developed for the German language, shows a very high level of accuracy, comparable to English-language algorithms. It works with unknown speakers as well and can be generalized with more word classes.
• Abstract（参考訳）: 唇を読むとき、多くの人は、話者の唇の動きから追加の視覚的情報から恩恵を受ける。 人工知能を用いた唇読解アルゴリズムは、音声認識を大幅に改善するが、ドイツ語では利用できない。 合計1806本のビデオクリップが、それぞれ1人のドイツ語話者のみが選ばれ、単語セグメントに分割され、音声認識ソフトウェアを使用して単語クラスに割り当てられた。 32の話者を持つ38,391の動画セグメントでは、18の多音節、視覚的に区別可能な単語がニューラルネットワークのトレーニングと検証に使用された。 3次元畳み込みニューラルネットワークとGated Recurrent Unitsモデルと両モデルの組み合わせ(GRUConv)を比較した。 精度は5000の訓練エポックで決定された。 色空間の比較では、69%から72%の範囲で関連性が異なる正しい分類率を明らかにしなかった。 唇へのカットでは、話者の顔全体へのカット(34%)よりも70%の精度で達成された。 GRUConvモデルでは、既知の話者で最大精度が87%、未知話者で63%であった。 ドイツ語で最初に開発された唇読解のためのニューラルネットワークは、英語のアルゴリズムに匹敵する非常に高い精度を示している。 未知の話者でも動作し、より多くの単語クラスで一般化することができる。

関連論文リスト

• SpeechAlign: Aligning Speech Generation to Human Preferences [51.684183257809075]
  本稿では,言語モデルと人間の嗜好を一致させる反復的自己改善戦略であるSpeechAlignを紹介する。 我々は、SpeechAlignが分散ギャップを埋め、言語モデルの継続的自己改善を促進することができることを示す。
  論文  参考訳（メタデータ） (2024-04-08T15:21:17Z)
• Cross-Attention Fusion of Visual and Geometric Features for Large Vocabulary Arabic Lipreading [3.502468086816445]
  リップリーディングは、唇とその周辺領域の動きを分析することによって、音声の認識に視覚データを使用する。 近年の深層学習に基づく研究は,口域から抽出した視覚的特徴を唇輪郭の目印点と統合することを目的としている。 本稿では,ビデオ中の音声単語を予測するために,大語彙アラビア語彙に対するクロスアテンション融合に基づくアプローチを提案する。
  論文  参考訳（メタデータ） (2024-02-18T09:22:58Z)
• Multilingual self-supervised speech representations improve the speech recognition of low-resource African languages with codeswitching [65.74653592668743]
  微細な自己教師型多言語表現は絶対単語誤り率を最大20%削減する。 訓練データに制限のある状況では、自己教師付き表現を微調整することが、より良いパフォーマンスと実行可能なソリューションである。
  論文  参考訳（メタデータ） (2023-11-25T17:05:21Z)
• Employing Hybrid Deep Neural Networks on Dari Speech [0.0]
  本稿では,Mel- frequency cepstral coefficients (MFCCs) 特徴抽出法を用いて,Dari言語における個々の単語の認識に焦点を当てる。 我々は、畳み込みニューラルネットワーク(CNN)、リカレントニューラルネットワーク(RNN)、多層パーセプトロン(MLP)の3つの異なるディープニューラルネットワークモデルを評価する。
  論文  参考訳（メタデータ） (2023-05-04T23:10:53Z)
• Toward a realistic model of speech processing in the brain with self-supervised learning [67.7130239674153]
  生波形で訓練された自己教師型アルゴリズムは有望な候補である。 We show that Wav2Vec 2.0 learns brain-like representations with little as 600 hours of unlabelled speech。
  論文  参考訳（メタデータ） (2022-06-03T17:01:46Z)
• Self-supervised Learning with Random-projection Quantizer for Speech Recognition [51.24368930992091]
  音声認識のためのシンプルで効果的な自己教師型学習手法を提案する。 このアプローチは、離散ラベルの形で、マスキングされた音声信号を予測するモデルを学ぶ。 非ストリーミングモデルを用いた自己教師付き学習を用いて、従来の作業と同じような単語エラー率を達成する。
  論文  参考訳（メタデータ） (2022-02-03T21:29:04Z)
• Read Like Humans: Autonomous, Bidirectional and Iterative Language Modeling for Scene Text Recognition [80.446770909975]
  言語知識はシーンのテキスト認識に非常に有益である。 エンドツーエンドのディープネットワークで言語規則を効果的にモデル化する方法はまだ研究の課題です。 シーンテキスト認識のための自律的双方向反復型ABINetを提案する。
  論文  参考訳（メタデータ） (2021-03-11T06:47:45Z)
• Unsupervised Cross-lingual Representation Learning for Speech Recognition [63.85924123692923]
  XLSRは、複数の言語における音声の生波形から1つのモデルを事前学習することで、言語間音声表現を学習する。 我々は、マスク付き潜在音声表現よりも対照的なタスクを解くことで訓練されたwav2vec 2.0を構築した。 実験により、言語間事前学習はモノリンガル事前訓練よりも著しく優れていることが示された。
  論文  参考訳（メタデータ） (2020-06-24T18:25:05Z)
• Improved acoustic word embeddings for zero-resource languages using multilingual transfer [37.78342106714364]
  我々は、ラベル付きデータに対する複数の良質な言語からの単一の教師付き埋め込みモデルを訓練し、それを目に見えないゼロ・リソース言語に適用する。 本稿では,3つのマルチリンガルリカレントニューラルネットワーク(RNN)モデルについて考察する。全ての訓練言語の連接語彙に基づいて訓練された分類器,複数言語から同一語と異なる単語を識別する訓練されたシームズRNN,単語ペアを再構成する訓練された対応オートエンコーダ(CAE)RNNである。 これらのモデルは、ゼロリソース言語自体で訓練された最先端の教師なしモデルよりも優れており、平均精度が30%以上向上している。
  論文  参考訳（メタデータ） (2020-06-02T12:28:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。