論文の概要: Continuous Sign Language Recognition with Adapted Conformer via Unsupervised Pretraining

• arxiv url: http://arxiv.org/abs/2405.12018v1
• Date: Mon, 20 May 2024 13:40:52 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-21 13:05:04.739571
• Title: Continuous Sign Language Recognition with Adapted Conformer via Unsupervised Pretraining
• Title（参考訳）: 教師なし事前学習による適応コンバータを用いた連続手話認識
• Authors: Neena Aloysius, Geetha M, Prema Nedungadi,
• Abstract要約: 音声認識のための最先端コンフォーマーモデルを連続手話認識に適用する。 これは、視覚ベースのタスクにConformerを使用した最初の例である。 教師なし事前訓練は、キュレートされた手話データセット上で行われる。
• 参考スコア（独自算出の注目度）: 0.6144680854063939
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Conventional Deep Learning frameworks for continuous sign language recognition (CSLR) are comprised of a single or multi-modal feature extractor, a sequence-learning module, and a decoder for outputting the glosses. The sequence learning module is a crucial part wherein transformers have demonstrated their efficacy in the sequence-to-sequence tasks. Analyzing the research progress in the field of Natural Language Processing and Speech Recognition, a rapid introduction of various transformer variants is observed. However, in the realm of sign language, experimentation in the sequence learning component is limited. In this work, the state-of-the-art Conformer model for Speech Recognition is adapted for CSLR and the proposed model is termed ConSignformer. This marks the first instance of employing Conformer for a vision-based task. ConSignformer has bimodal pipeline of CNN as feature extractor and Conformer for sequence learning. For improved context learning we also introduce Cross-Modal Relative Attention (CMRA). By incorporating CMRA into the model, it becomes more adept at learning and utilizing complex relationships within the data. To further enhance the Conformer model, unsupervised pretraining called Regressional Feature Extraction is conducted on a curated sign language dataset. The pretrained Conformer is then fine-tuned for the downstream recognition task. The experimental results confirm the effectiveness of the adopted pretraining strategy and demonstrate how CMRA contributes to the recognition process. Remarkably, leveraging a Conformer-based backbone, our model achieves state-of-the-art performance on the benchmark datasets: PHOENIX-2014 and PHOENIX-2014T.
• Abstract（参考訳）: 連続手話認識(CSLR)のための従来のディープラーニングフレームワークは、単一またはマルチモーダルな特徴抽出器、シーケンスラーニングモジュール、グロースを出力するデコーダから構成される。 シークエンス学習モジュールは、シークエンス・ツー・シークエンス・タスクにおいて、トランスフォーマーがそれらの有効性を実証する重要な部分である。 自然言語処理と音声認識の分野における研究の進展を分析した結果,様々な変圧器の迅速な導入が観察された。 しかし、手話の領域では、シーケンス学習コンポーネントでの実験は限られている。 本研究では,音声認識のための最先端コンフォーマモデルをCSLRに適用し,提案手法をConSignformerと呼ぶ。 これは、視覚ベースのタスクにConformerを使用した最初の例である。 ConSignformerは、CNNのバイモーダルパイプラインを特徴抽出器として、そしてシーケンス学習のためのConformerを備えている。 文脈学習を改善するために、Cross-Modal Relative Attention (CMRA)を導入します。 CMRAをモデルに組み込むことで、データ内の複雑な関係を学習し活用しやすくなります。 コンフォーマーモデルをさらに強化するため、訓練済み手話データセット上でRegressional Feature extractと呼ばれる教師なし事前訓練を行う。 事前訓練されたコンフォーマーは、下流認識タスクのために微調整される。 実験により, 事前学習戦略の有効性を確認し, CMRAが認識プロセスにどう貢献するかを実証した。 注目すべきは、Conformerベースのバックボーンを活用することで、ベンチマークデータセット(PHOENIX-2014とPHOENIX-2014T)で最先端のパフォーマンスを実現することです。

関連論文リスト

• A Tale of Two Languages: Large-Vocabulary Continuous Sign Language Recognition from Spoken Language Supervision [74.972172804514]
  我々は,署名された言語と音声のテキスト間の共同埋め込み空間において,署名シーケンスと出力を抽出できるマルチタスクトランスフォーマーモデルCSLR2を導入する。 新しいデータセットアノテーションは、6時間のテストビデオに対して、連続的なサインレベルアノテーションを提供する。 私たちのモデルは、両方のタスクにおいて、過去の技術状況よりも大幅に優れています。
  論文  参考訳（メタデータ） (2024-05-16T17:19:06Z)
• A Transformer Model for Boundary Detection in Continuous Sign Language [55.05986614979846]
  Transformerモデルは、分離された手話認識と連続手話認識の両方に使用される。 トレーニングプロセスは、入力されたビデオから抽出された手指キーポイントの特徴を豊かにする、孤立した手指ビデオを使用する。 トレーニングされたモデルと後処理の手法が組み合わさって、連続した手話ビデオ内の孤立した手話境界を検出する。
  論文  参考訳（メタデータ） (2024-02-22T17:25:01Z)
• Scalable Learning of Latent Language Structure With Logical Offline Cycle Consistency [71.42261918225773]
  概念的には、LOCCOは、トレーニング対象のセマンティクスを使用してラベルなしテキストのアノテーションを生成する、自己学習の一形態と見なすことができる。 追加ボーナスとして、LOCCOによって生成されたアノテーションは、神経テキスト生成モデルをトレーニングするために自明に再利用することができる。
  論文  参考訳（メタデータ） (2023-05-31T16:47:20Z)
• SignBERT+: Hand-model-aware Self-supervised Pre-training for Sign Language Understanding [132.78015553111234]
  手の動きは手話の表現において重要な役割を担っている。 現在,手話理解(SLU)の深層学習手法は,手話データ資源の不足により過度に適合する傾向にある。 モデル認識ハンドを組み込んだ初の自己教師型事前学習型SignBERT+フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-08T17:16:38Z)
• Improving Continuous Sign Language Recognition with Consistency Constraints and Signer Removal [24.537234147678113]
  CSLRバックボーンを強化するために,3つの補助タスクを提案する。 視覚モジュールを強制するために、キーポイント誘導空間アテンションモジュールを開発する。 視覚モジュールとシーケンシャルモジュールの間には、文埋め込み一貫性制約が課される。 本モデルでは,5つのベンチマークで最先端または競争性能を実現する。
  論文  参考訳（メタデータ） (2022-12-26T06:38:34Z)
• Hierarchical Conditional End-to-End ASR with CTC and Multi-Granular Subword Units [19.668440671541546]
  エンドツーエンドの自動音声認識では、単語レベルのシーケンスを認識するのに適した表現を暗黙的に学習することが期待される。 接続型時間分類(CTC)に基づく階層型条件付きモデルを提案する。 LibriSpeech-100h, 960h, TEDLium2の実験結果から, 提案モデルが標準CTCモデルよりも改良されていることが示された。
  論文  参考訳（メタデータ） (2021-10-08T13:15:58Z)
• COCO-LM: Correcting and Contrasting Text Sequences for Language Model Pretraining [59.169836983883656]
  COCO-LMは、チャレンジングなエラーとテキストシーケンスの変換によって言語モデルを事前学習する新しい自己監視学習フレームワークです。 COCO-LMは、オリジナルのテキストシーケンスでマスク&予測トークンに補助言語モデルを採用しています。 分析の結果,coco-lmのアドバンテージは,困難なトレーニング信号,よりコンテキスト化されたトークン表現,正規化されたシーケンス表現であることがわかった。
  論文  参考訳（メタデータ） (2021-02-16T22:24:29Z)
• End-to-end Audio-visual Speech Recognition with Conformers [65.30276363777514]
  ResNet-18とConvolution-augmented Transformer(Conformer)に基づくハイブリッドCTC/Attentionモデルを提案する。 特に、オーディオおよびビジュアルエンコーダは、生のピクセルとオーディオ波形から直接特徴を抽出することを学びます。 提案手法は, 音声のみ, 視覚のみ, および視聴覚実験において, 最先端の性能を高めることを実証する。
  論文  参考訳（メタデータ） (2021-02-12T18:00:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。