論文の概要: Breaking the Barriers: Video Vision Transformers for Word-Level Sign Language Recognition

• arxiv url: http://arxiv.org/abs/2504.07792v1
• Date: Thu, 10 Apr 2025 14:27:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-11 12:20:44.294264
• Title: Breaking the Barriers: Video Vision Transformers for Word-Level Sign Language Recognition
• Title（参考訳）: バリアを壊す: 単語レベル手話認識のためのビデオビジョン変換器
• Authors: Alexander Brettmann, Jakob Grävinghoff, Marlene Rüschoff, Marie Westhues,
• Abstract要約: 手話は、聴覚障害と難聴(DHH)コミュニティのためのコミュニケーションの基本的な手段である。 聴覚障害者の間で 手話の流布が 限られているため 障壁は持続する 単語レベルアメリカン手話(ASL)認識のためのビデオビジョン変換器(ViViT)モデルを提案する。
• 参考スコア（独自算出の注目度）: 41.94295877935867
• License:
• Abstract: Sign language is a fundamental means of communication for the deaf and hard-of-hearing (DHH) community, enabling nuanced expression through gestures, facial expressions, and body movements. Despite its critical role in facilitating interaction within the DHH population, significant barriers persist due to the limited fluency in sign language among the hearing population. Overcoming this communication gap through automatic sign language recognition (SLR) remains a challenge, particularly at a dynamic word-level, where temporal and spatial dependencies must be effectively recognized. While Convolutional Neural Networks have shown potential in SLR, they are computationally intensive and have difficulties in capturing global temporal dependencies between video sequences. To address these limitations, we propose a Video Vision Transformer (ViViT) model for word-level American Sign Language (ASL) recognition. Transformer models make use of self-attention mechanisms to effectively capture global relationships across spatial and temporal dimensions, which makes them suitable for complex gesture recognition tasks. The VideoMAE model achieves a Top-1 accuracy of 75.58% on the WLASL100 dataset, highlighting its strong performance compared to traditional CNNs with 65.89%. Our study demonstrates that transformer-based architectures have great potential to advance SLR, overcome communication barriers and promote the inclusion of DHH individuals.
• Abstract（参考訳）: 手話は、聴覚障害と難聴(DHH)コミュニティのためのコミュニケーションの基本的な手段であり、ジェスチャー、表情、身体の動きを通じてニュアンスド表現を可能にする。 DHH集団内での相互作用を促進する上で重要な役割を担っているが、難聴者の間では手話の流布が限られているため、大きな障壁が持続している。 自動手話認識(SLR)によるコミュニケーションギャップを克服することは、特に時間的および空間的依存関係を効果的に認識しなければならない動的単語レベルでは、依然として困難である。 畳み込みニューラルネットワークは、SLRのポテンシャルを示しているが、それらは計算集約的で、ビデオシーケンス間のグローバルな時間的依存関係を捉えるのに困難である。 これらの制約に対処するために,単語レベルアメリカン手話(ASL)認識のためのビデオビジョン変換器(ViViT)モデルを提案する。 トランスフォーマーモデルは、空間的および時間的次元にわたるグローバルな関係を効果的に捉え、複雑なジェスチャー認識タスクに適合する。 VideoMAEモデルは、WLASL100データセットで75.58%のTop-1精度を達成した。 本研究は,トランスフォーマーベースアーキテクチャがSLRを前進させ,通信障壁を克服し,DHH個人を包含する可能性を示す。

関連論文リスト

• SigWavNet: Learning Multiresolution Signal Wavelet Network for Speech Emotion Recognition [17.568724398229232]
  音声感情認識(SER)は、音声信号の解読から感情状態において重要な役割を果たす。 本稿では,SERのための新しいエンド・ツー・エンド(E2E)深層学習フレームワークを提案する。 ウェーブレットの能力を利用して、時間領域と周波数領域の両方で効果的なローカライズを行う。
  論文  参考訳（メタデータ） (2025-02-01T04:18:06Z)
• Language Model Can Listen While Speaking [17.584201137311286]
  聴取時言語モデル (LSLM) は、聴取チャネルと発声チャネルの両方を備えたエンドツーエンドシステムである。 本研究は,既存のシステムに最小限の影響を伴って,重複通信を実現するLSLMの能力を強調した。
  論文  参考訳（メタデータ） (2024-08-05T16:47:22Z)
• EvSign: Sign Language Recognition and Translation with Streaming Events [59.51655336911345]
  イベントカメラは、動的手の動きを自然に知覚し、手話作業のための豊富な手作業の手がかりを提供する。 イベントベースSLRおよびSLTタスクのための効率的なトランスフォーマーベースフレームワークを提案する。 計算コストは0.34%に過ぎず,既存の最先端手法に対して良好に機能する。
  論文  参考訳（メタデータ） (2024-07-17T14:16:35Z)
• Hawk: Learning to Understand Open-World Video Anomalies [76.9631436818573]
  ビデオ異常検出(VAD)システムは、障害を自律的に監視し、識別し、手作業や関連するコストを削減できる。 我々は,インタラクティブな大規模ビジュアル言語モデル(VLM)を利用して,ビデオの異常を正確に解釈する新しいフレームワークであるHawkを紹介する。 言語記述による8000以上の異常ビデオを注釈付けし、さまざまなオープンワールドシナリオでの効果的なトレーニングを可能にしました。
  論文  参考訳（メタデータ） (2024-05-27T07:08:58Z)
• Enhancing Brazilian Sign Language Recognition through Skeleton Image Representation [2.6311088262657907]
  本研究は、身体、手、顔のランドマークを時間を通して抽出し、2次元画像として符号化する、分離手話認識(ISLR)アプローチを提案する。 ブラジル手話(LIBRAS)における2つの広く認識されているデータセットの性能指標から,本手法が最先端の指標を上回ったことを示す。 より正確であることに加えて、より単純なネットワークアーキテクチャに依存し、入力としてのみRGBデータに依存するため、我々の手法はより時間効率が高く、訓練が容易である。
  論文  参考訳（メタデータ） (2024-04-29T23:21:17Z)
• SignVTCL: Multi-Modal Continuous Sign Language Recognition Enhanced by Visual-Textual Contrastive Learning [51.800031281177105]
  SignVTCLは、視覚・テキストのコントラスト学習によって強化された連続手話認識フレームワークである。 マルチモーダルデータ(ビデオ、キーポイント、光学フロー)を同時に統合し、統一された視覚バックボーンをトレーニングする。 従来の方法と比較して最先端の結果が得られます。
  論文  参考訳（メタデータ） (2024-01-22T11:04:55Z)
• CoVLM: Composing Visual Entities and Relationships in Large Language Models Via Communicative Decoding [66.52659447360104]
  CoVLM は LLM を誘導して、テキスト間の視覚的実体と関係を明示的に構成することができる。 テキスト間の視覚的実体と関係を明示的に構成するために,LLM をガイドする CoVLM を提案する。
  論文  参考訳（メタデータ） (2023-11-06T18:59:44Z)
• Structured Video-Language Modeling with Temporal Grouping and Spatial Grounding [112.3913646778859]
  簡単なビデオ言語モデリングフレームワークであるS-ViLMを提案する。 これには、学習領域オブジェクトのアライメントと時間認識機能を促進するために、クリップ間の空間的接地と、クリップ内の時間的グループ化という、2つの新しい設計が含まれている。 S-ViLMは4つの下流タスクにおいて、最先端の手法を大幅に超えている。
  論文  参考訳（メタデータ） (2023-03-28T22:45:07Z)
• Word level Bangla Sign Language Dataset for Continuous BSL Recognition [0.0]
  我々は,手話を通してコミュニケーションする個人のためのポーズ情報の時間的ダイナミクスを捉える,注目に基づくBi-GRUモデルを開発した。 モデルの精度は85.64%と報告されている。
  論文  参考訳（メタデータ） (2023-02-22T18:55:54Z)
• Pose-based Sign Language Recognition using GCN and BERT [0.0]
  単語レベルの手話認識(WSLR)は手話を理解し解釈するための最初の重要なステップである。 ビデオからサインを認識することは、単語の意味が微妙な身体の動き、手の動き、その他の動きの組み合わせに依存するため、難しい作業である。 W SLRの最近のポーズベースアーキテクチャは、異なるフレーム内のポーズ間の空間的および時間的依存関係を同時にモデル化するか、空間的情報を完全に活用せずに時間的情報のみをモデル化する。 本稿では,空間的・時間的情報を別々に捉え,遅延融合を行う新しいポーズベースアプローチを用いて,W SLRの課題に取り組む。
  論文  参考訳（メタデータ） (2020-12-01T19:10:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。