論文の概要: Word-level Sign Language Recognition with Multi-stream Neural Networks Focusing on Local Regions and Skeletal Information

• arxiv url: http://arxiv.org/abs/2106.15989v2
• Date: Wed, 20 Nov 2024 07:16:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-21 16:10:01.149111
• Title: Word-level Sign Language Recognition with Multi-stream Neural Networks Focusing on Local Regions and Skeletal Information
• Title（参考訳）: 局所領域と骨格情報に着目したマルチストリームニューラルネットワークによる単語レベル手話認識
• Authors: Mizuki Maruyama, Shrey Singh, Katsufumi Inoue, Partha Pratim Roy, Masakazu Iwamura, Michifumi Yoshioka,
• Abstract要約: 単語レベル手話認識(WSLR)は,言語障害のある人と聞き取れる人のコミュニケーション障壁を克服することが期待されているため,注目されている。 動作認識のために設計された手法は最先端の精度を実現した。 本稿では,WSLR問題に特に有用な情報を考慮した新しいWSLR手法を提案する。
• 参考スコア（独自算出の注目度）: 7.667316027377616
• License:
• Abstract: Word-level sign language recognition (WSLR) has attracted attention because it is expected to overcome the communication barrier between people with speech impairment and those who can hear. In the WSLR problem, a method designed for action recognition has achieved the state-of-the-art accuracy. Indeed, it sounds reasonable for an action recognition method to perform well on WSLR because sign language is regarded as an action. However, a careful evaluation of the tasks reveals that the tasks of action recognition and WSLR are inherently different. Hence, in this paper, we propose a novel WSLR method that takes into account information specifically useful for the WSLR problem. We realize it as a multi-stream neural network (MSNN), which consist of three streams: 1) base stream, 2) local image stream, and 3) skeleton stream. Each stream is designed to handle different types of information. The base stream deals with quick and detailed movements of the hands and body, the local image stream focuses on handshapes and facial expressions, and the skeleton stream captures the relative positions of the body and both hands. This approach allows us to combine various types of data for more comprehensive gesture analysis. Experimental results on the WLASL and MS-ASL datasets show the effectiveness of the proposed method; it achieved an improvement of approximately 10\%--15\% in Top-1 accuracy when compared with conventional methods.
• Abstract（参考訳）: 単語レベル手話認識(WSLR)は,言語障害のある人と聞き取れる人のコミュニケーション障壁を克服することが期待されているため,注目されている。 WSLR問題では、動作認識のために設計された手法が最先端の精度を達成している。 実際、手話がアクションと見なされるので、WSLR上でのアクション認識手法がうまく機能することは合理的に思える。 しかし, 注意深い評価により, 動作認識とWSLRのタスクは本質的に異なることが明らかとなった。 そこで本稿では,WSLR問題に特に有用な情報を考慮した新しいWSLR手法を提案する。 3つのストリームからなるマルチストリームニューラルネットワーク(MSNN)として実現しています。 1)ベースストリーム。 2)局所画像ストリーム,及び 3)スケルトンストリーム。 各ストリームは、異なるタイプの情報を扱うように設計されている。 ベースストリームは、手と体の迅速かつ詳細な動きを処理し、ローカルイメージストリームは、ハンプチと表情に焦点を当て、スケルトンストリームは、身体と両手の相対的な位置をキャプチャする。 このアプローチにより、より包括的なジェスチャー解析のために、様々な種類のデータを組み合わせることができる。 WLASLおよびMS-ASLデータセットの実験結果から,提案手法の有効性が示され,従来の手法と比較してTop-1精度が約10\%～15\%向上した。

関連論文リスト

• Contrastive Localized Language-Image Pre-Training [60.4967533101887]
  コントラスト言語-画像事前学習(CLIP)は、画像/テキスト表現を生成するために視覚エンコーダを訓練するための著名な方法である。 本稿では,CLIPとリージョンテキストのコントラッシブな損失とモジュールを補完することにより,CLOC(Contrastive Localized Language- Image Pre-Trening)を提案する。 CLOCは画像領域認識および検索タスクのための高品質な地域埋め込みを可能にする。
  論文  参考訳（メタデータ） (2024-10-03T17:56:09Z)
• AddressCLIP: Empowering Vision-Language Models for City-wide Image Address Localization [57.34659640776723]
  そこで我々は,より意味論的に問題を解決するために,AddressCLIPというエンドツーエンドのフレームワークを提案する。 われわれはピッツバーグとサンフランシスコに3つのデータセットを構築した。
  論文  参考訳（メタデータ） (2024-07-11T03:18:53Z)
• Enhancing Sign Language Detection through Mediapipe and Convolutional Neural Networks (CNN) [3.192629447369627]
  この研究は、ASLデータセットの効率的かつ正確な解釈のためにMediaPipeとCNNを組み合わせる。 ASLデータセットのモデルによって達成される精度は99.12%である。 このシステムは、コミュニケーション、教育、アクセシビリティードメインに応用される。
  論文  参考訳（メタデータ） (2024-06-06T04:05:12Z)
• Enhancing Brazilian Sign Language Recognition through Skeleton Image Representation [2.6311088262657907]
  本研究は、身体、手、顔のランドマークを時間を通して抽出し、2次元画像として符号化する、分離手話認識(ISLR)アプローチを提案する。 ブラジル手話(LIBRAS)における2つの広く認識されているデータセットの性能指標から,本手法が最先端の指標を上回ったことを示す。 より正確であることに加えて、より単純なネットワークアーキテクチャに依存し、入力としてのみRGBデータに依存するため、我々の手法はより時間効率が高く、訓練が容易である。
  論文  参考訳（メタデータ） (2024-04-29T23:21:17Z)
• Neural Sign Actors: A diffusion model for 3D sign language production from text [51.81647203840081]
  手話 (SL) は難聴者および難聴者コミュニティの主要なコミュニケーション手段である。 この研究は、現実的なニューラルサインアバターに向けて重要な一歩を踏み出し、聴覚と聴覚のコミュニティ間のコミュニケーションギャップを埋める。
  論文  参考訳（メタデータ） (2023-12-05T12:04:34Z)
• Leveraging the Third Dimension in Contrastive Learning [88.17394309208925]
  SSL(Self-Supervised Learning)メソッドは、ラベルのないデータでダウンストリームタスクに有用な堅牢な表現を学習する。 これらの拡張は、生物学的ビジョンが没入的な3次元、時間的に連続した環境で起こるという事実を無視している。 SSLフレームワークにディープシグナルを組み込むための2つの異なるアプローチについて検討する。
  論文  参考訳（メタデータ） (2023-01-27T15:45:03Z)
• Sign Language Recognition via Skeleton-Aware Multi-Model Ensemble [71.97020373520922]
  手話は一般的に、聴覚障害者やミュート人がコミュニケーションするために使われる。 孤立手話認識(SLR)のためのGlobal Ensemble Model(GEM)を用いた新しいマルチモーダルフレームワークを提案する。 提案するSAM-SLR-v2 フレームワークは極めて有効であり,最先端の性能を高いマージンで達成している。
  論文  参考訳（メタデータ） (2021-10-12T16:57:18Z)
• Pose-based Sign Language Recognition using GCN and BERT [0.0]
  単語レベルの手話認識(WSLR)は手話を理解し解釈するための最初の重要なステップである。 ビデオからサインを認識することは、単語の意味が微妙な身体の動き、手の動き、その他の動きの組み合わせに依存するため、難しい作業である。 W SLRの最近のポーズベースアーキテクチャは、異なるフレーム内のポーズ間の空間的および時間的依存関係を同時にモデル化するか、空間的情報を完全に活用せずに時間的情報のみをモデル化する。 本稿では,空間的・時間的情報を別々に捉え,遅延融合を行う新しいポーズベースアプローチを用いて,W SLRの課題に取り組む。
  論文  参考訳（メタデータ） (2020-12-01T19:10:50Z)
• Independent Sign Language Recognition with 3D Body, Hands, and Face Reconstruction [46.70761714133466]
  独立手話認識(Independent Sign Language Recognition)は、コンピュータビジョンのいくつかの課題を組み合わせた複雑な視覚認識問題である。 3つの情報チャネルを適切に組み合わせて手話の認識を効果的に行う作業は行われていない。 SMPL-Xは,1枚の画像から3次元の身体形状,顔,手の情報を同時抽出できる,現代のパラメトリックモデルである。
  論文  参考訳（メタデータ） (2020-11-24T23:50:26Z)
• Transferring Cross-domain Knowledge for Video Sign Language Recognition [103.9216648495958]
  単語レベルの手話認識(WSLR)は手話解釈の基本課題である。 ドメイン不変の視覚概念を学習し、サブタイトルのニュースサインの知識を伝達することでWSLRモデルを肥大化させる新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-03-08T03:05:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。