論文の概要: Word level Bangla Sign Language Dataset for Continuous BSL Recognition
- arxiv url: http://arxiv.org/abs/2302.11559v2
- Date: Sun, 9 Apr 2023 18:48:21 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-11 20:46:19.010898
- Title: Word level Bangla Sign Language Dataset for Continuous BSL Recognition
- Title(参考訳): 連続BSL認識のための単語レベルバングラ手話データセット
- Authors: Md Shamimul Islam, A.J.M. Akhtarujjaman Joha, Md Nur Hossain, Sohaib
Abdullah, Ibrahim Elwarfalli, Md Mahedi Hasan
- Abstract要約: 我々は,手話を通してコミュニケーションする個人のためのポーズ情報の時間的ダイナミクスを捉える,注目に基づくBi-GRUモデルを開発した。
モデルの精度は85.64%と報告されている。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: An robust sign language recognition system can greatly alleviate
communication barriers, particularly for people who struggle with verbal
communication. This is crucial for human growth and progress as it enables the
expression of thoughts, feelings, and ideas. However, sign recognition is a
complex task that faces numerous challenges such as same gesture patterns for
multiple signs, lighting, clothing, carrying conditions, and the presence of
large poses, as well as illumination discrepancies across different views.
Additionally, the absence of an extensive Bangla sign language video dataset
makes it even more challenging to operate recognition systems, particularly
when utilizing deep learning techniques. In order to address this issue,
firstly, we created a large-scale dataset called the MVBSL-W50, which comprises
50 isolated words across 13 categories. Secondly, we developed an
attention-based Bi-GRU model that captures the temporal dynamics of pose
information for individuals communicating through sign language. The proposed
model utilizes human pose information, which has shown to be successful in
analyzing sign language patterns. By focusing solely on movement information
and disregarding body appearance and environmental factors, the model is
simplified and can achieve a speedier performance. The accuracy of the model is
reported to be 85.64%.
- Abstract(参考訳): 堅牢な手話認識システムは、特に言語コミュニケーションに苦しむ人々にとって、コミュニケーション障壁を大幅に緩和することができる。
これは、思考、感情、アイデアの表現を可能にするため、人間の成長と進歩に不可欠である。
しかし、サイン認識は複雑な作業であり、複数の標識に対する同一のジェスチャーパターン、照明、衣服、搬送条件、大きなポーズの存在、異なる視点での照明の相違など多くの課題に直面している。
さらに、広範なBangla手話ビデオデータセットがないため、特にディープラーニング技術を利用する場合、認識システムの運用がさらに困難になる。
この問題に対処するため、まず、13のカテゴリにまたがる50の単語からなる、mvbsl-w50と呼ばれる大規模データセットを作成しました。
第2に,手話を通してコミュニケーションする個人のためのポーズ情報の時間的ダイナミクスを捉える,注目に基づくBi-GRUモデルを開発した。
提案モデルでは,手話パターンの分析に成功している人間のポーズ情報を利用する。
移動情報のみに焦点をあて、身体の外観や環境要因を無視することにより、モデルを簡素化し、より高速な性能を実現することができる。
モデルの精度は85.64%と報告されている。
関連論文リスト
- Neural Sign Actors: A diffusion model for 3D sign language production
from text [54.048218171283885]
手話は難聴者や難聴者のコミュニティにとって主要なコミュニケーション手段である。
深層学習はSL認識と翻訳の多くの手法を支援しており、顕著な成果を上げている。
この研究は、現実的なニューラルサインアバターに向けて重要かつ必要なステップを示し、聴覚と聴覚のコミュニティ間のコミュニケーションギャップを埋める。
論文 参考訳(メタデータ) (2023-12-05T12:04:34Z) - Visual Grounding Helps Learn Word Meanings in Low-Data Regimes [53.7168869241458]
現代のニューラル言語モデル(LM)は、人間の文の生成と理解をモデル化するための強力なツールである。
しかし、これらの結果を得るためには、LMは明らかに非人間的な方法で訓練されなければならない。
より自然主義的に訓練されたモデルは、より人間らしい言語学習を示すのか?
本稿では,言語習得における重要なサブタスクである単語学習の文脈において,この問題を考察する。
論文 参考訳(メタデータ) (2023-10-20T03:33:36Z) - SignBERT+: Hand-model-aware Self-supervised Pre-training for Sign
Language Understanding [132.78015553111234]
手の動きは手話の表現において重要な役割を担っている。
現在,手話理解(SLU)の深層学習手法は,手話データ資源の不足により過度に適合する傾向にある。
モデル認識ハンドを組み込んだ初の自己教師型事前学習型SignBERT+フレームワークを提案する。
論文 参考訳(メタデータ) (2023-05-08T17:16:38Z) - A Comparative Analysis of Techniques and Algorithms for Recognising Sign
Language [0.9311364633437358]
手話はしばしば、難聴者によるコミュニケーションの第一形態として使われる。
聴覚障害者にソーシャル・プラットフォームを提供するヒューマン・コンピュータ・インタフェース・システムを構築する必要がある。
ほとんどの商用手話翻訳システムはセンサーベースで高価で使いづらい。
論文 参考訳(メタデータ) (2023-05-05T10:52:18Z) - Image-based Indian Sign Language Recognition: A Practical Review using
Deep Neural Networks [0.0]
このモデルは、手話をテキストに変換するリアルタイムな単語レベル手話認識システムを開発することを目的としている。
この分析のために、ユーザはWebカメラを使って手の動きの写真を撮らなければならない。
我々のモデルは畳み込みニューラルネットワーク(CNN)を用いて訓練され、画像の認識に使用される。
論文 参考訳(メタデータ) (2023-04-28T09:27:04Z) - Fine-tuning of sign language recognition models: a technical report [0.0]
我々は、他の手話からのデータセットの微調整が、手話認識の品質向上に役立つか、そしてGPUを使わずにリアルタイムで手話認識が可能かどうか、という2つの質問に焦点をあてる。
モデル学習実験を再現し、モデルをONNXフォーマットに変換し、リアルタイムジェスチャー認識のための推論を行うコードを提供する。
論文 参考訳(メタデータ) (2023-02-15T14:36:18Z) - Things not Written in Text: Exploring Spatial Commonsense from Visual
Signals [77.46233234061758]
視覚信号を持つモデルがテキストベースモデルよりも空間的コモンセンスを学習するかどうかを検討する。
本稿では,オブジェクトの相対スケールと,異なる動作下での人とオブジェクトの位置関係に着目したベンチマークを提案する。
画像合成モデルは,他のモデルよりも正確で一貫した空間知識を学習できることがわかった。
論文 参考訳(メタデータ) (2022-03-15T17:02:30Z) - Skeleton Based Sign Language Recognition Using Whole-body Keypoints [71.97020373520922]
手話は聴覚障害者や言語障害者のコミュニケーションに使用される。
また,RGB-D法と組み合わせて最先端の性能を実現することで,Skeletonに基づく音声認識が普及しつつある。
近年のボディポーズ推定用citejin 2020wholeの開発に触発されて,全身キーポイントと特徴に基づく手話認識を提案する。
論文 参考訳(メタデータ) (2021-03-16T03:38:17Z) - Pose-based Sign Language Recognition using GCN and BERT [0.0]
単語レベルの手話認識(WSLR)は手話を理解し解釈するための最初の重要なステップである。
ビデオからサインを認識することは、単語の意味が微妙な身体の動き、手の動き、その他の動きの組み合わせに依存するため、難しい作業である。
W SLRの最近のポーズベースアーキテクチャは、異なるフレーム内のポーズ間の空間的および時間的依存関係を同時にモデル化するか、空間的情報を完全に活用せずに時間的情報のみをモデル化する。
本稿では,空間的・時間的情報を別々に捉え,遅延融合を行う新しいポーズベースアプローチを用いて,W SLRの課題に取り組む。
論文 参考訳(メタデータ) (2020-12-01T19:10:50Z) - BSL-1K: Scaling up co-articulated sign language recognition using
mouthing cues [106.21067543021887]
ビデオデータから高品質なアノテーションを得るために,シグナリングキューの使い方を示す。
BSL-1Kデータセット(英: BSL-1K dataset)は、イギリス手話(英: British Sign Language, BSL)の集合体である。
論文 参考訳(メタデータ) (2020-07-23T16:59:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。