論文の概要: Real-time Indian Sign Language (ISL) Recognition
- arxiv url: http://arxiv.org/abs/2108.10970v1
- Date: Tue, 24 Aug 2021 21:49:21 GMT
- ステータス: 処理完了
- システム内更新日: 2021-08-26 12:56:12.054420
- Title: Real-time Indian Sign Language (ISL) Recognition
- Title（参考訳）: リアルタイムインド手話(ISL)認識
- Authors: Kartik Shenoy, Tejas Dastane, Varun Rao, Devendra Vyavaharkar
- Abstract要約: 本稿では,インド手話(ISL)のポーズやジェスチャーをリアルタイムで認識するシステムを提案する。
既存のソリューションは比較的低い精度を提供するか、リアルタイムに動作しない。
33のポーズとISLからのジェスチャーを識別できる。
- 参考スコア（独自算出の注目度）: 0.45880283710344055
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper presents a system which can recognise hand poses & gestures from
the Indian Sign Language (ISL) in real-time using grid-based features. This
system attempts to bridge the communication gap between the hearing and speech
impaired and the rest of the society. The existing solutions either provide
relatively low accuracy or do not work in real-time. This system provides good
results on both the parameters. It can identify 33 hand poses and some gestures
from the ISL. Sign Language is captured from a smartphone camera and its frames
are transmitted to a remote server for processing. The use of any external
hardware (such as gloves or the Microsoft Kinect sensor) is avoided, making it
user-friendly. Techniques such as Face detection, Object stabilisation and Skin
Colour Segmentation are used for hand detection and tracking. The image is
further subjected to a Grid-based Feature Extraction technique which represents
the hand's pose in the form of a Feature Vector. Hand poses are then classified
using the k-Nearest Neighbours algorithm. On the other hand, for gesture
classification, the motion and intermediate hand poses observation sequences
are fed to Hidden Markov Model chains corresponding to the 12 pre-selected
gestures defined in ISL. Using this methodology, the system is able to achieve
an accuracy of 99.7% for static hand poses, and an accuracy of 97.23% for
gesture recognition.
- Abstract（参考訳）: 本稿では,グリッド型特徴量を用いて,インド手話(ISL)からのポーズやジェスチャーをリアルタイムで認識するシステムを提案する。
このシステムは聴覚障害と言語障害のコミュニケーションギャップと社会の他の部分との橋渡しを試みている。
既存のソリューションは比較的低い精度を提供するか、リアルタイムに動作しない。
このシステムは両方のパラメーターに良い結果を与える。
33のポーズとISLからのジェスチャーを識別できる。
Sign Languageはスマートフォンカメラからキャプチャされ、そのフレームは処理のためにリモートサーバに送信される。
外部ハードウェア(手袋やMicrosoft Kinectセンサーなど)の使用は避けられ、ユーザーフレンドリーになる。
顔検出、物体の安定化、肌の色分割などの技術は、手の検出や追跡に使われている。
さらに、画像は、特徴ベクトルの形で手のポーズを表すグリッドベースの特徴抽出技術によりさらに処理される。
ハンドポーズはk-nearest neighborsアルゴリズムで分類される。
一方、ジェスチャー分類では、ISLで定義された12の事前選択されたジェスチャーに対応する隠れマルコフモデルチェーンに、動作と中間手ポーズ観察シーケンスが供給される。
この手法を用いることで、静的手ポーズの精度は99.7%、ジェスチャー認識の精度は97.23%となる。
関連論文リスト
- EvSign: Sign Language Recognition and Translation with Streaming Events [59.51655336911345]
イベントカメラは、動的手の動きを自然に知覚し、手話作業のための豊富な手作業の手がかりを提供する。
イベントベースSLRおよびSLTタスクのための効率的なトランスフォーマーベースフレームワークを提案する。
計算コストは0.34%に過ぎず,既存の最先端手法に対して良好に機能する。
論文 参考訳（メタデータ） (2024-07-17T14:16:35Z) - Sign Language Recognition Based On Facial Expression and Hand Skeleton [2.5879170041667523]
我々は手と表情の骨格的特徴を統合した手話認識ネットワークを提案する。
表情情報を取り入れることで、手話認識の精度と堅牢性が向上する。
論文 参考訳（メタデータ） (2024-07-02T13:02:51Z) - Enhancing Sign Language Detection through Mediapipe and Convolutional Neural Networks (CNN) [3.192629447369627]
この研究は、ASLデータセットの効率的かつ正確な解釈のためにMediaPipeとCNNを組み合わせる。
ASLデータセットのモデルによって達成される精度は99.12%である。
このシステムは、コミュニケーション、教育、アクセシビリティードメインに応用される。
論文 参考訳（メタデータ） (2024-06-06T04:05:12Z) - Agile gesture recognition for capacitive sensing devices: adapting
on-the-job [55.40855017016652]
本システムでは, コンデンサセンサからの信号を手の動き認識器に組み込んだ手動作認識システムを提案する。
コントローラは、着用者5本の指それぞれからリアルタイム信号を生成する。
機械学習技術を用いて時系列信号を解析し,500ms以内で5本の指を表現できる3つの特徴を同定する。
論文 参考訳（メタデータ） (2023-05-12T17:24:02Z) - Image-based Indian Sign Language Recognition: A Practical Review using
Deep Neural Networks [0.0]
このモデルは、手話をテキストに変換するリアルタイムな単語レベル手話認識システムを開発することを目的としている。
この分析のために、ユーザはWebカメラを使って手の動きの写真を撮らなければならない。
我々のモデルは畳み込みニューラルネットワーク(CNN)を用いて訓練され、画像の認識に使用される。
論文 参考訳（メタデータ） (2023-04-28T09:27:04Z) - Reconstructing Signing Avatars From Video Using Linguistic Priors [54.5282429129769]
手話(SL)は、世界中の7000万人の聴覚障害者のためのコミュニケーションの第一の方法である。
孤立したサインの動画辞書を3Dアバターに置き換えることで、学習を支援し、AR/VRアプリケーションを有効にすることができる。
SGNifyは、細かな手ポーズ、表情、身体の動きを、WildのモノクロSLビデオから完全に自動でキャプチャする。
論文 参考訳（メタデータ） (2023-04-20T17:29:50Z) - HaGRID - HAnd Gesture Recognition Image Dataset [79.21033185563167]
本稿では,ハンドジェスチャ認識システム構築のための巨大なデータセットであるHaGRIDを紹介し,それを管理するデバイスとのインタラクションに着目した。
ジェスチャーは静的だが、特にいくつかの動的ジェスチャーを設計する能力のために拾われた。
HaGRIDには54,800の画像とジェスチャーラベル付きバウンディングボックスアノテーションが含まれており、手検出とジェスチャー分類のタスクを解決している。
論文 参考訳（メタデータ） (2022-06-16T14:41:32Z) - Word-level Sign Language Recognition with Multi-stream Neural Networks Focusing on Local Regions and Skeletal Information [7.667316027377616]
単語レベル手話認識(WSLR)は,言語障害のある人と聞き取れる人のコミュニケーション障壁を克服することが期待されているため,注目されている。
動作認識のために設計された手法は最先端の精度を実現した。
本稿では,WSLR問題に特に有用な情報を考慮した新しいWSLR手法を提案する。
論文 参考訳（メタデータ） (2021-06-30T11:30:06Z) - SHREC 2021: Track on Skeleton-based Hand Gesture Recognition in the Wild [62.450907796261646]
手のジェスチャーの認識は、ソフトウェアによって推定される手の骨格のストリームから直接行うことができる。
最近のスケルトンからのジェスチャーや行動認識の進歩にもかかわらず、現在の最先端技術が現実のシナリオでどの程度うまく機能するかは明らかではない。
本稿では,SHREC 2021: Track on Skeleton-based Hand Gesture Recognition in the Wild contestについて述べる。
論文 参考訳（メタデータ） (2021-06-21T10:57:49Z) - Skeleton Based Sign Language Recognition Using Whole-body Keypoints [71.97020373520922]
手話は聴覚障害者や言語障害者のコミュニケーションに使用される。
また,RGB-D法と組み合わせて最先端の性能を実現することで,Skeletonに基づく音声認識が普及しつつある。
近年のボディポーズ推定用citejin 2020wholeの開発に触発されて,全身キーポイントと特徴に基づく手話認識を提案する。
論文 参考訳（メタデータ） (2021-03-16T03:38:17Z) - FineHand: Learning Hand Shapes for American Sign Language Recognition [16.862375555609667]
本稿では,手形状の埋め込みを効果的に学習するためのアプローチを提案する。
手形認識には手動ラベル付き手形と高信頼度予測を組み合わせて深部畳み込みニューラルネットワーク(CNN)を訓練する。
より高品質な手形状モデルが最終映像ジェスチャー分類の精度を大幅に向上させることを実証する。
論文 参考訳（メタデータ） (2020-03-04T23:32:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。