論文の概要: Indian Sign Language Recognition Using Mediapipe Holistic

• arxiv url: http://arxiv.org/abs/2304.10256v1
• Date: Thu, 20 Apr 2023 12:25:47 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-21 13:32:59.937923
• Title: Indian Sign Language Recognition Using Mediapipe Holistic
• Title（参考訳）: mediapipe全体を用いたインド手話認識
• Authors: Dr. Velmathi G, Kaushal Goyal
• Abstract要約: インド手話をテキストや音声に変換するために,手話認識のための堅牢なシステムを構築する。 サイン言語に依存した聴覚障害と難聴者のコミュニケーション能力を高めるため、テキスト・ツー・サイン言語パラダイムの作成が不可欠である。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deaf individuals confront significant communication obstacles on a daily basis. Their inability to hear makes it difficult for them to communicate with those who do not understand sign language. Moreover, it presents difficulties in educational, occupational, and social contexts. By providing alternative communication channels, technology can play a crucial role in overcoming these obstacles. One such technology that can facilitate communication between deaf and hearing individuals is sign language recognition. We will create a robust system for sign language recognition in order to convert Indian Sign Language to text or speech. We will evaluate the proposed system and compare CNN and LSTM models. Since there are both static and gesture sign languages, a robust model is required to distinguish between them. In this study, we discovered that a CNN model captures letters and characters for recognition of static sign language better than an LSTM model, but it outperforms CNN by monitoring hands, faces, and pose in gesture sign language phrases and sentences. The creation of a text-to-sign language paradigm is essential since it will enhance the sign language-dependent deaf and hard-of-hearing population's communication skills. Even though the sign-to-text translation is just one side of communication, not all deaf or hard-of-hearing people are proficient in reading or writing text. Some may have difficulty comprehending written language due to educational or literacy issues. Therefore, a text-to-sign language paradigm would allow them to comprehend text-based information and participate in a variety of social, educational, and professional settings. Keywords: deaf and hard-of-hearing, DHH, Indian sign language, CNN, LSTM, static and gesture sign languages, text-to-sign language model, MediaPipe Holistic, sign language recognition, SLR, SLT
• Abstract（参考訳）: 聴覚障害者は毎日重要なコミュニケーション障害に直面している。 彼らの聞き取りができないため、手話を理解していない人とのコミュニケーションが困難になる。 さらに、教育、職業、社会的文脈の難しさも示している。 代替のコミュニケーションチャネルを提供することで、テクノロジーはこれらの障害を克服する上で重要な役割を果たすことができる。 聴覚障害者と聴覚障害者のコミュニケーションを容易にする技術は手話認識である。 インドの手話言語をテキストや音声に変換するために,手話認識のための堅牢なシステムを構築する。 提案システムの評価と,CNNとLSTMモデルの比較を行う。 静的手話とジェスチャ手話の両方があるため、それらの区別には堅牢なモデルが必要である。 本研究では,CNNモデルが静的手話認識のためにLSTMモデルよりも文字や文字を捕えることを発見したが,手,顔,ジェスチャー手話句や文のポーズをモニタすることで,CNNよりも優れていた。 手話依存の聴覚障害と難聴者のコミュニケーション能力を高めるため、テキスト対記号言語パラダイムの作成は不可欠である。 sign-to-text翻訳はコミュニケーションの一面にすぎないが、聴覚障害者や難聴者全員がテキストの読み書きに熟達しているわけではない。 教育やリテラシーの問題から、書き言葉の理解が難しい場合もある。 したがって、テキスト対記号言語パラダイムは、テキストベースの情報を理解し、様々な社会的、教育的、専門的な設定に参加することができる。 キーワード:聴覚障害、難聴、DHH、インド手話、CNN、LSTM、静的およびジェスチャー手話、テキスト・トゥ・サイン言語モデル、MediaPipe Holistic、手話認識、SLR、SLT

関連論文リスト

• Continuous Sign Language Recognition System using Deep Learning with MediaPipe Holistic [1.9874264019909988]
  手話はコミュニケーションに視覚を使う聴覚障害者の言語である。 アメリカ手話(ASL)、中国手話(CSL)、インド手話(ISL)など、世界中で約300の手話が実践されている。
  論文  参考訳（メタデータ） (2024-11-07T08:19:39Z)
• Scaling up Multimodal Pre-training for Sign Language Understanding [96.17753464544604]
  手話は、難聴者コミュニティにとってコミュニケーションの主要な意味である。 難聴者と聴覚者のコミュニケーションを容易にするために,手話理解(SLU)タスクのシリーズが研究されている。 これらの課題は、多様な視点から手話のトピックを調査し、手話ビデオの効果的な表現を学ぶ上での課題を提起する。
  論文  参考訳（メタデータ） (2024-08-16T06:04:25Z)
• MS2SL: Multimodal Spoken Data-Driven Continuous Sign Language Production [93.32354378820648]
  我々は,手話と非手話のユーザ間のコミュニケーションを緩和する,連続手話生成のための統一フレームワークを提案する。 テキストや音声から抽出した埋め込みを利用したシーケンス拡散モデルを作成し、段階的にサイン予測を生成する。 How2SignとPHOENIX14Tデータセットの実験により、手話生成において、我々のモデルが競合性能を達成することを示す。
  論文  参考訳（メタデータ） (2024-07-04T13:53:50Z)
• Neural Sign Actors: A diffusion model for 3D sign language production from text [51.81647203840081]
  手話 (SL) は難聴者および難聴者コミュニティの主要なコミュニケーション手段である。 この研究は、現実的なニューラルサインアバターに向けて重要な一歩を踏み出し、聴覚と聴覚のコミュニティ間のコミュニケーションギャップを埋める。
  論文  参考訳（メタデータ） (2023-12-05T12:04:34Z)
• A Comparative Analysis of Techniques and Algorithms for Recognising Sign Language [0.9311364633437358]
  手話はしばしば、難聴者によるコミュニケーションの第一形態として使われる。 聴覚障害者にソーシャル・プラットフォームを提供するヒューマン・コンピュータ・インタフェース・システムを構築する必要がある。 ほとんどの商用手話翻訳システムはセンサーベースで高価で使いづらい。
  論文  参考訳（メタデータ） (2023-05-05T10:52:18Z)
• Image-based Indian Sign Language Recognition: A Practical Review using Deep Neural Networks [0.0]
  このモデルは、手話をテキストに変換するリアルタイムな単語レベル手話認識システムを開発することを目的としている。 この分析のために、ユーザはWebカメラを使って手の動きの写真を撮らなければならない。 我々のモデルは畳み込みニューラルネットワーク(CNN)を用いて訓練され、画像の認識に使用される。
  論文  参考訳（メタデータ） (2023-04-28T09:27:04Z)
• Multilingual Communication System with Deaf Individuals Utilizing Natural and Visual Languages [12.369283590206628]
  我々は,手話利用者のコミュニケーション効率を向上させるために,MUGCATという新しい多言語通信システムを提案する。 我々のMUGCATシステムは、認識された特定の手の動きを表現力のある画像に変換することで、聴覚障害者が自分の思考を伝えるのに大いに役立ちます。
  論文  参考訳（メタデータ） (2022-12-01T06:43:44Z)
• All You Need In Sign Language Production [50.3955314892191]
  言語認識と生産のサインは、いくつかの重要な課題に対処する必要があります。 本稿では,難聴文化,難聴センター,手話の心理的視点について紹介する。 また、SLPのバックボーンアーキテクチャや手法を簡潔に紹介し、SLPの分類について提案する。
  論文  参考訳（メタデータ） (2022-01-05T13:45:09Z)
• Sign Language Recognition System using TensorFlow Object Detection API [0.0]
  本稿では,Webカメラを用いてインド手話データセットを作成し,次に移動学習を用いて,リアルタイム手話認識システムを構築するためのモデルを訓練する手法を提案する。 システムは、限られたサイズのデータセットであっても、良好な精度を達成する。
  論文  参考訳（メタデータ） (2022-01-05T07:13:03Z)
• Sign Language Production: A Review [51.07720650677784]
  手話 (Sign Language) は、聴覚障害と聴覚障害のコミュニティで使われるコミュニケーション言語である。 聴覚障害者と聴覚コミュニティのコミュニケーションを容易かつ相互に行うためには、話し言葉を手話に翻訳できる堅牢なシステムを構築することが不可欠です。 そのために、手話認識と生産は、このような双方向システムを作るのに必要な2つの部分です。
  論文  参考訳（メタデータ） (2021-03-29T19:38:22Z)
• Skeleton Based Sign Language Recognition Using Whole-body Keypoints [71.97020373520922]
  手話は聴覚障害者や言語障害者のコミュニケーションに使用される。 また,RGB-D法と組み合わせて最先端の性能を実現することで,Skeletonに基づく音声認識が普及しつつある。 近年のボディポーズ推定用citejin 2020wholeの開発に触発されて,全身キーポイントと特徴に基づく手話認識を提案する。
  論文  参考訳（メタデータ） (2021-03-16T03:38:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。