論文の概要: Handshape recognition for Argentinian Sign Language using ProbSom
- arxiv url: http://arxiv.org/abs/2310.17427v1
- Date: Thu, 26 Oct 2023 14:32:44 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-27 19:59:24.819028
- Title: Handshape recognition for Argentinian Sign Language using ProbSom
- Title（参考訳）: ProbSomを用いたアルゼンチン手話のハンドシェイプ認識
- Authors: Franco Ronchetti, Facundo Manuel Quiroga, C\'esar Estrebou, and Laura
Lanzarini
- Abstract要約: 本稿では、まず、アルゼンチン手話(LSA)のための手話データベースの作成について述べる。
第2に,ProbSomと呼ばれる自己組織化マップの教師付き適応を用いた画像処理,記述子抽出,その後の手形分類手法を提案する。
構築されたデータベースには、800枚の画像と16個のLAAハンドパップが含まれており、アルゼンチンのサインの包括的なデータベースを構築するための第一歩である。
- 参考スコア（独自算出の注目度）: 0.3124884279860061
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Automatic sign language recognition is an important topic within the areas of
human-computer interaction and machine learning. On the one hand, it poses a
complex challenge that requires the intervention of various knowledge areas,
such as video processing, image processing, intelligent systems and
linguistics. On the other hand, robust recognition of sign language could
assist in the translation process and the integration of hearing-impaired
people.
This paper offers two main contributions: first, the creation of a database
of handshapes for the Argentinian Sign Language (LSA), which is a topic that
has barely been discussed so far. Secondly, a technique for image processing,
descriptor extraction and subsequent handshape classification using a
supervised adaptation of self-organizing maps that is called ProbSom. This
technique is compared to others in the state of the art, such as Support Vector
Machines (SVM), Random Forests, and Neural Networks.
The database that was built contains 800 images with 16 LSA handshapes, and
is a first step towards building a comprehensive database of Argentinian signs.
The ProbSom-based neural classifier, using the proposed descriptor, achieved an
accuracy rate above 90%.
- Abstract（参考訳）: 自動手話認識は、人間とコンピュータの相互作用と機械学習の分野において重要なトピックである。
一方で、ビデオ処理、画像処理、インテリジェントシステム、言語学といった様々な知識領域の介入を必要とする複雑な課題を提起する。
一方、手話の頑健な認識は、翻訳過程や聴覚障害者の統合に寄与する可能性がある。
まず、アルゼンチン手話言語(lsa)のための手形データベースの作成について、これまでほとんど議論されていない話題である。
第2に,ProbSomと呼ばれる自己組織化マップの教師付き適応を用いた画像処理,記述子抽出,その後の手形分類手法を提案する。
このテクニックは、SVM(Support Vector Machines)、ランダムフォレスト(Random Forests)、ニューラルネットワーク(Neural Networks)など、最先端の他の技術と比較される。
構築されたデータベースには16のlsaハンドシェイプを持つ800枚の画像が含まれており、アルゼンチンの記号の包括的なデータベースを構築するための第一歩である。
ProbSomベースのニューラル分類器は提案した記述子を用いて90%以上の精度を達成した。
関連論文リスト
- Deep Neural Network-Based Sign Language Recognition: A Comprehensive Approach Using Transfer Learning with Explainability [0.0]
我々は、ディープニューラルネットワークを使って手話認識を完全に自動化する新しいソリューションを提案する。
この手法は、高度な前処理方法論を統合し、全体的なパフォーマンスを最適化する。
SHAP (SHapley Additive exPlanations) 法を用いて, 情報的明瞭度の提供能力を評価した。
論文 参考訳（メタデータ） (2024-09-11T17:17:44Z) - Sign Language Recognition Based On Facial Expression and Hand Skeleton [2.5879170041667523]
我々は手と表情の骨格的特徴を統合した手話認識ネットワークを提案する。
表情情報を取り入れることで、手話認識の精度と堅牢性が向上する。
論文 参考訳（メタデータ） (2024-07-02T13:02:51Z) - Sign Languague Recognition without frame-sequencing constraints: A proof
of concept on the Argentinian Sign Language [42.27617228521691]
本稿では,様々な特徴量に基づいてサブ分類器を結合した手話分類のための一般化確率モデルを提案する。
提案したモデルは、アルゼンチン手話データセットで97%の精度を達成した。
論文 参考訳（メタデータ） (2023-10-26T14:47:11Z) - LSA64: An Argentinian Sign Language Dataset [42.27617228521691]
本稿では,アルゼンチン手話(LSA)から64の記号のデータセットを提案する。
LSA64と呼ばれるこのデータセットには、10人の被験者が記録した64種類のLAA符号の3200の動画が含まれている。
また、前処理したデータセットも提示し、そこから信号の移動、位置、手形に関する統計を計算した。
論文 参考訳（メタデータ） (2023-10-26T14:37:01Z) - Universal Multimodal Representation for Language Understanding [110.98786673598015]
本研究は,一般的なNLPタスクの補助信号として視覚情報を利用する新しい手法を提案する。
各文に対して、まず、既存の文-画像ペア上で抽出された軽トピック-画像検索テーブルから、フレキシブルな画像を検索する。
そして、テキストと画像はそれぞれトランスフォーマーエンコーダと畳み込みニューラルネットワークによって符号化される。
論文 参考訳（メタデータ） (2023-01-09T13:54:11Z) - LSA-T: The first continuous Argentinian Sign Language dataset for Sign
Language Translation [52.87578398308052]
手話翻訳(SLT)は、人間とコンピュータの相互作用、コンピュータビジョン、自然言語処理、機械学習を含む活発な研究分野である。
本稿では,最初の連続的アルゼンチン手話(LSA)データセットを提案する。
このビデオには、CN Sordos YouTubeチャンネルから抽出されたLCAの14,880の文レベルのビデオと、各署名者のためのラベルとキーポイントアノテーションが含まれている。
論文 参考訳（メタデータ） (2022-11-14T14:46:44Z) - Skeleton Based Sign Language Recognition Using Whole-body Keypoints [71.97020373520922]
手話は聴覚障害者や言語障害者のコミュニケーションに使用される。
また,RGB-D法と組み合わせて最先端の性能を実現することで,Skeletonに基づく音声認識が普及しつつある。
近年のボディポーズ推定用citejin 2020wholeの開発に触発されて,全身キーポイントと特徴に基づく手話認識を提案する。
論文 参考訳（メタデータ） (2021-03-16T03:38:17Z) - BSL-1K: Scaling up co-articulated sign language recognition using
mouthing cues [106.21067543021887]
ビデオデータから高品質なアノテーションを得るために,シグナリングキューの使い方を示す。
BSL-1Kデータセット(英: BSL-1K dataset)は、イギリス手話(英: British Sign Language, BSL)の集合体である。
論文 参考訳（メタデータ） (2020-07-23T16:59:01Z) - Transferring Cross-domain Knowledge for Video Sign Language Recognition [103.9216648495958]
単語レベルの手話認識(WSLR)は手話解釈の基本課題である。
ドメイン不変の視覚概念を学習し、サブタイトルのニュースサインの知識を伝達することでWSLRモデルを肥大化させる新しい手法を提案する。
論文 参考訳（メタデータ） (2020-03-08T03:05:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。