論文の概要: TFS Recognition: Investigating MPH]{Thai Finger Spelling Recognition:
Investigating MediaPipe Hands Potentials
- arxiv url: http://arxiv.org/abs/2201.03170v1
- Date: Mon, 10 Jan 2022 05:27:58 GMT
- ステータス: 処理完了
- システム内更新日: 2022-01-11 17:39:24.560872
- Title: TFS Recognition: Investigating MPH]{Thai Finger Spelling Recognition:
Investigating MediaPipe Hands Potentials
- Title（参考訳）: TFS 認識: MPH]{Thai Finger Spelling Recognition: Investigationing MediaPipe Hands potentials
- Authors: Jinnavat Sanalohit and Tatpong Katanyukul
- Abstract要約: タイのフィンガー・スペルリング(TFS)は、聴覚障害者のコミュニティにとって大きな聴覚人口を賄うのに役立つ可能性がある。
より一般的な署名の2つのスキーム -- 静的および動的シングルハンド署名 -- は、以前の作業で対処されてきた。
MPHはS1とS2の両方で84.57%の精度でシングルハンドスキームに十分対応できる。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Thai Finger Spelling (TFS) sign recognition could benefit a community of
hearing-difficulty people in bridging to a major hearing population. With a
relatively large number of alphabets, TFS employs multiple signing schemes. Two
schemes of more common signing -- static and dynamic single-hand signing,
widely used in other sign languages -- have been addressed in several previous
works. To complete the TFS sign recognition, the remaining two of quite
distinct signing schemes -- static and dynamic point-on-hand signing -- need to
be sufficiently addressed.
With the advent of many off-the-shelf hand skeleton prediction models and
that training a model to recognize a sign language from scratch is expensive,
we explore an approach building upon recently launched MediaPipe Hands (MPH).
MPH is a high-precision well-trained model for hand-keypoint detection.
We have investigated MPH on three TFS schemes: static-single-hand (S1),
simplified dynamic-single-hand (S2) and static-point-on-hand (P1) schemes.
Our results show that MPH can satisfactorily address single-hand schemes with
accuracy of 84.57% on both S1 and S2.
However, our finding reveals a shortcoming of MPH in addressing a
point-on-hand scheme, whose accuracy is 23.66% on P1 conferring to 69.19%
obtained from conventional classification trained from scratch. This
shortcoming has been investigated and attributed to self occlusion and
handedness.
- Abstract（参考訳）: タイのフィンガースペル(tfs)サイン認識は、大きな聴覚人口に橋渡しする難聴者のコミュニティに利益をもたらす可能性がある。
比較的多くのアルファベットを持つtfsは複数の署名方式を採用している。
より一般的な署名の2つのスキーム(静的および動的シングルハンド署名、他の手話言語で広く使用されている)が、過去のいくつかの作業で対処された。TFSの署名認識を完了するために、残りの2つのスキーム(静的および動的ポイントオンハンド署名)は、十分に対処する必要がある。
多くの既製ハンドスケルトン予測モデルが出現し、手話認識のためのモデルをスクラッチから訓練するコストがかかることから、最近発売されたMediaPipe Hands (MPH) をベースとしたアプローチを探求する。
MPHは手指検出のための高精度に訓練されたモデルである。
我々は,静的シングルハンド(S1),単純化された動的シングルハンド(S2),静的ポイントオンハンド(P1)の3つのスキームについてMPHを調査した。
以上の結果から,MPHはS1,S2ともに84.57%の精度でシングルハンドスキームに十分対応できることがわかった。
しかし本研究では,p1における23.66%の精度で,従来から訓練された分類から得られた69.19%の精度を持つ点対手スキームに対するmphの欠点を明らかにした。
この欠点が研究され、自己閉塞と利き手によって引き起こされている。
関連論文リスト
- Bukva: Russian Sign Language Alphabet [75.42794328290088]
本稿では,ロシア手話(RSL)ダクティルとしても知られる,ロシア語の指先文字の認識について検討する。
ダクティル (Dactyl) は手の動きが書かれた言語の個々の文字を表す手話の構成要素である。
当社は、RSLダクチル認識のための、最初の本格的なオープンソースビデオデータセットであるBakvaを提供している。
論文 参考訳（メタデータ） (2024-10-11T09:59:48Z) - Fingerspelling within Sign Language Translation [0.9790236766474201]
Fingerspellingは、その高周波動作とオープン語彙語の使用により、手話処理の課題を提起する。
文全体の文脈において,手話翻訳モデルが指遣いをいかに理解するかを評価する。
論文 参考訳（メタデータ） (2024-08-13T17:57:14Z) - SignBERT+: Hand-model-aware Self-supervised Pre-training for Sign
Language Understanding [132.78015553111234]
手の動きは手話の表現において重要な役割を担っている。
現在,手話理解(SLU)の深層学習手法は,手話データ資源の不足により過度に適合する傾向にある。
モデル認識ハンドを組み込んだ初の自己教師型事前学習型SignBERT+フレームワークを提案する。
論文 参考訳（メタデータ） (2023-05-08T17:16:38Z) - Weakly-supervised Fingerspelling Recognition in British Sign Language
Videos [85.61513254261523]
従来の指スペル認識法は、British Sign Language (BSL) に焦点を絞っていない
従来の手法とは対照的に,本手法はトレーニング用字幕の弱いアノテーションのみを使用する。
本稿では,このタスクに適応したTransformerアーキテクチャを提案する。
論文 参考訳（メタデータ） (2022-11-16T15:02:36Z) - Sign Language Recognition via Skeleton-Aware Multi-Model Ensemble [71.97020373520922]
手話は一般的に、聴覚障害者やミュート人がコミュニケーションするために使われる。
孤立手話認識(SLR)のためのGlobal Ensemble Model(GEM)を用いた新しいマルチモーダルフレームワークを提案する。
提案するSAM-SLR-v2 フレームワークは極めて有効であり,最先端の性能を高いマージンで達成している。
論文 参考訳（メタデータ） (2021-10-12T16:57:18Z) - SignBERT: Pre-Training of Hand-Model-Aware Representation for Sign
Language Recognition [94.30084702921529]
手振りは手話において重要な役割を担っている。
現在の深層学習に基づく手話認識手法は、解釈可能性に欠ける可能性がある。
SLRに先立って手を入れた初の自己教師型事前訓練型SignBERTを導入する。
論文 参考訳（メタデータ） (2021-10-11T16:18:09Z) - Fingerspelling Detection in American Sign Language [32.79935314131377]
未熟な手話ビデオで指のスペル検出のタスクを検討します。
これは、現実世界の指先認識システムを構築するための重要なステップである。
そこで本研究では,下流指先認識課題に対する検出の影響を反映したベンチマークと評価指標を提案する。
論文 参考訳（メタデータ） (2021-04-03T02:11:09Z) - Global-local Enhancement Network for NMFs-aware Sign Language
Recognition [135.30357113518127]
グローバルローカル・エンハンスメント・ネットワーク(GLE-Net)という,シンプルで効果的なアーキテクチャを提案する。
2つのストリームのうち、1つはグローバルなコンテキスト関係をキャプチャし、もう1つは識別可能なきめ細かなキューをキャプチャする。
日常の単語の総語彙サイズが1,067である中国語手話データセットを,手動で認識する最初の中国語手話データセットを紹介した。
論文 参考訳（メタデータ） (2020-08-24T13:28:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。