論文の概要: Sign and Search: Sign Search Functionality for Sign Language Lexica
- arxiv url: http://arxiv.org/abs/2107.13637v1
- Date: Wed, 28 Jul 2021 20:48:53 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-30 23:51:47.159968
- Title: Sign and Search: Sign Search Functionality for Sign Language Lexica
- Title（参考訳）: Sign and Search:Sign Language LexicaのためのSign Search機能
- Authors: Manolis Fragkiadakis and Peter van der Putten
- Abstract要約: 本研究は,Webカメラの前方でクエリサインに署名し,一致するサインの集合を検索できるリバース検索機能について検討する。
1200の信号レキシコン上で8人の参加者が実施した,20の問合せ信号間の距離指標として,PCA, UMAP, DTW, ユークリッド距離の4つの手法を比較した。
以上の結果から, 上位20個の手腕の移動を用いて, UMAP と DTW がそれぞれ80%, 71%の精度で一致する符号を予測できることが示唆された。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Sign language lexica are a useful resource for researchers and people
learning sign languages. Current implementations allow a user to search a sign
either by its gloss or by selecting its primary features such as handshape and
location. This study focuses on exploring a reverse search functionality where
a user can sign a query sign in front of a webcam and retrieve a set of
matching signs. By extracting different body joints combinations (upper body,
dominant hand's arm and wrist) using the pose estimation framework OpenPose, we
compare four techniques (PCA, UMAP, DTW and Euclidean distance) as distance
metrics between 20 query signs, each performed by eight participants on a 1200
sign lexicon. The results show that UMAP and DTW can predict a matching sign
with an 80\% and 71\% accuracy respectively at the top-20 retrieved signs using
the movement of the dominant hand arm. Using DTW and adding more sign instances
from other participants in the lexicon, the accuracy can be raised to 90\% at
the top-10 ranking. Our results suggest that our methodology can be used with
no training in any sign language lexicon regardless of its size.
- Abstract（参考訳）: 手話辞書は手話を学ぶ研究者や人々にとって有用な情報源である。
現在の実装では、ユーザはその光沢によって、あるいは手形や位置といった主要な特徴を選択することで、サインを検索できる。
本研究は,ユーザがwebカメラの前でクエリサインにサインし,マッチングサインのセットを検索できるリバース検索機能を検討することに焦点を当てている。
ポーズ推定フレームワークOpenPoseを用いて,異なる身体関節(上半身,支配的手腕,手首)を抽出することにより,1200サインレキシコンで8人の参加者が実施する20のクエリーサイン間の距離指標として,PCA, UMAP, DTW, ユークリッド距離の4つの手法を比較した。
以上の結果から, トップ20において, 支配的手腕の動きを用いて, UMAP と DTW が一致信号の精度を 80 %, 71 % で予測できることが示唆された。
DTWを使用し、レキシコンの他の参加者からより多くのサインインスタンスを追加することで、トップ10ランキングで90%まで精度を上げることができる。
提案手法は,任意の手話辞書において,そのサイズに関わらず,トレーニングなしで使用することができることが示唆された。
関連論文リスト
- Signs as Tokens: An Autoregressive Multilingual Sign Language Generator [55.94334001112357]
テキスト入力から3Dサインアバターを自動回帰的に生成できる多言語手話モデルSigns as Tokens(SOKE)を導入する。
我々は,手話とLMを整合させるために,連続する記号を様々な身体部分を表すトークン列に識別する切り離されたトークン化器を開発した。
これらのサイントークンは、LMの生のテキスト語彙に統合され、手話データセットの教師付き微調整を可能にする。
論文 参考訳（メタデータ） (2024-11-26T18:28:09Z) - Bukva: Russian Sign Language Alphabet [75.42794328290088]
本稿では,ロシア手話(RSL)ダクティルとしても知られる,ロシア語の指先文字の認識について検討する。
ダクティル (Dactyl) は手の動きが書かれた言語の個々の文字を表す手話の構成要素である。
当社は、RSLダクチル認識のための、最初の本格的なオープンソースビデオデータセットであるBakvaを提供している。
論文 参考訳（メタデータ） (2024-10-11T09:59:48Z) - Self-Supervised Representation Learning with Spatial-Temporal Consistency for Sign Language Recognition [96.62264528407863]
本研究では,空間的時間的整合性を通じてリッチな文脈を探索する自己教師付きコントラスト学習フレームワークを提案する。
動きと関節のモーダル性の相補性に着想を得て,手話モデルに一階動作情報を導入する。
提案手法は,4つの公開ベンチマークの広範な実験により評価され,新しい最先端性能と顕著なマージンを実現している。
論文 参考訳（メタデータ） (2024-06-15T04:50:19Z) - Sign Languague Recognition without frame-sequencing constraints: A proof
of concept on the Argentinian Sign Language [42.27617228521691]
本稿では,様々な特徴量に基づいてサブ分類器を結合した手話分類のための一般化確率モデルを提案する。
提案したモデルは、アルゼンチン手話データセットで97%の精度を達成した。
論文 参考訳（メタデータ） (2023-10-26T14:47:11Z) - LSA64: An Argentinian Sign Language Dataset [42.27617228521691]
本稿では,アルゼンチン手話(LSA)から64の記号のデータセットを提案する。
LSA64と呼ばれるこのデータセットには、10人の被験者が記録した64種類のLAA符号の3200の動画が含まれている。
また、前処理したデータセットも提示し、そこから信号の移動、位置、手形に関する統計を計算した。
論文 参考訳（メタデータ） (2023-10-26T14:37:01Z) - ASL Citizen: A Community-Sourced Dataset for Advancing Isolated Sign
Language Recognition [6.296362537531586]
サイン言語は、全世界で約7000万人のD/deaf人が一次言語として使っている。
この問題に対処するため、最初のクラウドソースで分離された手話認識データセットであるASL Citizenをリリースしました。
我々は,このデータセットを,ユーザがWebカメラにサインを表示させて辞書から一致するサインを検索する,American Sign Language (ASL) のための手話辞書検索に使用することを提案する。
論文 参考訳（メタデータ） (2023-04-12T15:52:53Z) - Weakly-supervised Fingerspelling Recognition in British Sign Language
Videos [85.61513254261523]
従来の指スペル認識法は、British Sign Language (BSL) に焦点を絞っていない
従来の手法とは対照的に,本手法はトレーニング用字幕の弱いアノテーションのみを使用する。
本稿では,このタスクに適応したTransformerアーキテクチャを提案する。
論文 参考訳（メタデータ） (2022-11-16T15:02:36Z) - ASL Video Corpora & Sign Bank: Resources Available through the American
Sign Language Linguistic Research Project (ASLLRP) [0.0]
American Sign Language Linguistic Research Project (ASLLRP)は、高品質のASLビデオデータへのインターネットアクセスを提供する。
署名のマニュアルおよび非マニュアルコンポーネントはSignStream(R)を使用して言語的に注釈付けされている
論文 参考訳（メタデータ） (2022-01-19T22:48:36Z) - Fingerspelling Detection in American Sign Language [32.79935314131377]
未熟な手話ビデオで指のスペル検出のタスクを検討します。
これは、現実世界の指先認識システムを構築するための重要なステップである。
そこで本研究では,下流指先認識課題に対する検出の影響を反映したベンチマークと評価指標を提案する。
論文 参考訳（メタデータ） (2021-04-03T02:11:09Z) - Skeleton Based Sign Language Recognition Using Whole-body Keypoints [71.97020373520922]
手話は聴覚障害者や言語障害者のコミュニケーションに使用される。
また,RGB-D法と組み合わせて最先端の性能を実現することで,Skeletonに基づく音声認識が普及しつつある。
近年のボディポーズ推定用citejin 2020wholeの開発に触発されて,全身キーポイントと特徴に基づく手話認識を提案する。
論文 参考訳（メタデータ） (2021-03-16T03:38:17Z) - BSL-1K: Scaling up co-articulated sign language recognition using
mouthing cues [106.21067543021887]
ビデオデータから高品質なアノテーションを得るために,シグナリングキューの使い方を示す。
BSL-1Kデータセット(英: BSL-1K dataset)は、イギリス手話(英: British Sign Language, BSL)の集合体である。
論文 参考訳（メタデータ） (2020-07-23T16:59:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。