論文の概要: Fingerspelling Detection in American Sign Language
- arxiv url: http://arxiv.org/abs/2104.01291v1
- Date: Sat, 3 Apr 2021 02:11:09 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-06 14:54:44.824363
- Title: Fingerspelling Detection in American Sign Language
- Title(参考訳): アメリカ手話における指節検出
- Authors: Bowen Shi, Diane Brentari, Greg Shakhnarovich, Karen Livescu
- Abstract要約: 未熟な手話ビデオで指のスペル検出のタスクを検討します。
これは、現実世界の指先認識システムを構築するための重要なステップである。
そこで本研究では,下流指先認識課題に対する検出の影響を反映したベンチマークと評価指標を提案する。
- 参考スコア(独自算出の注目度): 32.79935314131377
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Fingerspelling, in which words are signed letter by letter, is an important
component of American Sign Language. Most previous work on automatic
fingerspelling recognition has assumed that the boundaries of fingerspelling
regions in signing videos are known beforehand. In this paper, we consider the
task of fingerspelling detection in raw, untrimmed sign language videos. This
is an important step towards building real-world fingerspelling recognition
systems. We propose a benchmark and a suite of evaluation metrics, some of
which reflect the effect of detection on the downstream fingerspelling
recognition task. In addition, we propose a new model that learns to detect
fingerspelling via multi-task training, incorporating pose estimation and
fingerspelling recognition (transcription) along with detection, and compare
this model to several alternatives. The model outperforms all alternative
approaches across all metrics, establishing a state of the art on the
benchmark.
- Abstract(参考訳): 単語が文字で署名される指音は、アメリカの手話の重要な要素である。
指先自動認識に関するこれまでのほとんどの研究は、署名ビデオにおける指先領域の境界が事前に知られていると仮定している。
本稿では,生手話ビデオにおける指先検出の課題について考察する。
これは、現実世界の指先認識システムを構築するための重要なステップである。
そこで本研究では,下流指先認識課題に対する検出の影響を反映したベンチマークと評価指標を提案する。
さらに,マルチタスク学習による指の指のスペル検出を学習し,ポーズ推定と指のスペル認識(書き起こし)を併用し,このモデルをいくつかの代替手法と比較するモデルを提案する。
モデルはすべてのメトリクスの代替アプローチを上回り、ベンチマークで最先端の技術を確立します。
関連論文リスト
- Sign Languague Recognition without frame-sequencing constraints: A proof
of concept on the Argentinian Sign Language [42.27617228521691]
本稿では,様々な特徴量に基づいてサブ分類器を結合した手話分類のための一般化確率モデルを提案する。
提案したモデルは、アルゼンチン手話データセットで97%の精度を達成した。
論文 参考訳(メタデータ) (2023-10-26T14:47:11Z) - Toward American Sign Language Processing in the Real World: Data, Tasks,
and Methods [15.77894358993113]
インターネットから収集した署名ビデオを用いて,手話の自動処理について検討した。
ChicagoFSWild、ChicagoFSWild+、OpenASLの3つの大規模ASLデータセットを紹介します。
そこで本研究では,指スペル検出と検索という,実世界の指スペルベースアプリケーションを構築するための2つのタスクを提案する。
論文 参考訳(メタデータ) (2023-08-23T20:38:19Z) - SignBERT+: Hand-model-aware Self-supervised Pre-training for Sign
Language Understanding [132.78015553111234]
手の動きは手話の表現において重要な役割を担っている。
現在,手話理解(SLU)の深層学習手法は,手話データ資源の不足により過度に適合する傾向にある。
モデル認識ハンドを組み込んだ初の自己教師型事前学習型SignBERT+フレームワークを提案する。
論文 参考訳(メタデータ) (2023-05-08T17:16:38Z) - On the Importance of Signer Overlap for Sign Language Detection [65.26091369630547]
我々は,手話検出のための現在のベンチマークデータセットは,一般化が不十分な過度に肯定的な結果であると主張している。
我々は、現在の符号検出ベンチマークデータセットに対するシグナ重なりの影響を詳細に分析することでこれを定量化する。
我々は、重複のない新しいデータセット分割を提案し、より現実的なパフォーマンス評価を可能にします。
論文 参考訳(メタデータ) (2023-03-19T22:15:05Z) - Weakly-supervised Fingerspelling Recognition in British Sign Language
Videos [85.61513254261523]
従来の指スペル認識法は、British Sign Language (BSL) に焦点を絞っていない
従来の手法とは対照的に,本手法はトレーニング用字幕の弱いアノテーションのみを使用する。
本稿では,このタスクに適応したTransformerアーキテクチャを提案する。
論文 参考訳(メタデータ) (2022-11-16T15:02:36Z) - Searching for fingerspelled content in American Sign Language [32.89182994277633]
手話ビデオの自然言語処理は、聴覚障害者に人工知能技術を提供することに不可欠である。
本稿では,手話ビデオ中の指で打ったキーワードやキーフレーズを検索する問題に対処する。
本稿では,指で指を打つことを共同で検出し,それをテキストシーケンスにマッチさせるFSS-Netを提案する。
論文 参考訳(メタデータ) (2022-03-24T18:36:22Z) - A Fine-Grained Visual Attention Approach for Fingerspelling Recognition
in the Wild [17.8181080354116]
指音の自動認識は、聴覚障害者との対話におけるコミュニケーション障壁の解消に役立つ。
指先認識における主な課題は、ジェスチャーのあいまいさと手の強い明瞭さである。
野生データセットのシーケンシャル・トゥ・シークエンス予測タスクにTransformerモデルを用いた微細な視覚的注意メカニズムを提案する。
論文 参考訳(メタデータ) (2021-05-17T06:15:35Z) - Skeleton Based Sign Language Recognition Using Whole-body Keypoints [71.97020373520922]
手話は聴覚障害者や言語障害者のコミュニケーションに使用される。
また,RGB-D法と組み合わせて最先端の性能を実現することで,Skeletonに基づく音声認識が普及しつつある。
近年のボディポーズ推定用citejin 2020wholeの開発に触発されて,全身キーポイントと特徴に基づく手話認識を提案する。
論文 参考訳(メタデータ) (2021-03-16T03:38:17Z) - Watch, read and lookup: learning to spot signs from multiple supervisors [99.50956498009094]
孤立した手話のビデオが与えられた場合、我々のタスクは、連続的かつ協調的な手話ビデオで署名されたか、どこで署名されたかを特定することである。
我々は,(1)既存の粗末なラベル付き映像を見ること,(2)追加の弱スーパービジョンを提供する関連字幕を読むこと,(3)視覚手話辞書で単語を検索すること,の3つを用いて,利用可能な複数のタイプの監督手法を用いてモデルを訓練する。
これらの3つのタスクは、ノイズコントラスト推定と多重インスタンス学習の原則を用いて統合学習フレームワークに統合される。
論文 参考訳(メタデータ) (2020-10-08T14:12:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。