論文の概要: Fingerspelling Detection in American Sign Language

• arxiv url: http://arxiv.org/abs/2104.01291v1
• Date: Sat, 3 Apr 2021 02:11:09 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-06 14:54:44.824363
• Title: Fingerspelling Detection in American Sign Language
• Title（参考訳）: アメリカ手話における指節検出
• Authors: Bowen Shi, Diane Brentari, Greg Shakhnarovich, Karen Livescu
• Abstract要約: 未熟な手話ビデオで指のスペル検出のタスクを検討します。 これは、現実世界の指先認識システムを構築するための重要なステップである。 そこで本研究では,下流指先認識課題に対する検出の影響を反映したベンチマークと評価指標を提案する。
• 参考スコア（独自算出の注目度）: 32.79935314131377
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Fingerspelling, in which words are signed letter by letter, is an important component of American Sign Language. Most previous work on automatic fingerspelling recognition has assumed that the boundaries of fingerspelling regions in signing videos are known beforehand. In this paper, we consider the task of fingerspelling detection in raw, untrimmed sign language videos. This is an important step towards building real-world fingerspelling recognition systems. We propose a benchmark and a suite of evaluation metrics, some of which reflect the effect of detection on the downstream fingerspelling recognition task. In addition, we propose a new model that learns to detect fingerspelling via multi-task training, incorporating pose estimation and fingerspelling recognition (transcription) along with detection, and compare this model to several alternatives. The model outperforms all alternative approaches across all metrics, establishing a state of the art on the benchmark.
• Abstract（参考訳）: 単語が文字で署名される指音は、アメリカの手話の重要な要素である。 指先自動認識に関するこれまでのほとんどの研究は、署名ビデオにおける指先領域の境界が事前に知られていると仮定している。 本稿では,生手話ビデオにおける指先検出の課題について考察する。 これは、現実世界の指先認識システムを構築するための重要なステップである。 そこで本研究では,下流指先認識課題に対する検出の影響を反映したベンチマークと評価指標を提案する。 さらに,マルチタスク学習による指の指のスペル検出を学習し,ポーズ推定と指のスペル認識(書き起こし)を併用し,このモデルをいくつかの代替手法と比較するモデルを提案する。 モデルはすべてのメトリクスの代替アプローチを上回り、ベンチマークで最先端の技術を確立します。

関連論文リスト

• Bukva: Russian Sign Language Alphabet [75.42794328290088]
  本稿では,ロシア手話(RSL)ダクティルとしても知られる,ロシア語の指先文字の認識について検討する。 ダクティル (Dactyl) は手の動きが書かれた言語の個々の文字を表す手話の構成要素である。 当社は、RSLダクチル認識のための、最初の本格的なオープンソースビデオデータセットであるBakvaを提供している。
  論文  参考訳（メタデータ） (2024-10-11T09:59:48Z)
• Fingerspelling within Sign Language Translation [0.9790236766474201]
  Fingerspellingは、その高周波動作とオープン語彙語の使用により、手話処理の課題を提起する。 文全体の文脈において,手話翻訳モデルが指遣いをいかに理解するかを評価する。
  論文  参考訳（メタデータ） (2024-08-13T17:57:14Z)
• Toward American Sign Language Processing in the Real World: Data, Tasks, and Methods [15.77894358993113]
  インターネットから収集した署名ビデオを用いて,手話の自動処理について検討した。 ChicagoFSWild、ChicagoFSWild+、OpenASLの3つの大規模ASLデータセットを紹介します。 そこで本研究では,指スペル検出と検索という,実世界の指スペルベースアプリケーションを構築するための2つのタスクを提案する。
  論文  参考訳（メタデータ） (2023-08-23T20:38:19Z)
• SignBERT+: Hand-model-aware Self-supervised Pre-training for Sign Language Understanding [132.78015553111234]
  手の動きは手話の表現において重要な役割を担っている。 現在,手話理解(SLU)の深層学習手法は,手話データ資源の不足により過度に適合する傾向にある。 モデル認識ハンドを組み込んだ初の自己教師型事前学習型SignBERT+フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-08T17:16:38Z)
• On the Importance of Signer Overlap for Sign Language Detection [65.26091369630547]
  我々は,手話検出のための現在のベンチマークデータセットは,一般化が不十分な過度に肯定的な結果であると主張している。 我々は、現在の符号検出ベンチマークデータセットに対するシグナ重なりの影響を詳細に分析することでこれを定量化する。 我々は、重複のない新しいデータセット分割を提案し、より現実的なパフォーマンス評価を可能にします。
  論文  参考訳（メタデータ） (2023-03-19T22:15:05Z)
• Weakly-supervised Fingerspelling Recognition in British Sign Language Videos [85.61513254261523]
  従来の指スペル認識法は、British Sign Language (BSL) に焦点を絞っていない 従来の手法とは対照的に,本手法はトレーニング用字幕の弱いアノテーションのみを使用する。 本稿では,このタスクに適応したTransformerアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2022-11-16T15:02:36Z)
• Searching for fingerspelled content in American Sign Language [32.89182994277633]
  手話ビデオの自然言語処理は、聴覚障害者に人工知能技術を提供することに不可欠である。 本稿では,手話ビデオ中の指で打ったキーワードやキーフレーズを検索する問題に対処する。 本稿では,指で指を打つことを共同で検出し,それをテキストシーケンスにマッチさせるFSS-Netを提案する。
  論文  参考訳（メタデータ） (2022-03-24T18:36:22Z)
• A Fine-Grained Visual Attention Approach for Fingerspelling Recognition in the Wild [17.8181080354116]
  指音の自動認識は、聴覚障害者との対話におけるコミュニケーション障壁の解消に役立つ。 指先認識における主な課題は、ジェスチャーのあいまいさと手の強い明瞭さである。 野生データセットのシーケンシャル・トゥ・シークエンス予測タスクにTransformerモデルを用いた微細な視覚的注意メカニズムを提案する。
  論文  参考訳（メタデータ） (2021-05-17T06:15:35Z)
• Skeleton Based Sign Language Recognition Using Whole-body Keypoints [71.97020373520922]
  手話は聴覚障害者や言語障害者のコミュニケーションに使用される。 また,RGB-D法と組み合わせて最先端の性能を実現することで,Skeletonに基づく音声認識が普及しつつある。 近年のボディポーズ推定用citejin 2020wholeの開発に触発されて,全身キーポイントと特徴に基づく手話認識を提案する。
  論文  参考訳（メタデータ） (2021-03-16T03:38:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。