論文の概要: Recognizing American Sign Language Nonmanual Signal Grammar Errors in Continuous Videos

• arxiv url: http://arxiv.org/abs/2005.00253v1
• Date: Fri, 1 May 2020 07:25:07 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-08 00:04:25.242196
• Title: Recognizing American Sign Language Nonmanual Signal Grammar Errors in Continuous Videos
• Title（参考訳）: 連続ビデオにおけるアメリカ手話非マニュアル信号文法誤差の認識
• Authors: Elahe Vahdani, Longlong Jing, Yingli Tian, Matt Huenerfauth
• Abstract要約: 本稿では,連続署名ビデオにおける文法的誤りを認識できる準リアルタイムシステムを提案する。 ASL 文のパフォーマンスに ASL の学生による文法的誤りが含まれているかどうかを自動的に認識する。
• 参考スコア（独自算出の注目度）: 38.14850006590712
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As part of the development of an educational tool that can help students achieve fluency in American Sign Language (ASL) through independent and interactive practice with immediate feedback, this paper introduces a near real-time system to recognize grammatical errors in continuous signing videos without necessarily identifying the entire sequence of signs. Our system automatically recognizes if performance of ASL sentences contains grammatical errors made by ASL students. We first recognize the ASL grammatical elements including both manual gestures and nonmanual signals independently from multiple modalities (i.e. hand gestures, facial expressions, and head movements) by 3D-ResNet networks. Then the temporal boundaries of grammatical elements from different modalities are examined to detect ASL grammatical mistakes by using a sliding window-based approach. We have collected a dataset of continuous sign language, ASL-HW-RGBD, covering different aspects of ASL grammars for training and testing. Our system is able to recognize grammatical elements on ASL-HW-RGBD from manual gestures, facial expressions, and head movements and successfully detect 8 ASL grammatical mistakes.
• Abstract（参考訳）: 本稿では,アメリカ手話(ASL, American Sign Language, ASL, ASL)の流布を即時フィードバックで支援する教育ツールの開発の一環として,連続署名ビデオにおける文法的誤りを必ずしも識別することなく,ほぼリアルタイムに認識するシステムを提案する。 ASL 文のパフォーマンスが ASL 学生の文法的誤りを含むかどうかを自動的に認識する。 3D-ResNetネットワークにより,手動ジェスチャーと非手動信号を含むASLの文法的要素を複数のモーダル(手動ジェスチャー,表情,頭部運動)から独立に認識する。 そこで, 異なる様相からの文法的要素の時間的境界について検討し, スライドウインドウに基づくアプローチを用いてASL文法的誤りを検出する。 我々は,連続手話のデータセットであるASL-HW-RGBDを収集し,ASL文法の学習とテストのさまざまな側面を網羅した。 ASL-HW-RGBDの文法的要素を手動ジェスチャー,表情,頭部動作から認識し,8つのASL文法的誤りを検出する。

関連論文リスト

• Enhanced Sign Language Translation between American Sign Language (ASL) and Indian Sign Language (ISL) Using LLMs [0.2678472239880052]
  我々は、アメリカ手話の利用者と話し言葉とインド手話(ISL)の利用者の間に橋渡しを提供することを目標とする研究を思いついた。 このフレームワークは、ジェスチャーの可変性の自動処理や、ASLとISLの言語的違いを克服するといった重要な課題に対処する。
  論文  参考訳（メタデータ） (2024-11-19T17:45:12Z)
• The American Sign Language Knowledge Graph: Infusing ASL Models with Linguistic Knowledge [6.481946043182915]
  専門的な言語知識の12つの情報源からコンパイルされたASLKG(American Sign Language Knowledge Graph)を紹介する。 我々は、ASLKGを用いて、3つのASL理解タスクのニューロシンボリックモデルをトレーニングし、ISRで91%のアキュラシーを達成し、14%の未確認のサインのセマンティックな特徴を予測し、36%のYoutube-ASLビデオのトピックを分類した。
  論文  参考訳（メタデータ） (2024-11-06T00:16:16Z)
• FLEURS-ASL: Including American Sign Language in Massively Multilingual Multitask Evaluation [0.9790236766474201]
  FLORES(テキスト用)とFLEURS(音声用)のマルチウェイ並列ベンチマークであるFLEURS-ASLを導入する。 FLEURS-ASLは、ASLと200言語間の様々なタスクをテキストとして、あるいは102言語を音声として評価するために使用することができる。 タイムスタンプトークンと過去のテキストトークンを34秒のコンテキストウィンドウに組み込んだ統一モデリングアプローチを用いて,ASLから英語テキストへのタスクのベースラインを提供する。 また、FLEURS-ASLを用いて、マルチモーダルフロンティアモデルがASLを事実上理解していないことを示す。
  論文  参考訳（メタデータ） (2024-08-24T13:59:41Z)
• Scaling up Multimodal Pre-training for Sign Language Understanding [96.17753464544604]
  手話は、難聴者コミュニティにとってコミュニケーションの主要な意味である。 難聴者と聴覚者のコミュニケーションを容易にするために,手話理解(SLU)タスクのシリーズが研究されている。 これらの課題は、多様な視点から手話のトピックを調査し、手話ビデオの効果的な表現を学ぶ上での課題を提起する。
  論文  参考訳（メタデータ） (2024-08-16T06:04:25Z)
• Weakly-supervised Fingerspelling Recognition in British Sign Language Videos [85.61513254261523]
  従来の指スペル認識法は、British Sign Language (BSL) に焦点を絞っていない 従来の手法とは対照的に,本手法はトレーニング用字幕の弱いアノテーションのみを使用する。 本稿では,このタスクに適応したTransformerアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2022-11-16T15:02:36Z)
• ASL-Homework-RGBD Dataset: An annotated dataset of 45 fluent and non-fluent signers performing American Sign Language homeworks [32.3809065803553]
  このデータセットには、American Sign Language (ASL) を使用した、流動的で非流動的なシグナのビデオが含まれている。 受講生は45名、受講生は45名、受講生は45名であった。 データは、文法的特徴や非マニュアルマーカーを含む署名のいくつかの側面を特定するために注釈付けされている。
  論文  参考訳（メタデータ） (2022-07-08T17:18:49Z)
• Skeleton Based Sign Language Recognition Using Whole-body Keypoints [71.97020373520922]
  手話は聴覚障害者や言語障害者のコミュニケーションに使用される。 また,RGB-D法と組み合わせて最先端の性能を実現することで,Skeletonに基づく音声認識が普及しつつある。 近年のボディポーズ推定用citejin 2020wholeの開発に触発されて,全身キーポイントと特徴に基づく手話認識を提案する。
  論文  参考訳（メタデータ） (2021-03-16T03:38:17Z)
• Watch, read and lookup: learning to spot signs from multiple supervisors [99.50956498009094]
  孤立した手話のビデオが与えられた場合、我々のタスクは、連続的かつ協調的な手話ビデオで署名されたか、どこで署名されたかを特定することである。 我々は,(1)既存の粗末なラベル付き映像を見ること,(2)追加の弱スーパービジョンを提供する関連字幕を読むこと,(3)視覚手話辞書で単語を検索すること,の3つを用いて,利用可能な複数のタイプの監督手法を用いてモデルを訓練する。 これらの3つのタスクは、ノイズコントラスト推定と多重インスタンス学習の原則を用いて統合学習フレームワークに統合される。
  論文  参考訳（メタデータ） (2020-10-08T14:12:56Z)
• Transferring Cross-domain Knowledge for Video Sign Language Recognition [103.9216648495958]
  単語レベルの手話認識(WSLR)は手話解釈の基本課題である。 ドメイン不変の視覚概念を学習し、サブタイトルのニュースサインの知識を伝達することでWSLRモデルを肥大化させる新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-03-08T03:05:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。