論文の概要: Recognizing American Sign Language Nonmanual Signal Grammar Errors in
Continuous Videos
- arxiv url: http://arxiv.org/abs/2005.00253v1
- Date: Fri, 1 May 2020 07:25:07 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-08 00:04:25.242196
- Title: Recognizing American Sign Language Nonmanual Signal Grammar Errors in
Continuous Videos
- Title(参考訳): 連続ビデオにおけるアメリカ手話非マニュアル信号文法誤差の認識
- Authors: Elahe Vahdani, Longlong Jing, Yingli Tian, Matt Huenerfauth
- Abstract要約: 本稿では,連続署名ビデオにおける文法的誤りを認識できる準リアルタイムシステムを提案する。
ASL 文のパフォーマンスに ASL の学生による文法的誤りが含まれているかどうかを自動的に認識する。
- 参考スコア(独自算出の注目度): 38.14850006590712
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: As part of the development of an educational tool that can help students
achieve fluency in American Sign Language (ASL) through independent and
interactive practice with immediate feedback, this paper introduces a near
real-time system to recognize grammatical errors in continuous signing videos
without necessarily identifying the entire sequence of signs. Our system
automatically recognizes if performance of ASL sentences contains grammatical
errors made by ASL students. We first recognize the ASL grammatical elements
including both manual gestures and nonmanual signals independently from
multiple modalities (i.e. hand gestures, facial expressions, and head
movements) by 3D-ResNet networks. Then the temporal boundaries of grammatical
elements from different modalities are examined to detect ASL grammatical
mistakes by using a sliding window-based approach. We have collected a dataset
of continuous sign language, ASL-HW-RGBD, covering different aspects of ASL
grammars for training and testing. Our system is able to recognize grammatical
elements on ASL-HW-RGBD from manual gestures, facial expressions, and head
movements and successfully detect 8 ASL grammatical mistakes.
- Abstract(参考訳): 本稿では,アメリカ手話(ASL, American Sign Language, ASL, ASL)の流布を即時フィードバックで支援する教育ツールの開発の一環として,連続署名ビデオにおける文法的誤りを必ずしも識別することなく,ほぼリアルタイムに認識するシステムを提案する。
ASL 文のパフォーマンスが ASL 学生の文法的誤りを含むかどうかを自動的に認識する。
3D-ResNetネットワークにより,手動ジェスチャーと非手動信号を含むASLの文法的要素を複数のモーダル(手動ジェスチャー,表情,頭部運動)から独立に認識する。
そこで, 異なる様相からの文法的要素の時間的境界について検討し, スライドウインドウに基づくアプローチを用いてASL文法的誤りを検出する。
我々は,連続手話のデータセットであるASL-HW-RGBDを収集し,ASL文法の学習とテストのさまざまな側面を網羅した。
ASL-HW-RGBDの文法的要素を手動ジェスチャー,表情,頭部動作から認識し,8つのASL文法的誤りを検出する。
関連論文リスト
- Improving Continuous Sign Language Recognition with Cross-Lingual Signs [29.077175863743484]
本稿では,多言語手話コーパスを用いた連続手話認識の実現可能性について検討する。
まず、2つのデータセットに現れる独立した記号を含む2つの手話辞書を構築します。
次に、適切に最適化された手話認識モデルを用いて、2つの手話間の手話間の手話マッピングを同定する。
論文 参考訳(メタデータ) (2023-08-21T15:58:47Z) - Gloss-free Sign Language Translation: Improving from Visual-Language
Pretraining [56.26550923909137]
Gloss-Free Sign Language Translation (SLT) はドメイン横断性のために難しい課題である。
視覚言語事前学習(GFSLT-)に基づく新しいGross-free SLTを提案する。
i) コントラスト言語-画像事前学習とマスク付き自己教師付き学習を統合して,視覚的表現とテキスト的表現のセマンティックギャップをブリッジするプレタスクを作成し,マスク付き文を復元すること,(ii) 事前訓練されたビジュアルおよびテキストデコーダのパラメータを継承するエンコーダ-デコーダ-のような構造を持つエンドツーエンドアーキテクチャを構築すること,である。
論文 参考訳(メタデータ) (2023-07-27T10:59:18Z) - Weakly-supervised Fingerspelling Recognition in British Sign Language
Videos [85.61513254261523]
従来の指スペル認識法は、British Sign Language (BSL) に焦点を絞っていない
従来の手法とは対照的に,本手法はトレーニング用字幕の弱いアノテーションのみを使用する。
本稿では,このタスクに適応したTransformerアーキテクチャを提案する。
論文 参考訳(メタデータ) (2022-11-16T15:02:36Z) - ASL-Homework-RGBD Dataset: An annotated dataset of 45 fluent and
non-fluent signers performing American Sign Language homeworks [32.3809065803553]
このデータセットには、American Sign Language (ASL) を使用した、流動的で非流動的なシグナのビデオが含まれている。
受講生は45名、受講生は45名、受講生は45名であった。
データは、文法的特徴や非マニュアルマーカーを含む署名のいくつかの側面を特定するために注釈付けされている。
論文 参考訳(メタデータ) (2022-07-08T17:18:49Z) - Continual-wav2vec2: an Application of Continual Learning for
Self-Supervised Automatic Speech Recognition [0.23872611575805824]
自己教師付き学習(SSL)を用いた複数言語における音声表現の連続学習法を提案する。
Wav2vecモデルは、事前トレーニングフェーズで生オーディオ上でSSLを実行し、アノテートされた少数のデータに対して微調整を行う。
新しい言語タスクの事前学習を高速化するために、継続学習からのアイデアを、以前のタスクから知識を伝達するために使用します。
論文 参考訳(メタデータ) (2021-07-26T10:39:03Z) - Skeleton Based Sign Language Recognition Using Whole-body Keypoints [71.97020373520922]
手話は聴覚障害者や言語障害者のコミュニケーションに使用される。
また,RGB-D法と組み合わせて最先端の性能を実現することで,Skeletonに基づく音声認識が普及しつつある。
近年のボディポーズ推定用citejin 2020wholeの開発に触発されて,全身キーポイントと特徴に基づく手話認識を提案する。
論文 参考訳(メタデータ) (2021-03-16T03:38:17Z) - Watch, read and lookup: learning to spot signs from multiple supervisors [99.50956498009094]
孤立した手話のビデオが与えられた場合、我々のタスクは、連続的かつ協調的な手話ビデオで署名されたか、どこで署名されたかを特定することである。
我々は,(1)既存の粗末なラベル付き映像を見ること,(2)追加の弱スーパービジョンを提供する関連字幕を読むこと,(3)視覚手話辞書で単語を検索すること,の3つを用いて,利用可能な複数のタイプの監督手法を用いてモデルを訓練する。
これらの3つのタスクは、ノイズコントラスト推定と多重インスタンス学習の原則を用いて統合学習フレームワークに統合される。
論文 参考訳(メタデータ) (2020-10-08T14:12:56Z) - Transferring Cross-domain Knowledge for Video Sign Language Recognition [103.9216648495958]
単語レベルの手話認識(WSLR)は手話解釈の基本課題である。
ドメイン不変の視覚概念を学習し、サブタイトルのニュースサインの知識を伝達することでWSLRモデルを肥大化させる新しい手法を提案する。
論文 参考訳(メタデータ) (2020-03-08T03:05:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。