論文の概要: On the Importance of Signer Overlap for Sign Language Detection
- arxiv url: http://arxiv.org/abs/2303.10782v1
- Date: Sun, 19 Mar 2023 22:15:05 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-21 17:18:30.152980
- Title: On the Importance of Signer Overlap for Sign Language Detection
- Title(参考訳): 手話検出におけるシグナー重なりの重要性について
- Authors: Abhilash Pal, Stephan Huber, Cyrine Chaabani, Alessandro Manzotti,
Oscar Koller
- Abstract要約: 我々は,手話検出のための現在のベンチマークデータセットは,一般化が不十分な過度に肯定的な結果であると主張している。
我々は、現在の符号検出ベンチマークデータセットに対するシグナ重なりの影響を詳細に分析することでこれを定量化する。
我々は、重複のない新しいデータセット分割を提案し、より現実的なパフォーマンス評価を可能にします。
- 参考スコア(独自算出の注目度): 65.26091369630547
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Sign language detection, identifying if someone is signing or not, is
becoming crucially important for its applications in remote conferencing
software and for selecting useful sign data for training sign language
recognition or translation tasks. We argue that the current benchmark data sets
for sign language detection estimate overly positive results that do not
generalize well due to signer overlap between train and test partitions. We
quantify this with a detailed analysis of the effect of signer overlap on
current sign detection benchmark data sets. Comparing accuracy with and without
overlap on the DGS corpus and Signing in the Wild, we observed a relative
decrease in accuracy of 4.17% and 6.27%, respectively. Furthermore, we propose
new data set partitions that are free of overlap and allow for more realistic
performance assessment. We hope this work will contribute to improving the
accuracy and generalization of sign language detection systems.
- Abstract(参考訳): 誰かが署名しているかどうかを識別する手話検出は、リモート会議ソフトウェアにおけるアプリケーションや、手話認識や翻訳タスクのトレーニングに有用な手話データを選択するために重要になっている。
我々は,手話検出のための現在のベンチマークデータセットが,列車とテストのパーティション間のシグナの重なり合いによって一般化されない,過度に肯定的な結果となることを論じる。
我々は、現在の符号検出ベンチマークデータセットに対するシグナ重なりの影響を詳細に分析することでこれを定量化する。
DGS corpus と Signing in the Wild の比較では, それぞれ4.17%, 6.27% の精度が相対的に低下した。
さらに,重複をなくし,より現実的な性能評価を可能にする新たなデータセット分割を提案する。
本研究は手話検出システムの精度向上と一般化に寄与することを期待している。
関連論文リスト
- Improving Continuous Sign Language Recognition with Cross-Lingual Signs [29.077175863743484]
本稿では,多言語手話コーパスを用いた連続手話認識の実現可能性について検討する。
まず、2つのデータセットに現れる独立した記号を含む2つの手話辞書を構築します。
次に、適切に最適化された手話認識モデルを用いて、2つの手話間の手話間の手話マッピングを同定する。
論文 参考訳(メタデータ) (2023-08-21T15:58:47Z) - Ham2Pose: Animating Sign Language Notation into Pose Sequences [9.132706284440276]
音声言語を手話に翻訳することは、聴覚障害者コミュニティと聴覚障害者コミュニティとの間のオープンなコミュニケーションに必要である。
本稿では,Lexical Sign言語表記法であるHamNoSysで書かれたテキストを,署名されたポーズ列にアニメーションする最初の方法を提案する。
論文 参考訳(メタデータ) (2022-11-24T13:59:32Z) - Probing for targeted syntactic knowledge through grammatical error
detection [13.653209309144593]
本稿では,事前学習した英語モデルを評価するために,文法的誤り検出を診断プローブとして提案する。
我々は、英語の第二言語学習者とウィキペディアの編集の両方から、公的な注釈付きトレーニングデータを活用する。
マスク付き言語モデルでは,SVAエラー検出に関連する情報を線形に符号化し,自動回帰モデルはベースラインと同等に動作することがわかった。
論文 参考訳(メタデータ) (2022-10-28T16:01:25Z) - Automatic dense annotation of large-vocabulary sign language videos [85.61513254261523]
自動アノテーションの密度を大幅に高めるための,シンプルでスケーラブルなフレームワークを提案する。
これらのアノテーションは手話研究コミュニティをサポートするために公開されています。
論文 参考訳(メタデータ) (2022-08-04T17:55:09Z) - Building Korean Sign Language Augmentation (KoSLA) Corpus with Data
Augmentation Technique [0.0]
我々は手話翻訳のためのコーパスの効率的なフレームワークを提案する。
手話の言語的特徴を考慮することで,提案するフレームワークは,マルチモーダル手話拡張コーパスを構築するための最初の,ユニークな試みである。
論文 参考訳(メタデータ) (2022-07-12T02:12:36Z) - Keypoint based Sign Language Translation without Glosses [7.240731862549344]
署名者の骨格点に基づく翻訳を行うための新しいキーポイント正規化法を提案する。
身体部分に応じてカスタマイズされた正規化法により性能改善に寄与した。
本手法は,グルースを使わずにデータセットに適用可能な方法で,様々なデータセットに適用することができる。
論文 参考訳(メタデータ) (2022-04-22T05:37:56Z) - Skeleton Based Sign Language Recognition Using Whole-body Keypoints [71.97020373520922]
手話は聴覚障害者や言語障害者のコミュニケーションに使用される。
また,RGB-D法と組み合わせて最先端の性能を実現することで,Skeletonに基づく音声認識が普及しつつある。
近年のボディポーズ推定用citejin 2020wholeの開発に触発されて,全身キーポイントと特徴に基づく手話認識を提案する。
論文 参考訳(メタデータ) (2021-03-16T03:38:17Z) - Watch, read and lookup: learning to spot signs from multiple supervisors [99.50956498009094]
孤立した手話のビデオが与えられた場合、我々のタスクは、連続的かつ協調的な手話ビデオで署名されたか、どこで署名されたかを特定することである。
我々は,(1)既存の粗末なラベル付き映像を見ること,(2)追加の弱スーパービジョンを提供する関連字幕を読むこと,(3)視覚手話辞書で単語を検索すること,の3つを用いて,利用可能な複数のタイプの監督手法を用いてモデルを訓練する。
これらの3つのタスクは、ノイズコントラスト推定と多重インスタンス学習の原則を用いて統合学習フレームワークに統合される。
論文 参考訳(メタデータ) (2020-10-08T14:12:56Z) - BSL-1K: Scaling up co-articulated sign language recognition using
mouthing cues [106.21067543021887]
ビデオデータから高品質なアノテーションを得るために,シグナリングキューの使い方を示す。
BSL-1Kデータセット(英: BSL-1K dataset)は、イギリス手話(英: British Sign Language, BSL)の集合体である。
論文 参考訳(メタデータ) (2020-07-23T16:59:01Z) - Sign Language Transformers: Joint End-to-end Sign Language Recognition
and Translation [59.38247587308604]
本稿では,連続手話認識と翻訳を共同で学習するトランスフォーマーアーキテクチャを提案する。
RWTH-PHOENIX-Weather-2014Tデータセットの認識と翻訳性能の評価を行った。
我々の翻訳ネットワークは、動画を音声言語に、光沢を音声言語翻訳モデルに、どちらよりも優れています。
論文 参考訳(メタデータ) (2020-03-30T21:35:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。