論文の概要: Transferring Cross-domain Knowledge for Video Sign Language Recognition

• arxiv url: http://arxiv.org/abs/2003.03703v2
• Date: Tue, 17 Mar 2020 14:53:06 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-25 14:42:21.655249
• Title: Transferring Cross-domain Knowledge for Video Sign Language Recognition
• Title（参考訳）: ビデオ手話認識のためのクロスドメイン知識の伝達
• Authors: Dongxu Li, Xin Yu, Chenchen Xu, Lars Petersson, Hongdong Li
• Abstract要約: 単語レベルの手話認識(WSLR)は手話解釈の基本課題である。 ドメイン不変の視覚概念を学習し、サブタイトルのニュースサインの知識を伝達することでWSLRモデルを肥大化させる新しい手法を提案する。
• 参考スコア（独自算出の注目度）: 103.9216648495958
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Word-level sign language recognition (WSLR) is a fundamental task in sign language interpretation. It requires models to recognize isolated sign words from videos. However, annotating WSLR data needs expert knowledge, thus limiting WSLR dataset acquisition. On the contrary, there are abundant subtitled sign news videos on the internet. Since these videos have no word-level annotation and exhibit a large domain gap from isolated signs, they cannot be directly used for training WSLR models. We observe that despite the existence of a large domain gap, isolated and news signs share the same visual concepts, such as hand gestures and body movements. Motivated by this observation, we propose a novel method that learns domain-invariant visual concepts and fertilizes WSLR models by transferring knowledge of subtitled news sign to them. To this end, we extract news signs using a base WSLR model, and then design a classifier jointly trained on news and isolated signs to coarsely align these two domain features. In order to learn domain-invariant features within each class and suppress domain-specific features, our method further resorts to an external memory to store the class centroids of the aligned news signs. We then design a temporal attention based on the learnt descriptor to improve recognition performance. Experimental results on standard WSLR datasets show that our method outperforms previous state-of-the-art methods significantly. We also demonstrate the effectiveness of our method on automatically localizing signs from sign news, achieving 28.1 for AP@0.5.
• Abstract（参考訳）: 単語レベルの手話認識(WSLR)は手話解釈の基本課題である。 モデルはビデオから孤立した手話を認識する必要がある。 しかし、WSLRデータの注釈付けには専門家の知識が必要であるため、WSLRデータセットの取得は制限される。 反対に、インターネット上には豊富な字幕付きニュースビデオがある。 これらのビデオには単語レベルのアノテーションがなく、孤立した記号から大きなドメイン間ギャップがあるため、wslrモデルのトレーニングに直接使用することはできない。 我々は、大きなドメインギャップが存在するにもかかわらず、孤立とニュースサインは同じ視覚的概念を共有していることを観察した。 そこで本研究では,ドメイン不変の視覚概念を学習し,サブタイトルのニュースサインの知識を伝達することによってWSLRモデルを肥大化させる手法を提案する。 この目的のために,wslrモデルに基づいてニュース符号を抽出し,これら2つのドメイン特徴を粗く整えるために,ニュースと分離符号を共同で訓練した分類器を設計する。 本手法は,各クラス内のドメイン不変の特徴を学習し,ドメイン固有の特徴を抑えるために,さらに外部メモリを活用して,整列したニュースサインのクラスセントロイドを格納する。 次に,学習記述子に基づく時間的注意を設計し,認識性能を向上させる。 標準WSLRデータセットによる実験結果から,本手法は従来の最先端手法よりも優れていた。 また,サインニュースからサインを自動的に位置決めする手法の有効性を実証し,AP@0.5で28.1を達成した。

関連論文リスト

• Self-Supervised Representation Learning with Spatial-Temporal Consistency for Sign Language Recognition [96.62264528407863]
  本研究では,空間的時間的整合性を通じてリッチな文脈を探索する自己教師付きコントラスト学習フレームワークを提案する。 動きと関節のモーダル性の相補性に着想を得て,手話モデルに一階動作情報を導入する。 提案手法は,4つの公開ベンチマークの広範な実験により評価され,新しい最先端性能と顕著なマージンを実現している。
  論文  参考訳（メタデータ） (2024-06-15T04:50:19Z)
• Improving Continuous Sign Language Recognition with Cross-Lingual Signs [29.077175863743484]
  本稿では,多言語手話コーパスを用いた連続手話認識の実現可能性について検討する。 まず、2つのデータセットに現れる独立した記号を含む2つの手話辞書を構築します。 次に、適切に最適化された手話認識モデルを用いて、2つの手話間の手話間の手話マッピングを同定する。
  論文  参考訳（メタデータ） (2023-08-21T15:58:47Z)
• Learning from What is Already Out There: Few-shot Sign Language Recognition with Online Dictionaries [0.0]
  UWB-SL-Wildマイクロショットデータセットをオープンソースとして公開しました。 我々は,手話認識モデルを数ショットのシナリオで訓練するための新しいアプローチを導入し,その結果,最先端の結果を得た。
  論文  参考訳（メタデータ） (2023-01-10T03:21:01Z)
• Two-Stream Network for Sign Language Recognition and Translation [38.43767031555092]
  本稿では、生ビデオとキーポイントシーケンスの両方をモデル化するために、2つの別々のストリームを含むデュアルビジュアルエンコーダを提案する。 結果として得られるモデルはTwoStream-SLRと呼ばれ、手話認識に適している。 TwoStream-SLTは、単に追加の翻訳ネットワークをアタッチするだけで、手話変換モデルであるTwoStream-SLTに拡張される。
  論文  参考訳（メタデータ） (2022-11-02T17:59:58Z)
• I2DFormer: Learning Image to Document Attention for Zero-Shot Image Classification [123.90912800376039]
  オンラインテキスト文書(例えばウィキペディア)には、オブジェクトクラスに関する豊富な視覚的記述が含まれている。 画像や文書のエンコードを共同で学習するトランスフォーマーベースのZSLフレームワークであるI2DFormerを提案する。 提案手法は,画像領域に文書語を接地可能な高解釈可能な結果をもたらす。
  論文  参考訳（メタデータ） (2022-09-21T12:18:31Z)
• Automatic dense annotation of large-vocabulary sign language videos [85.61513254261523]
  自動アノテーションの密度を大幅に高めるための,シンプルでスケーラブルなフレームワークを提案する。 これらのアノテーションは手話研究コミュニティをサポートするために公開されています。
  論文  参考訳（メタデータ） (2022-08-04T17:55:09Z)
• A Simple Multi-Modality Transfer Learning Baseline for Sign Language Translation [54.29679610921429]
  既存の手話データセットには、約10K-20Kの手話ビデオ、グロスアノテーション、テキストが含まれています。 したがって、データは効果的な手話翻訳モデルの訓練のボトルネックとなる。 この単純なベースラインは、2つの手話翻訳ベンチマークで過去の最先端の結果を上回っている。
  論文  参考訳（メタデータ） (2022-03-08T18:59:56Z)
• Pose-based Sign Language Recognition using GCN and BERT [0.0]
  単語レベルの手話認識(WSLR)は手話を理解し解釈するための最初の重要なステップである。 ビデオからサインを認識することは、単語の意味が微妙な身体の動き、手の動き、その他の動きの組み合わせに依存するため、難しい作業である。 W SLRの最近のポーズベースアーキテクチャは、異なるフレーム内のポーズ間の空間的および時間的依存関係を同時にモデル化するか、空間的情報を完全に活用せずに時間的情報のみをモデル化する。 本稿では,空間的・時間的情報を別々に捉え,遅延融合を行う新しいポーズベースアプローチを用いて,W SLRの課題に取り組む。
  論文  参考訳（メタデータ） (2020-12-01T19:10:50Z)
• BSL-1K: Scaling up co-articulated sign language recognition using mouthing cues [106.21067543021887]
  ビデオデータから高品質なアノテーションを得るために,シグナリングキューの使い方を示す。 BSL-1Kデータセット(英: BSL-1K dataset)は、イギリス手話(英: British Sign Language, BSL)の集合体である。
  論文  参考訳（メタデータ） (2020-07-23T16:59:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。