論文の概要: A Transformer-Based Contrastive Learning Approach for Few-Shot Sign Language Recognition

• arxiv url: http://arxiv.org/abs/2204.02803v1
• Date: Tue, 5 Apr 2022 11:42:55 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-07 12:39:14.510296
• Title: A Transformer-Based Contrastive Learning Approach for Few-Shot Sign Language Recognition
• Title（参考訳）: 数発手話認識のためのトランスフォーマティブ型コントラスト学習手法
• Authors: Silvan Ferreira, Esdras Costa, M\'arcio Dahia, Jampierre Rocha
• Abstract要約: 本稿では,ボディキー点列からリッチな表現を学習するContrastive Transformerベースのモデルを提案する。 実験により、モデルは十分に一般化でき、トレーニングプロセスで見られない手話のクラスに対して、競争的な結果を得ることができた。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Sign language recognition from sequences of monocular images or 2D poses is a challenging field, not only due to the difficulty to infer 3D information from 2D data, but also due to the temporal relationship between the sequences of information. Additionally, the wide variety of signs and the constant need to add new ones on production environments makes it infeasible to use traditional classification techniques. We propose a novel Contrastive Transformer-based model, which demonstrate to learn rich representations from body key points sequences, allowing better comparison between vector embedding. This allows us to apply these techniques to perform one-shot or few-shot tasks, such as classification and translation. The experiments showed that the model could generalize well and achieved competitive results for sign classes never seen in the training process.
• Abstract（参考訳）: 単眼画像または2次元ポーズのシーケンスからの手話認識は,2次元データから3次元情報を推測することが困難であるだけでなく,情報のシーケンス間の時間的関係によっても困難である。 さらに、様々な兆候や生産環境に新しいものを追加する必要があるため、従来の分類技術を使うことは不可能である。 本稿では,鍵点列からリッチな表現を学習し,ベクトル埋め込みのより良い比較を可能にするContrastive Transformerベースのモデルを提案する。 これにより、分類や翻訳などのワンショットタスクや少数ショットタスクにこれらのテクニックを適用することができます。 実験の結果,学習過程にない手話のクラスに対して,モデルが十分に一般化され,競争結果が得られた。

関連論文リスト

• Enhancing Generalizability of Representation Learning for Data-Efficient 3D Scene Understanding [50.448520056844885]
  本研究では,実世界のパターンを持つ多様な合成シーンを生成可能なベイズネットワークを提案する。 一連の実験は、既存の最先端の事前学習手法に比べて、我々の手法が一貫した優位性を示す。
  論文  参考訳（メタデータ） (2024-06-17T07:43:53Z)
• Self-Supervised Representation Learning with Spatial-Temporal Consistency for Sign Language Recognition [96.62264528407863]
  本研究では,空間的時間的整合性を通じてリッチな文脈を探索する自己教師付きコントラスト学習フレームワークを提案する。 動きと関節のモーダル性の相補性に着想を得て,手話モデルに一階動作情報を導入する。 提案手法は,4つの公開ベンチマークの広範な実験により評価され,新しい最先端性能と顕著なマージンを実現している。
  論文  参考訳（メタデータ） (2024-06-15T04:50:19Z)
• Purposer: Putting Human Motion Generation in Context [30.706219830149504]
  本研究では,3次元屋内シーンに人間の動きを再現する新しい手法を提案する。 シーン内のパス、ターゲットポーズ、過去の動き、そして3Dポイントの雲として表されるシーンなど、様々な条件信号の組み合わせで制御できる。
  論文  参考訳（メタデータ） (2024-04-19T15:16:04Z)
• Premonition: Using Generative Models to Preempt Future Data Changes in Continual Learning [63.850451635362425]
  継続的な学習には、データ分散の継続的な変化に対応するためのモデルが必要である。 本稿では,大規模言語モデルと画像生成モデルの組み合わせが有用であることを示す。 トレーニング済みネットワークのバックボーンは、下流の連続学習問題に有用な表現を学習できることがわかった。
  論文  参考訳（メタデータ） (2024-03-12T06:29:54Z)
• A Transformer Model for Boundary Detection in Continuous Sign Language [55.05986614979846]
  Transformerモデルは、分離された手話認識と連続手話認識の両方に使用される。 トレーニングプロセスは、入力されたビデオから抽出された手指キーポイントの特徴を豊かにする、孤立した手指ビデオを使用する。 トレーニングされたモデルと後処理の手法が組み合わさって、連続した手話ビデオ内の孤立した手話境界を検出する。
  論文  参考訳（メタデータ） (2024-02-22T17:25:01Z)
• Sign Language Production with Latent Motion Transformer [2.184775414778289]
  我々は、人間のポーズを中間ステップとして使うことなく、高品質なサインビデオを作成する新しい方法を開発した。 まず、ジェネレータから学習し、次に、隠れた機能の順序を理解するために別のモデルを使用します。 従来の最先端手法と比較して、我々のモデルは2つの単語レベル手話データセット上で一貫して性能が向上する。
  論文  参考訳（メタデータ） (2023-12-20T10:53:06Z)
• Grounded Language Acquisition From Object and Action Imagery [1.5566524830295307]
  視覚データ表現のためのプライベート言語の開発について検討する。 物体認識には、実際の画像から人間の参加者が作成したスケッチのセットが用いられた。 動作認識のために3次元モーションキャプチャシステムから2次元軌跡が生成された。
  論文  参考訳（メタデータ） (2023-09-12T15:52:08Z)
• DUET: Cross-modal Semantic Grounding for Contrastive Zero-shot Learning [37.48292304239107]
  本稿では, DUET という変換器を用いたエンドツーエンドZSL手法を提案する。 画像からセマンティック属性を分離するモデルの能力を調べるために,モーダルなセマンティックグラウンドネットワークを開発した。 DUETは、しばしば最先端のパフォーマンスを達成することができ、そのコンポーネントは有効であり、予測は解釈可能である。
  論文  参考訳（メタデータ） (2022-07-04T11:12:12Z)
• A Simple Long-Tailed Recognition Baseline via Vision-Language Model [92.2866546058082]
  視覚の世界は自然にオープンクラスの長い尾の分布を示しており、現代の視覚システムには大きな課題をもたらしている。 視覚認識のための新しい経路におけるコントラスト言語事前学習の最近の進歩 我々は、長い尾の認識にコントラッシブな視覚言語モデルを活用するために、BALLADを提案する。
  論文  参考訳（メタデータ） (2021-11-29T17:49:24Z)
• StEP: Style-based Encoder Pre-training for Multi-modal Image Synthesis [68.3787368024951]
  マルチモーダルイメージ・ツー・イメージ(I2I)翻訳のための新しいアプローチを提案する。 我々は、出力領域の可変性をモデル化する潜伏埋め込みをジェネレータと共同で学習する。 具体的には、新しいプロキシタスクを用いて汎用的なスタイルエンコーダを事前訓練し、任意のドメインから低次元のスタイル潜在空間への画像の埋め込みを学習する。
  論文  参考訳（メタデータ） (2021-04-14T19:58:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。