論文の概要: Sign Language Recognition via Skeleton-Aware Multi-Model Ensemble

• arxiv url: http://arxiv.org/abs/2110.06161v1
• Date: Tue, 12 Oct 2021 16:57:18 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-13 13:02:01.948136
• Title: Sign Language Recognition via Skeleton-Aware Multi-Model Ensemble
• Title（参考訳）: 骨格型マルチモデルアンサンブルによる手話認識
• Authors: Songyao Jiang, Bin Sun, Lichen Wang, Yue Bai, Kunpeng Li, Yun Fu
• Abstract要約: 手話は一般的に、聴覚障害者やミュート人がコミュニケーションするために使われる。 孤立手話認識(SLR)のためのGlobal Ensemble Model(GEM)を用いた新しいマルチモーダルフレームワークを提案する。 提案するSAM-SLR-v2 フレームワークは極めて有効であり,最先端の性能を高いマージンで達成している。
• 参考スコア（独自算出の注目度）: 71.97020373520922
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Sign language is commonly used by deaf or mute people to communicate but requires extensive effort to master. It is usually performed with the fast yet delicate movement of hand gestures, body posture, and even facial expressions. Current Sign Language Recognition (SLR) methods usually extract features via deep neural networks and suffer overfitting due to limited and noisy data. Recently, skeleton-based action recognition has attracted increasing attention due to its subject-invariant and background-invariant nature, whereas skeleton-based SLR is still under exploration due to the lack of hand annotations. Some researchers have tried to use off-line hand pose trackers to obtain hand keypoints and aid in recognizing sign language via recurrent neural networks. Nevertheless, none of them outperforms RGB-based approaches yet. To this end, we propose a novel Skeleton Aware Multi-modal Framework with a Global Ensemble Model (GEM) for isolated SLR (SAM-SLR-v2) to learn and fuse multi-modal feature representations towards a higher recognition rate. Specifically, we propose a Sign Language Graph Convolution Network (SL-GCN) to model the embedded dynamics of skeleton keypoints and a Separable Spatial-Temporal Convolution Network (SSTCN) to exploit skeleton features. The skeleton-based predictions are fused with other RGB and depth based modalities by the proposed late-fusion GEM to provide global information and make a faithful SLR prediction. Experiments on three isolated SLR datasets demonstrate that our proposed SAM-SLR-v2 framework is exceedingly effective and achieves state-of-the-art performance with significant margins. Our code will be available at https://github.com/jackyjsy/SAM-SLR-v2
• Abstract（参考訳）: 手話は通常、聴覚障害者やミュート人のコミュニケーションに使用されるが、マスターするには多大な労力を要する。 通常、手の動きが速くて繊細な動き、身体の姿勢、さらには表情で演奏される。 現在の手話認識(SLR)法は通常、ディープニューラルネットワークを介して特徴を抽出し、限られたノイズの多いデータのために過度に適合する。 近年,手指アノテーションの欠如によりスケルトンベースslrが探究中であるのに対し,スケルトンベースの行動認識が注目されている。 一部の研究者は、オフラインのハンドポーズトラッカーを使用して、ハンドキーポイントを取得し、リカレントニューラルネットワークによる手話認識を支援しようと試みている。 しかし、いずれもRGBベースのアプローチより優れているものはない。 そこで本研究では,孤立型slr(sam-slr-v2)のためのグローバルアンサンブルモデル(gem)を用いた新しい骨格認識型マルチモーダルフレームワークを提案する。 具体的には,スケルトンキーポイントの埋め込み力学をモデル化する手話グラフ畳み込みネットワーク (SL-GCN) と,スケルトンの特徴を活かした分離型空間時間畳み込みネットワーク (SSTCN) を提案する。 骨格に基づく予測は他のRGBや深度に基づくモダリティと融合し、グローバル情報を提供し、忠実なSLR予測を行う。 3つの独立したSLRデータセットを用いた実験により,提案したSAM-SLR-v2フレームワークは極めて有効であり,最先端の性能を著しく向上することを示した。 私たちのコードはhttps://github.com/jackyjsy/SAM-SLR-v2で公開されます。

関連論文リスト

• Bengali Sign Language Recognition through Hand Pose Estimation using Multi-Branch Spatial-Temporal Attention Model [0.5825410941577593]
  画像列から抽出した手関節骨格を考慮した空間的時間的注意に基づくBSL認識モデルを提案する。 本モデルでは, 高次元特徴空間上に投影された統一関節特徴に基づいて, 識別的構造変位と短距離依存性を捉える。
  論文  参考訳（メタデータ） (2024-08-26T08:55:16Z)
• Multi-Stream Keypoint Attention Network for Sign Language Recognition and Translation [3.976851945232775]
  現在の手話認識のアプローチは、背景のゆらぎに弱いRGBビデオ入力に依存している。 本稿では,容易に利用可能なキーポイント推定器によって生成されるキーポイントのシーケンスを記述するためのマルチストリームキーポイントアテンションネットワークを提案する。 我々は、Phoenix-2014、Phoenix-2014T、CSL-Dailyといった有名なベンチマークで包括的な実験を行い、方法論の有効性を実証した。
  論文  参考訳（メタデータ） (2024-05-09T10:58:37Z)
• Self-Sufficient Framework for Continuous Sign Language Recognition [75.60327502570242]
  この作業の目標は、継続的手話認識のための自己充足型のフレームワークを開発することです。 これには、理解のための手、顔、口などの複雑なマルチスケール機能、フレームレベルのアノテーションの欠如が含まれる。 ネットワークやアノテーションを必要とせずに手動と非手動の両方の機能を抽出するDivide and Focus Convolution (DFConv)を提案する。 DPLRは、基底真理グロスシーケンスラベルと予測シーケンスを組み合わせることにより、非スパイクフレームレベルの擬似ラベルを伝搬する。
  論文  参考訳（メタデータ） (2023-03-21T11:42:57Z)
• StepNet: Spatial-temporal Part-aware Network for Isolated Sign Language Recognition [33.44126628779347]
  本稿では,RGB の部分に基づく時空間部分認識ネットワーク (StepNet) という新しいフレームワークを提案する。 部分レベル空間モデリングは、特徴空間における手や顔などの外見に基づくプロパティを自動的にキャプチャする。 パートレベルのテンポラルモデリングは、長期のコンテキストを暗黙的に掘り下げて、時間とともに関連する属性をキャプチャします。
  論文  参考訳（メタデータ） (2022-12-25T05:24:08Z)
• Joint-bone Fusion Graph Convolutional Network for Semi-supervised Skeleton Action Recognition [65.78703941973183]
  本稿では,CD-JBF-GCNをエンコーダとし,ポーズ予測ヘッドをデコーダとして使用する新しい相関駆動型ジョイントボーン・フュージョングラフ畳み込みネットワークを提案する。 具体的には、CD-JBF-GCは、関節ストリームと骨ストリームの間の運動伝達を探索することができる。 自己教師型トレーニング段階におけるポーズ予測に基づくオートエンコーダにより、未ラベルデータから動作表現を学習することができる。
  論文  参考訳（メタデータ） (2022-02-08T16:03:15Z)
• Multi-Modal Zero-Shot Sign Language Recognition [51.07720650677784]
  マルチモーダルなゼロショット手話認識モデルを提案する。 C3DモデルとともにTransformerベースのモデルを使用して手の検出と深い特徴抽出を行う。 意味空間は、視覚的特徴をクラスラベルの言語的な埋め込みにマッピングするために使用される。
  論文  参考訳（メタデータ） (2021-09-02T09:10:39Z)
• Skeleton Based Sign Language Recognition Using Whole-body Keypoints [71.97020373520922]
  手話は聴覚障害者や言語障害者のコミュニケーションに使用される。 また,RGB-D法と組み合わせて最先端の性能を実現することで,Skeletonに基づく音声認識が普及しつつある。 近年のボディポーズ推定用citejin 2020wholeの開発に触発されて,全身キーポイントと特徴に基づく手話認識を提案する。
  論文  参考訳（メタデータ） (2021-03-16T03:38:17Z)
• Pose-based Sign Language Recognition using GCN and BERT [0.0]
  単語レベルの手話認識(WSLR)は手話を理解し解釈するための最初の重要なステップである。 ビデオからサインを認識することは、単語の意味が微妙な身体の動き、手の動き、その他の動きの組み合わせに依存するため、難しい作業である。 W SLRの最近のポーズベースアーキテクチャは、異なるフレーム内のポーズ間の空間的および時間的依存関係を同時にモデル化するか、空間的情報を完全に活用せずに時間的情報のみをモデル化する。 本稿では,空間的・時間的情報を別々に捉え,遅延融合を行う新しいポーズベースアプローチを用いて,W SLRの課題に取り組む。
  論文  参考訳（メタデータ） (2020-12-01T19:10:50Z)
• Fully Convolutional Networks for Continuous Sign Language Recognition [83.85895472824221]
  連続手話認識は、空間次元と時間次元の両方の学習を必要とする困難なタスクである。 本稿では,オンラインSLRのための完全畳み込みネットワーク (FCN) を提案し,弱い注釈付きビデオシーケンスから空間的特徴と時間的特徴を同時に学習する。
  論文  参考訳（メタデータ） (2020-07-24T08:16:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。