論文の概要: Siformer: Feature-isolated Transformer for Efficient Skeleton-based Sign Language Recognition
- arxiv url: http://arxiv.org/abs/2503.20436v1
- Date: Wed, 26 Mar 2025 11:10:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-27 13:20:21.586311
- Title: Siformer: Feature-isolated Transformer for Efficient Skeleton-based Sign Language Recognition
- Title（参考訳）: Siformer: 効率的な骨格に基づく手話認識のための特徴分離変換器
- Authors: Muxin Pu, Mei Kuan Lim, Chun Yong Chong,
- Abstract要約: 手話認識とは、与えられたビデオから手話のグルースを自動的に解釈することを指す。
最近の骨格に基づく行動認識は、被験者と背景のばらつきを個別に扱う能力によって、注目を集めている。
- 参考スコア（独自算出の注目度）: 4.353165013945741
- License:
- Abstract: Sign language recognition (SLR) refers to interpreting sign language glosses from given videos automatically. This research area presents a complex challenge in computer vision because of the rapid and intricate movements inherent in sign languages, which encompass hand gestures, body postures, and even facial expressions. Recently, skeleton-based action recognition has attracted increasing attention due to its ability to handle variations in subjects and backgrounds independently. However, current skeleton-based SLR methods exhibit three limitations: 1) they often neglect the importance of realistic hand poses, where most studies train SLR models on non-realistic skeletal representations; 2) they tend to assume complete data availability in both training or inference phases, and capture intricate relationships among different body parts collectively; 3) these methods treat all sign glosses uniformly, failing to account for differences in complexity levels regarding skeletal representations. To enhance the realism of hand skeletal representations, we present a kinematic hand pose rectification method for enforcing constraints. Mitigating the impact of missing data, we propose a feature-isolated mechanism to focus on capturing local spatial-temporal context. This method captures the context concurrently and independently from individual features, thus enhancing the robustness of the SLR model. Additionally, to adapt to varying complexity levels of sign glosses, we develop an input-adaptive inference approach to optimise computational efficiency and accuracy. Experimental results demonstrate the effectiveness of our approach, as evidenced by achieving a new state-of-the-art (SOTA) performance on WLASL100 and LSA64. For WLASL100, we achieve a top-1 accuracy of 86.50\%, marking a relative improvement of 2.39% over the previous SOTA. For LSA64, we achieve a top-1 accuracy of 99.84%.
- Abstract（参考訳）: 手話認識(SLR)とは、与えられたビデオから手話のグルースを自動で解釈することである。
この研究領域は手の動き、身体姿勢、さらには表情を含む手話に固有の急速かつ複雑な動きのため、コンピュータビジョンにおいて複雑な課題を呈している。
近年、骨格に基づく行動認識は、被験者と背景のばらつきを個別に扱う能力によって、注目を集めている。
しかし、現在の骨格に基づくSLR法には3つの限界がある。
1) 現実的な手ポーズの重要性は無視されることが多く、ほとんどの研究は非現実的な骨格表現でSLRモデルを訓練している。
2 訓練又は推論の段階において、完全なデータ提供を前提とし、異なる身体部分間の複雑な関係をまとめて把握する傾向がある。
3)これらの手法は,骨格表現に関する複雑性レベルの違いを考慮せず,すべての手話が均一に扱われる。
手の骨格表現の現実性を高めるために,制約を強制する運動的手ポーズ補正法を提案する。
欠落したデータの影響を緩和し,局所的な空間的・時間的文脈を捉えることに焦点を当てた特徴分離機構を提案する。
本手法は,個々の特徴から同時かつ独立にコンテキストを捕捉し,SLRモデルのロバスト性を高める。
さらに,計算効率と精度を最適化する入力適応型推論手法を開発した。
WLASL100およびLSA64上でのSOTA(State-of-the-art)の性能向上を実証し,本手法の有効性を実証した。
WLASL100の場合、トップ1の精度は86.50 %となり、以前のSOTAに比べて2.39%向上した。
LSA64の場合、トップ1の精度は99.84%である。
関連論文リスト
- Training Strategies for Isolated Sign Language Recognition [72.27323884094953]
本稿では,孤立手話認識のための包括的モデル学習パイプラインを提案する。
構築されたパイプラインには、慎重に選択された画像とビデオの拡張が含まれており、低いデータ品質とさまざまなサインスピードの課題に対処している。
WLASLとSlovoのベンチマークでは、以前のベストソリューションと比較して1.63%と14.12%の改善が得られた。
論文 参考訳（メタデータ） (2024-12-16T08:37:58Z) - MASA: Motion-aware Masked Autoencoder with Semantic Alignment for Sign Language Recognition [94.56755080185732]
本研究では,リッチモーションキューとグローバルセマンティック情報を統合したセマンティックアライメント(MASA)を用いたMotion-Awareマスク付きオートエンコーダを提案する。
我々のフレームワークは,包括的手話表現のための局所的な動きの手がかりとグローバルな意味的特徴を同時に学習することができる。
論文 参考訳（メタデータ） (2024-05-31T08:06:05Z) - SignBERT+: Hand-model-aware Self-supervised Pre-training for Sign
Language Understanding [132.78015553111234]
手の動きは手話の表現において重要な役割を担っている。
現在,手話理解(SLU)の深層学習手法は,手話データ資源の不足により過度に適合する傾向にある。
モデル認識ハンドを組み込んだ初の自己教師型事前学習型SignBERT+フレームワークを提案する。
論文 参考訳（メタデータ） (2023-05-08T17:16:38Z) - Learning to Decompose Visual Features with Latent Textual Prompts [140.2117637223449]
視覚言語モデルを改善するために,Decomposed Feature Prompting (DeFo)を提案する。
我々の実証研究は、視覚言語モデルを改善する上でDeFoが重要であることを示している。
論文 参考訳（メタデータ） (2022-10-09T15:40:13Z) - Adaptive Local-Component-aware Graph Convolutional Network for One-shot
Skeleton-based Action Recognition [54.23513799338309]
骨格に基づく行動認識のための適応的局所成分認識グラフ畳み込みネットワークを提案する。
我々の手法はグローバルな埋め込みよりも強力な表現を提供し、我々のモデルが最先端に到達するのに役立ちます。
論文 参考訳（メタデータ） (2022-09-21T02:33:07Z) - Sign Language Recognition via Skeleton-Aware Multi-Model Ensemble [71.97020373520922]
手話は一般的に、聴覚障害者やミュート人がコミュニケーションするために使われる。
孤立手話認識(SLR)のためのGlobal Ensemble Model(GEM)を用いた新しいマルチモーダルフレームワークを提案する。
提案するSAM-SLR-v2 フレームワークは極めて有効であり,最先端の性能を高いマージンで達成している。
論文 参考訳（メタデータ） (2021-10-12T16:57:18Z) - Word-level Sign Language Recognition with Multi-stream Neural Networks Focusing on Local Regions and Skeletal Information [7.667316027377616]
単語レベル手話認識(WSLR)は,言語障害のある人と聞き取れる人のコミュニケーション障壁を克服することが期待されているため,注目されている。
動作認識のために設計された手法は最先端の精度を実現した。
本稿では,WSLR問題に特に有用な情報を考慮した新しいWSLR手法を提案する。
論文 参考訳（メタデータ） (2021-06-30T11:30:06Z) - Pose-based Sign Language Recognition using GCN and BERT [0.0]
単語レベルの手話認識(WSLR)は手話を理解し解釈するための最初の重要なステップである。
ビデオからサインを認識することは、単語の意味が微妙な身体の動き、手の動き、その他の動きの組み合わせに依存するため、難しい作業である。
W SLRの最近のポーズベースアーキテクチャは、異なるフレーム内のポーズ間の空間的および時間的依存関係を同時にモデル化するか、空間的情報を完全に活用せずに時間的情報のみをモデル化する。
本稿では,空間的・時間的情報を別々に捉え,遅延融合を行う新しいポーズベースアプローチを用いて,W SLRの課題に取り組む。
論文 参考訳（メタデータ） (2020-12-01T19:10:50Z) - Selective Spatio-Temporal Aggregation Based Pose Refinement System:
Towards Understanding Human Activities in Real-World Videos [8.571131862820833]
最先端のポーズ推定装置は、現実世界の無注釈ビデオにおいて、乱れと低解像度のために高品質な2Dまたは3Dポーズデータを取得するのに苦労している。
本稿では,複数の専門家のポーズ推定器によって抽出されたキーポイント位置を洗練・平滑化するSST-Aという選択的時空間アグリゲーション機構を提案する。
本研究では, Pose-Refinement System (SSTA-PRS) によって改良された骨格データが,既存の行動認識モデルの強化に有効であることを示す。
論文 参考訳（メタデータ） (2020-11-10T19:19:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。