論文の概要: Stack Transformer Based Spatial-Temporal Attention Model for Dynamic Multi-Culture Sign Language Recognition

• arxiv url: http://arxiv.org/abs/2503.16855v1
• Date: Fri, 21 Mar 2025 04:57:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-24 14:56:54.521742
• Title: Stack Transformer Based Spatial-Temporal Attention Model for Dynamic Multi-Culture Sign Language Recognition
• Title（参考訳）: スタック変換器を用いた動的マルチチャート手話認識のための時空間アテンションモデル
• Authors: Koki Hirooka, Abu Saleh Musa Miah, Tatsuya Murakami, Yuto Akiba, Yong Seok Hwang, Jungpil Shin,
• Abstract要約: 手話に基づく手話認識は、難聴者と非難聴者の間の重要なコミュニケーションブリッジとして機能する。 既存のSLRシステムは、その文化的SLに対して良好に機能するが、多文化手話言語(McSL)と競合する可能性がある
• 参考スコア（独自算出の注目度）: 0.5497663232622964
• License:
• Abstract: Hand gesture-based Sign Language Recognition (SLR) serves as a crucial communication bridge between deaf and non-deaf individuals. Existing SLR systems perform well for their cultural SL but may struggle with multi-cultural sign languages (McSL). To address these challenges, this paper proposes a Stack Spatial-Temporal Transformer Network that leverages multi-head attention mechanisms to capture both spatial and temporal dependencies with hierarchical features using the Stack Transfer concept. In the proceed, firstly, we applied a fully connected layer to make a embedding vector which has high expressive power from the original dataset, then fed them a stack newly proposed transformer to achieve hierarchical features with short-range and long-range dependency. The network architecture is composed of several stages that process spatial and temporal relationships sequentially, ensuring effective feature extraction. After making the fully connected layer, the embedding vector is processed by the Spatial Multi-Head Attention Transformer, which captures spatial dependencies between joints. In the next stage, the Temporal Multi-Head Attention Transformer captures long-range temporal dependencies, and again, the features are concatenated with the output using another skip connection. The processed features are then passed to the Feed-Forward Network (FFN), which refines the feature representations further. After the FFN, additional skip connections are applied to combine the output with earlier layers, followed by a final normalization layer to produce the final output feature tensor. This process is repeated for 10 transformer blocks. The extensive experiment shows that the JSL, KSL and ASL datasets achieved good performance accuracy. Our approach demonstrates improved performance in McSL, and it will be consider as a novel work in this domain.
• Abstract（参考訳）: 手のジェスチャーに基づく手話認識(SLR)は、難聴者と非難聴者の間の重要なコミュニケーションブリッジとして機能する。 既存のSLRシステムは、その文化的SLに対してうまく機能するが、多文化手話言語(McSL)と競合する可能性がある。 これらの課題に対処するために,マルチヘッドアテンション機構を利用して,スタックトランスファーの概念を用いて,空間的および時間的依存関係を階層的特徴でキャプチャするスタック空間-テンポラルトランスフォーマネットワークを提案する。 提案手法では,まず,完全連結層を用いて,元のデータセットから高い表現力を持つ埋め込みベクトルを作成し,スタックを新たに提案したトランスフォーマに供給し,短距離および長距離の依存関係を持つ階層的特徴を実現する。 ネットワークアーキテクチャは、空間的および時間的関係を逐次的に処理し、効果的な特徴抽出を保証するいくつかの段階で構成されている。 完全に接続された層を作った後、埋め込みベクトルはSpatial Multi-Head Attention Transformerによって処理され、関節間の空間的依存関係をキャプチャする。 次の段階では、Temporal Multi-Head Attention Transformerが長期の時間的依存関係をキャプチャし、また別のスキップ接続を使用して出力と結合する。 処理された機能はFeed-Forward Network(FFN)に渡される。 FFNの後、出力を以前の層と組み合わせるために追加のスキップ接続が適用され、続いて最終的な正規化層が続き、最終的な出力特徴テンソルが生成される。 この処理は、10個の変圧器ブロックに対して繰り返される。 広範な実験により、JSL、KSL、ASLのデータセットは優れた性能を達成できた。 提案手法はMcSLの性能向上を実証し,本領域における新規な研究として考察する。

関連論文リスト

• PRformer: Pyramidal Recurrent Transformer for Multivariate Time Series Forecasting [82.03373838627606]
  Transformerアーキテクチャにおける自己保持機構は、時系列予測において時間順序を符号化するために位置埋め込みを必要とする。 この位置埋め込みへの依存は、トランスフォーマーの時間的シーケンスを効果的に表現する能力を制限している、と我々は主張する。 本稿では,Prepreを標準的なTransformerエンコーダと統合し,様々な実世界のデータセット上での最先端性能を示す。
  論文  参考訳（メタデータ） (2024-08-20T01:56:07Z)
• Skip-Layer Attention: Bridging Abstract and Detailed Dependencies in Transformers [56.264673865476986]
  本稿では、Transformerモデルを強化するためのSLA(Skip-Layer Attention)を提案する。 SLAは、高レベルの抽象機能と低レベルの詳細の間の依存関係をキャプチャするモデルの能力を改善します。 我々の実装は、与えられたレイヤ内のクエリが、現在のレイヤと前のレイヤの両方のキーと値とやり取りできるようにすることで、Transformerの機能を拡張します。
  論文  参考訳（メタデータ） (2024-06-17T07:24:38Z)
• FormerTime: Hierarchical Multi-Scale Representations for Multivariate Time Series Classification [53.55504611255664]
  formerTimeは、多変量時系列分類タスクの分類能力を改善する階層的表現モデルである。 1)時系列データから階層的なマルチスケール表現を学習し、(2)トランスフォーマーと畳み込みネットワークの強さを継承し、(3)自己維持メカニズムによって引き起こされる効率の課題に取り組む。
  論文  参考訳（メタデータ） (2023-02-20T07:46:14Z)
• Learning Spatial-Frequency Transformer for Visual Object Tracking [15.750739748843744]
  最近のトラッカーはTransformerを採用して、広く使われているResNetを新しいバックボーンネットワークとして組み合わせたり置き換えたりしている。 これらの操作は、ターゲットオブジェクトの空間的先行を無視し、最適以下の結果をもたらす可能性があると信じている。 本稿では,GPHA(Spatial Prior and High- frequency emphasis Attention)を同時にモデル化した空間周波数変換器を提案する。
  論文  参考訳（メタデータ） (2022-08-18T13:46:12Z)
• Multi-scale temporal network for continuous sign language recognition [10.920363368754721]
  連続手話認識は,手話データの時間的順序に関する正確なアノテーションがないため,困難な研究課題である。 本稿では,より正確な時間的特徴を抽出するマルチスケール時間的ネットワーク(MSTNet)を提案する。 2つの公開データセットによる実験結果から,従来の知識を使わずに手話の特徴をエンドツーエンドで効果的に抽出できることが示されている。
  論文  参考訳（メタデータ） (2022-04-08T06:14:22Z)
• TFill: Image Completion via a Transformer-Based Architecture [69.62228639870114]
  画像補完を無方向性シーケンス対シーケンス予測タスクとして扱うことを提案する。 トークン表現には,小かつ重複しないRFを持つ制限型CNNを用いる。 第2フェーズでは、可視領域と発生領域の外観整合性を向上させるために、新しい注意認識層(aal)を導入する。
  論文  参考訳（メタデータ） (2021-04-02T01:42:01Z)
• Transformers Solve the Limited Receptive Field for Monocular Depth Prediction [82.90445525977904]
  畳み込みニューラルネットワークとトランスの両方の恩恵を受けるアーキテクチャであるTransDepthを提案します。 連続ラベルを含む画素単位での予測問題にトランスフォーマーを適用する最初の論文である。
  論文  参考訳（メタデータ） (2021-03-22T18:00:13Z)
• Cluster-Former: Clustering-based Sparse Transformer for Long-Range Dependency Encoding [90.77031668988661]
  Cluster-Formerはクラスタリングベースの新しいスパーストランスであり、チャンクされたシーケンスにまたがって注意を向ける。 提案されたフレームワークは、Sliding-Window LayerとCluster-Former Layerの2つのユニークなタイプのTransformer Layerにピボットされている。 実験によると、Cluster-Formerはいくつかの主要なQAベンチマークで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2020-09-13T22:09:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。