論文の概要: A Hybrid Kinematic GCN and Elastic Transformer for Efficient Indian Sign Language Recognition
- arxiv url: http://arxiv.org/abs/2610.14680v1
- Date: Sat, 10 Oct 2026 07:50:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-15 21:06:15.088039
- Title: A Hybrid Kinematic GCN and Elastic Transformer for Efficient Indian Sign Language Recognition
- Title(参考訳): インド手話認識のためのハイブリッドキネマティックGCNと弾性変換器
- Abstract要約: インド手話(ISL)は、その本質的にバイマニュアルな性質を正確にモデル化する必要がある。
標準モデルは不規則な署名速度を扱うことができない。
効率的で光沢のあるISL認識のための構造認識ハイブリッドフレームワークを提案する。
- 参考スコア(独自算出の注目度): 0.6372261626436676
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Sign Language Recognition (SLR) presents complex challenges due to variable signing speeds and spatial intricacies. Specifically, Indian Sign Language (ISL) requires precise modeling of its inherently bimanual nature and is bottlenecked by the scarcity of large-vocabulary benchmarks and the inability of standard models to handle irregular signing velocities. To address this, a structurally-aware hybrid framework for efficient, gloss ISL recognition is proposed. To minimize computational redundancy, an entropy-driven SVD sampler that dynamically extracts informative keyframes is used. Because this subsampling creates irregular physical time gaps, the proposed architecture employs a Continuous Dual Positional Encoding paired with a distance-aware Elastic Transformer to preserve natural signing rhythm. Spatially, a Kinematically-Conditioned Adaptive GCN explicitly models bimanual geometry using unified bone-joint features. To validate our framework, a 120-class, 9,453-video native ISL dataset is created. Augmented by Physical Node Dropout and ArcFace optimization to mitigate subject-specific memorization, our framework achieves a competitive 89.8% accuracy, establishing a strong baseline for complex sign language modeling.
- Abstract(参考訳): 署名言語認識(SLR)は, 可変署名速度と空間的複雑度による複雑な課題を呈する。
特に、インド手話(ISL)は、その本質的にバイマガルな性質の正確なモデリングを必要としており、大語彙ベンチマークの不足と不規則な署名速度を扱うための標準モデルの欠如によってボトルネックとなっている。
これを解決するために、効率的な光沢ISL認識のための構造認識ハイブリッドフレームワークを提案する。
計算冗長性を最小化するために、情報鍵フレームを動的に抽出するエントロピー駆動のSVDサンプリングを用いる。
このサブサンプリングは不規則な物理時間ギャップを生じさせるため、提案アーキテクチャでは、自然な署名リズムを維持するために、距離対応のElastic Transformerと組み合わせた連続デュアル位置符号化を採用している。
空間的に、キネマティック・コンディションド・アダプティブGCNは、骨結合を統一した特徴を用いた双対幾何学を明示的にモデル化する。
フレームワークを検証するために、120クラスの9,453のビデオネイティブなISLデータセットを作成します。
物理ノードドロップアウトとArcFace最適化により、被験者固有の記憶を緩和し、89.8%の精度を実現し、複雑な手話モデリングのための強力なベースラインを確立する。
関連論文リスト
- Neuromorphic visual attention for Sign-language recognition on SpiNNaker [2.3591129884653186]
本稿では,アメリカ手話指先認識のためのエンドツーエンドのニューロモルフィックアーキテクチャを提案する。
システムは、オンラインの関心領域抽出のためのスパイク視覚的注意機構と、SpinNNakerニューロモルフィックプラットフォーム上に展開されるコンパクトなスパイクニューラルネットワークを統合する。
論文 参考訳(メタデータ) (2026-05-07T10:55:46Z) - SignDPO: Multi-level Direct Preference Optimisation for Skeleton-based Gloss-free Sign Language Translation [52.752934028506274]
我々は,新しい多レベル直接参照最適化フレームワークSignDPOを提案する。
SignDPOは、最先端のGloss-freeメソッドよりも一貫して優れていることを示す。
以上の結果から,多レベル選好アライメントは,高エントロピーな骨格軌道と個別言語意味論のギャップを埋める強力なパラダイムであることが示唆された。
論文 参考訳(メタデータ) (2026-04-20T09:59:18Z) - LA-Sign: Looped Transformers with Geometry-aware Alignment for Skeleton-based Sign Language Recognition [47.469519895247366]
LA-Signは、手話認識のための幾何学的アライメントを備えたループ変換フレームワークである。
LA-Sign は,個々の層を減らしながら最先端の結果が得られることを示す。
論文 参考訳(メタデータ) (2026-03-30T22:49:42Z) - SignSparK: Efficient Multilingual Sign Language Production via Sparse Keyframe Learning [54.232148007248874]
現在の手話生産(SLP)フレームワークは、まさにトレードオフに直面している。
本研究では,スペースを利用した新たなトレーニングパラダイムを提案し,人間の署名の真の基盤となる分布を捉える。
これらの離散的なアンカーから高密度な動きを予測することにより、流体の調音を確実にしながら、回帰から平均への移動を緩和する。
論文 参考訳(メタデータ) (2026-03-11T06:02:36Z) - MaDiS: Taming Masked Diffusion Language Models for Sign Language Generation [78.75809158246723]
本稿では,SLGのためのマスク付き拡散型言語モデルであるMaDiSについて述べる。
また,トークン・ラテント・ヘアリング・3次元空間の目的から共同で学習する3段階のクロスモーダル事前学習手法を導入する。
MaDiSはDTWエラーと新たに導入された2つのメトリクスであるSiBLEUとSiCLIPを含む複数のメトリクスで優れたパフォーマンスを実現し、推論レイテンシを30%近く削減している。
論文 参考訳(メタデータ) (2026-01-27T13:06:47Z) - USTM: Unified Spatial and Temporal Modeling for Continuous Sign Language Recognition [3.8100688074986095]
連続手話認識は、ビデオ中のジェスチャーのシーケンスを正確に認識するために、正確なモデリング時間を必要とする。
これらの技術は、細かな手や顔の手がかりを捉えたり、長距離の時間的依存をモデル化するのに失敗する。
これらの制約に対処する統一S時間モデリング(USTM)フレームワークを提案する。
本フレームワークは,複数ストリーム入力や補助モダリティを必要とせずに,RGBビデオからの手話認識を頑健に行えるようにし,時間的・短時間の空間的特徴を捉える。
論文 参考訳(メタデータ) (2025-12-15T15:05:16Z) - StgcDiff: Spatial-Temporal Graph Condition Diffusion for Sign Language Transition Generation [33.695308849489784]
離散符号間のスムーズな遷移を生成するグラフベースの条件拡散フレームワークStgcDiffを提案する。
具体的には、エンコーダ・デコーダアーキテクチャをトレーニングし、空間的時間的骨格の構造認識表現を学習する。
我々は,その空間的特徴を効果的にモデル化する,Sign-GCNモジュールをフレームワークのキーコンポーネントとして設計する。
論文 参考訳(メタデータ) (2025-06-16T07:09:51Z) - Stack Transformer Based Spatial-Temporal Attention Model for Dynamic Sign Language and Fingerspelling Recognition [1.949837893170278]
手話に基づく手話認識は、聴覚障害者と非聴覚障害者の間に重要な橋渡しとなる。
本稿では,新しいトランスフォーマーアーキテクチャであるSSTAN(Sequential Spatio-Temporal Attention Network)を提案する。
多様な大規模データセットに関する広範な実験を通じて、我々のモデルを検証した。
論文 参考訳(メタデータ) (2025-03-21T04:57:18Z) - Sign Language Recognition via Skeleton-Aware Multi-Model Ensemble [71.97020373520922]
手話は一般的に、聴覚障害者やミュート人がコミュニケーションするために使われる。
孤立手話認識(SLR)のためのGlobal Ensemble Model(GEM)を用いた新しいマルチモーダルフレームワークを提案する。
提案するSAM-SLR-v2 フレームワークは極めて有効であり,最先端の性能を高いマージンで達成している。
論文 参考訳(メタデータ) (2021-10-12T16:57:18Z) - Improve Variational Autoencoder for Text Generationwith Discrete Latent
Bottleneck [52.08901549360262]
変分オートエンコーダ(VAE)は、エンドツーエンドの表現学習において必須のツールである。
VAEは強い自己回帰デコーダで潜伏変数を無視する傾向がある。
よりコンパクトな潜在空間において暗黙的な潜在特徴マッチングを強制する原理的アプローチを提案する。
論文 参考訳(メタデータ) (2020-04-22T14:41:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。