論文の概要: SignVLA: Real-Time Sign Language-Guided Robotic Manipulation via Attention LSTM and Vision-Language-Action Models

• arxiv url: http://arxiv.org/abs/2606.20857v1
• Date: Thu, 18 Jun 2026 18:46:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-26 12:32:50.202138
• Title: SignVLA: Real-Time Sign Language-Guided Robotic Manipulation via Attention LSTM and Vision-Language-Action Models
• Title（参考訳）: SignVLA:注意型LSTMと視覚言語行動モデルによるリアルタイム手話案内ロボットマニピュレーション
• Authors: Ningwei Bai, Xinyu Tan, Harry Gardner, Zhengyang Zhong, Liuhaichen Yang, Luoyu Zhang, Zhekai Duan, Monkgogi Galeitsiwe, Zezhi Tang,
• Abstract要約: VLA(Vision-Language-Action)モデルにより、ロボットは視覚観察に基づく自然言語命令から操作タスクを実行することができる。 本稿では,人間とロボットの対話を支援するリアルタイム手話誘導VLAフレームワークSignVLAを提案する。
• 参考スコア（独自算出の注目度）: 1.4175612723267692
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vision-Language-Action (VLA) models enable robots to execute manipulation tasks from natural-language instructions grounded in visual observations. However, existing VLA interfaces primarily rely on speech or text input, limiting accessibility for deaf, hard-of-hearing, and speech-impaired users. We present SignVLA, a real-time sign-language-guided VLA framework for accessible human-robot interaction. The system introduces a modular sign-to-text interface that converts visual sign gestures into semantic instructions compatible with downstream VLA policies. Given video streams, SignVLA extracts hand landmark features and employs an attention-enhanced Long Short-Term Memory (LSTM) network to capture temporal gesture dynamics for alphabet- and command-level sign recognition. A temporal stabilization module further improves prediction consistency in real-time interaction settings.The generated instruction sequence is then passed to a downstream VLA policy for sign-conditioned robotic manipulation. Experimental results demonstrate stable real-time sign recognition and successful execution of manipulation tasks driven by sign-language inputs. Our findings suggest that lightweight temporal sign recognition can serve as an effective and practical accessibility layer for multimodal embodied intelligence.
• Abstract（参考訳）: VLA(Vision-Language-Action)モデルにより、ロボットは視覚観察に基づく自然言語命令から操作タスクを実行することができる。 しかし、既存のVLAインタフェースは主に音声やテキストの入力に依存しており、聴覚障害、難聴、音声障害者のアクセシビリティを制限している。 本稿では,人間とロボットの対話を支援するリアルタイム手話誘導VLAフレームワークSignVLAを提案する。 このシステムは、ビジュアルサインジェスチャーを下流のVLAポリシーと互換性のあるセマンティックインストラクションに変換するモジュール型サイン・トゥ・テキストインタフェースを導入している。 ビデオストリームが与えられた場合、SignVLAは手書きのランドマークの特徴を抽出し、アルファベットとコマンドレベルの符号認識のための時間的ジェスチャーのダイナミクスをキャプチャするために注意を喚起するLong Short-Term Memory (LSTM) ネットワークを使用する。 時間安定化モジュールは、リアルタイムのインタラクション設定における予測整合性をさらに向上し、生成した命令シーケンスは、サインコンディショニングされたロボット操作のための下流VLAポリシーに渡される。 実験の結果,手話入力によって駆動される操作タスクの安定なリアルタイム手話認識と実行が成功した。 本研究は,マルチモーダル・インボディード・インテリジェンスにおいて,ライトウェイト・テンポラル・サイン認識が効果的かつ実用的なアクセシビリティ・レイヤとして機能することが示唆された。

関連論文リスト

• ASCII Art Turns LLMs into VLA Controllers [24.00781789697405]
  VLA(Vision-Language-Action)コントローラは、視覚言語モデル(VLM)を拡張して動作の監視を行う。 我々は,テキストのみの大規模言語モデル (LLM) が,視覚的観察をテキスト入力に変換する際に,VLAスタイルのコントローラに適応できることを実証した。
  論文  参考訳（メタデータ） (2026-06-19T14:19:59Z)
• Toward Signing Activity Projection in Sign Language Interaction [7.198816748075489]
  本稿では,VAPアーキテクチャをDyadic手話対話に適応させるための最初のトランスファー研究について述べる。 我々は語彙記号アノテーションからバイナリ署名アクティビティストリームを導出し、ターンテイク予測のためのプロキシタスクを定式化する。 以上の結果から, ShiFT/HOLD予測は特に手技では有望であり, ShiFT予測は依然として困難である。
  論文  参考訳（メタデータ） (2026-06-08T12:38:09Z)
• SignVLA: A Gloss-Free Vision-Language-Action Framework for Real-Time Sign Language-Guided Robotic Manipulation [1.4175612723267692]
  人間のロボット同士の対話を直感的に行うための,最初の手話駆動型ビジョン・ランゲージ・アクション(VLA)フレームワークを提案する。 中間管理として光沢アノテーションを頼りにしている従来の手法とは異なり、提案システムは光沢のないパラダイムを採用する。 我々は,ロボット制御のためのロバストで低遅延な通信チャネルを提供する,リアルタイムのアルファベットレベルフィンガースペルインタフェースに注力する。
  論文  参考訳（メタデータ） (2026-02-26T01:16:27Z)
• LoLA: Long Horizon Latent Action Learning for General Robot Manipulation [38.209790870296835]
  Long Horizon Latent Action Learning (LoLA)は、ロボット操作用に設計されたフレームワークである。 まず視覚言語モデルを用いて、歴史的シーケンスと多視点観測からリッチな文脈特徴を符号化する。 次に、視覚入力と言語コマンドを動作可能なロボットモーション空間に変換するステートアウェアラテント表現を導入する。
  論文  参考訳（メタデータ） (2025-12-23T08:45:24Z)
• Prompting with Sign Parameters for Low-resource Sign Language Instruction Generation [2.6171111742555015]
  手話(SL)は、聴覚障害と難聴者コミュニティのための双方向コミュニケーションを可能にする。 多くの手話言語は、AI分野では未公開のままである。 ステップバイステップのテキスト命令を生成し、非SLユーザがSLジェスチャを模倣して学習できるようにする。
  論文  参考訳（メタデータ） (2025-08-22T04:11:28Z)
• Signs as Tokens: A Retrieval-Enhanced Multilingual Sign Language Generator [55.94334001112357]
  テキスト入力から3Dサインアバターを自動回帰的に生成できる多言語手話モデルSigns as Tokens(SOKE)を導入する。 単語レベルの正確な記号を提供するために,外部記号辞書を組み込んだ検索強化SLG手法を提案する。
  論文  参考訳（メタデータ） (2024-11-26T18:28:09Z)
• SHuBERT: Self-Supervised Sign Language Representation Learning via Multi-Stream Cluster Prediction [65.1590372072555]
  SHuBERT (Sign Hidden-Unit BERT) は、アメリカの手話ビデオ1,000時間から学習した自己教師付き文脈表現モデルである。 SHuBERTは、マスクされたトークン予測目標をマルチストリームの視覚手話入力に適用し、クラスタ化された手、顔、身体のポーズストリームに対応する複数のターゲットを予測することを学習する。 SHuBERTは手話翻訳、手話認識、指先検出など、複数のタスクで最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2024-11-25T03:13:08Z)
• EvSign: Sign Language Recognition and Translation with Streaming Events [59.51655336911345]
  イベントカメラは、動的手の動きを自然に知覚し、手話作業のための豊富な手作業の手がかりを提供する。 イベントベースSLRおよびSLTタスクのための効率的なトランスフォーマーベースフレームワークを提案する。 計算コストは0.34%に過ぎず,既存の最先端手法に対して良好に機能する。
  論文  参考訳（メタデータ） (2024-07-17T14:16:35Z)
• LLaRA: Supercharging Robot Learning Data for Vision-Language Policy [56.505551117094534]
  我々はLLaRA: Large Language and Robotics Assistantを紹介した。 まず、既存の行動クローニングデータセットからロボットのための会話スタイルの指導データを生成する自動パイプラインを提案する。 このようなデータセットを限定的に微調整したVLMは、ロボット制御において有意義な行動決定を導出できることを示す。
  論文  参考訳（メタデータ） (2024-06-28T17:59:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。