論文の概要: DSDyn-VLA: A Dual-Stream Dynamic Manipulation Framework with Motion Perception, Future Awareness, and Realtime Correction
- arxiv url: http://arxiv.org/abs/2609.39198v1
- Date: Wed, 30 Sep 2026 07:49:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-01 18:57:27.403065
- Title: DSDyn-VLA: A Dual-Stream Dynamic Manipulation Framework with Motion Perception, Future Awareness, and Realtime Correction
- Title（参考訳）: DSDyn-VLA:モーション知覚、未来認識、リアルタイム補正を備えたデュアルストリーム動的マニピュレーションフレームワーク
- Abstract要約: Slow-Fast textbfDual-textbfStream textbfDynamic 操作フレームワーク textbfDSDyn-VLA を提案する。
動き認識型計画とリアルタイム残差補正を統合している。
- 参考スコア（独自算出の注目度）: 57.09454532322636
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: While Vision-Language-Action (VLA) models excel in static tasks, they struggle in dynamic environments where objects are in motion (e.g., conveyor belt manipulation). We identify three fundamental limitations hindering current VLAs in these scenarios: the \textbf{perception gap}, where static visual inputs lack temporal motion cues; the \textbf{latency gap}, where inference delays render actions obsolete; and the \textbf{control gap}, caused by the open-loop action chunk execution without real-time adjustment. In this work, we propose \textbf{DSDyn-VLA}, a Slow-Fast \textbf{D}ual-\textbf{S}tream \textbf{Dyn}amic manipulation framework that integrates motion-aware foresighted planning with real-time residual correction. The slow \textbf{Flow-Planner} serves as a macro-planner. By enhancing the VLA with optical flow for temporal perception and a future state awareness mechanism to preemptively offset inference latency, it produces globally consistent, motion-aware action chunks. Complementing this, the fast \textbf{Res-Refiner} employs a lightweight RL policy to inject high-frequency, closed-loop corrections into the planned action chunks based on real-time observations. In addition, we introduce \textbf{DynBench}, a MuJoCo-based benchmark for dynamic object manipulation that comprises nine tasks. Extensive experiments demonstrate that DSDyn-VLA reduces the failure rate by over 76\% compared to current SOTA method in high-latency setting on the Kinetix dynamic benchmark, while achieving about 6$\times$ the success rate of PI0.5 in real-world dynamic settings and about 5$\times$ on DynBench. We will open-source all the code and weights.
- Abstract（参考訳）: VLA(Vision-Language-Action)モデルは静的なタスクにおいて優れているが、オブジェクトが動いている動的環境(コンベアベルト操作など)では苦労する。
これらのシナリオでは,静的な視覚的入力に時間的動きの手がかりが欠落する「textbf{perception gap」,推論遅延が遅延する「textbf{latency gap」,オープンループアクションチャンク実行による「textbf{control gap」の3つの基本的な制限を,リアルタイムな調整を伴わない「textbf{control gap」を識別する。
本研究では,動き認識型予測計画とリアルタイム残差補正を統合したSlow-Fast \textbf{D}ual-\textbf{S}tream \textbf{Dyn}amic manipulate frameworkである。
遅い \textbf{Flow-Planner} はマクロプランナーとして機能する。
時間的知覚のための光学的流れと、推論遅延を事前にオフセットする将来の状態認識機構により、VLAを拡張することにより、グローバルに一貫した動き認識アクションチャンクを生成する。
これに補完して、高速な \textbf{Res-Refiner} は、リアルタイム観測に基づいて、計画されたアクションチャンクに高周波で閉ループ補正を注入する軽量な RL ポリシーを用いる。
さらに,9つのタスクからなる動的オブジェクト操作のための MuJoCo ベースのベンチマークである \textbf{DynBench} を導入する。
拡張実験により、DSDyn-VLAは、Kinetix動的ベンチマークの高速設定における現在のSOTA法と比較して、破壊率を66%以上削減し、実世界の動的設定におけるPI0.5の成功率とDynBench上の5$\times$を達成した。
すべてのコードと重みをオープンソースにします。
関連論文リスト
- RAVEL: Asynchronous Rolling Inference for Flow-Based Vision-Language-Action Models [65.30288525352879]
フローベース視覚言語アクション(VLA)モデルは、汎用ロボット操作に非常に効果的である。
計算コストのかかるVLMエンコーディングとマルチステップ反復アクション生成に依存しているため、大きな遅延ボトルネックが生じる。
本稿では、VLMバックボーンとアクションエキスパートの両方の計算ボトルネックに対処する非同期推論フレームワークであるRAVELを用いて、この制限に対処する。
論文 参考訳（メタデータ） (2026-09-28T02:45:40Z) - FlashVLA: Streaming Action Decoding for Fast and Asynchronous VLA Inference [13.128933240091419]
FlashVLAはVision-Language-Action(VLA)モデルのストリーミングアクションデコーディングフレームワークである。
強いタスク性能を維持しながら、推論速度を大幅に改善する。
現実世界のデプロイメントにおいて、スムーズな非同期推論を備えた単一のGPU上で、$geq$30,Hzの制御周波数を達成することができる。
論文 参考訳（メタデータ） (2026-08-27T17:19:29Z) - StructRL: Structured Action-Space Exploration for Flow-Based VLAs [81.43458629514139]
フローベースのビジョン・ランゲージ・アクションモデルは現在、連続的なロボット操作に広く使われている。
オンライン強化学習は、それらを新しいタスクに適応するための重要なテクニックとして浮上している。
動作群間で時間的にスムーズかつスケールの異なる,構造的雑音に対する効果的なロボット探索の必要性を示す。
論文 参考訳（メタデータ） (2026-08-15T09:31:29Z) - Reflex: Real-Time VLA Control through Streaming Inference [12.85847066934547]
textbfReflexは,フローマッチングポリシに対して,テキストリアルタイムストリーミング推論を可能にするフレームワークである。
LIBEROとKinetixのベンチマークでは、Reflexは2.58$times$推論スピードアップと50Hzの安定したストリーミングを実現し、反応遅延を最大54%削減した。
論文 参考訳（メタデータ） (2026-07-16T07:56:43Z) - ReactVLA: Fast and Lightweight Reactive Robot Manipulation via Improved Mean Flow Action Generation [6.976481623762446]
textttReactVLAは、リアルタイムロボット操作のための軽量で低レイテンシなVLAフレームワークである。
textttReactVLAは、同じサイズのVLAベースラインを一貫して上回る。
現実世界のポリシーのレイテンシを38.6ミリ秒以下に短縮し、物理ロボットプラットフォームでの高速な反応性制御を可能にする。
論文 参考訳（メタデータ） (2026-06-12T08:33:37Z) - TBD-VLA: Temporal Block Diffusion Vision Language Action Model [7.861095039299131]
本稿では,ブロック拡散を組み込んだ離散トークンベースのVLAフレームワークTBD-VLAを紹介する。
動作シーケンスを時間ブロックに分割し、ブロック間の自己回帰生成を維持しながら、各ブロック内でマスキングされた離散拡散を行う。
この設計は時間的自己回帰と並列動作復号を統一し、強い時間的コヒーレンスと推論速度の向上を両立させる。
論文 参考訳（メタデータ） (2026-06-05T23:10:43Z) - OFlow: Injecting Object-Aware Temporal Flow Matching for Robust Robotic Manipulation [55.56490813640669]
VLAモデルは典型的には現在のフレームにのみ作用するが、将来の予測とオブジェクト認識推論は別々の潜在空間でしばしば学習される。
本稿では,時間的フォアシークエンスとオブジェクト認識推論を共通化することで,制約に対処するフレームワークOFlowを提案する。
提案手法は, 時間的フローマッチングを用いて将来の潜伏者を予測し, 物理的に関係のある手がかりを強調するオブジェクト認識表現に分解する。
論文 参考訳（メタデータ） (2026-04-20T06:38:01Z) - SP-VLA: A Joint Model Scheduling and Token Pruning Approach for VLA Model Acceleration [70.72227437717467]
VLA(Vision-Language-Action)モデルは、その強力な制御能力に注目が集まっている。
計算コストが高く、実行頻度も低いため、ロボット操作や自律ナビゲーションといったリアルタイムタスクには適さない。
本稿では,共同スケジューリングモデルとプルーニングトークンにより,VLAモデルを高速化する統一フレームワークSP-VLAを提案する。
論文 参考訳（メタデータ） (2025-06-15T05:04:17Z) - Real-Time Execution of Action Chunking Flow Policies [49.1574468325115]
本稿では,アクションインタラクションシステムの非同期実行を可能にする新しい推論時アルゴリズムを提案する。
これは、再トレーニングなしでボックスから実行する拡散またはVLAベースのシステムに適用できる。
その結果、RTCは高速で、性能が高く、推論操作に対して一意に堅牢であることがわかった。
論文 参考訳（メタデータ） (2025-06-09T01:01:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。