論文の概要: Resolving State-Representation Mismatch: State-Space Visual Reasoning for Open-Loop VLA Planning
- arxiv url: http://arxiv.org/abs/2609.33412v1
- Date: Sun, 27 Sep 2026 09:47:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-05 17:09:25.924765
- Title: Resolving State-Representation Mismatch: State-Space Visual Reasoning for Open-Loop VLA Planning
- Title(参考訳): 状態表現ミスマッチの解決:オープンループVLA計画のための状態空間ビジュアル推論
- Abstract要約: 静的な視覚的コンテキスト、言語制約、反復的な潜時状態を分離するtextbfState-Space Visual Reasoning (SSVR)を提案する。
Qwen2.5-VLをバックボーンとし、SSVRは99.5/99.6、96.3/98.0、83.9/90.6 EM/PRをFrozenLake、Maze、MiniBehaviorで達成している。
- 参考スコア(独自算出の注目度): 15.141008188974432
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Despite rapid progress in vision-language-action (VLA) models, existing reasoning paradigms still face a fundamental \emph{state-representation mismatch} in open-loop planning. Given only an initial observation, models must internally simulate action-conditioned state transitions, whereas text-, pixel-, and latent-space reasoning can suffer from lossy spatial compression, error-accumulating visual generation, and bypass of intermediate latent tokens, respectively, undermining reliable long-horizon planning. We propose \textbf{State-Space Visual Reasoning} (SSVR), which decouples static visual context, language constraints, and a recurrent latent state. SSVR encodes the initial image and instruction once, then conditions each action prediction on the latent state and updates it with an action-conditioned GRU. Using Qwen2.5-VL as the backbone, SSVR achieves 99.5/99.6, 96.3/98.0, and 83.9/90.6 EM/PR on FrozenLake, Maze, and MiniBehavior, substantially outperforming prior methods. Extensive experiments support the effectiveness of recurrent state modeling for VLA open-loop planning across input transformations and transfer settings. By reusing static visual-textual context and updating a compact recurrent state, SSVR supports efficient multi-step inference, achieving up to $98.58\times$ faster Maze decoding rollouts than the evaluated baselines with the prefix cache prebuilt.
- Abstract(参考訳): ヴィジュアル・ランゲージ・アクション(VLA)モデルが急速に進歩したにもかかわらず、既存の推論パラダイムはオープンループ計画において基礎的な 'emph{state-representation mismatch} に直面している。
初期観測のみを考えると、モデルは動作条件付き状態遷移を内部的にシミュレートする必要があるが、テキスト、ピクセル、潜時空間の推論は空間圧縮の損失、エラー蓄積された視覚生成、中間潜時トークンのバイパスに悩まされ、信頼性の高い長期計画が損なわれる。
本稿では,静的な視覚的コンテキスト,言語制約,反復的な潜時状態を分離する‘textbf{State-Space Visual Reasoning} (SSVR) を提案する。
SSVRは初期画像と命令を一度エンコードし、各アクション予測を潜在状態に条件付けし、アクション条件付きGRUで更新する。
Qwen2.5-VL をバックボーンとし、SSVR は 99.5/99.6, 96.3/98.0, 83.9/90.6 EM/PR を達成した。
大規模な実験は、入力変換と転送設定をまたいだVLAオープンループ計画におけるリカレント状態モデリングの有効性を支持する。
静的なビジュアルテキストコンテキストを再利用し、コンパクトなリカレント状態を更新することにより、SSVRは効率的なマルチステップ推論をサポートし、プレフィックスキャッシュで評価されたベースラインよりも高速なMazeデコードロールアウトを実現する。
関連論文リスト
- Continuous Actions from Discrete Minds: Latent-Aligned Planning for End-to-End Autonomous Driving [9.355166979896115]
ラプラ(LaPla)は、視覚・言語・アクション統合フレームワークで、正確な動作実行のセマンティック理解を実現する。
LaPlaは競争力のあるオープンループ性能を実現し、最先端のVLA法と比較して、L2の長い水平誤差を15.52%削減した。
論文 参考訳(メタデータ) (2026-09-03T16:42:11Z) - FutureRTC: Real-Time Robot Execution with Anticipatory-Conditioned Action Chunking [51.97839311685636]
FutureRTCは、実行時の観察と非同期VLA制御の状態を予測するためのプラグイン・アンド・プレイ適応フレームワークである。
FutureRTCは推論遅延に対する堅牢性を実現し,よりスムーズな軌道,高速な実行,一貫したタスク成功率を実現している。
論文 参考訳(メタデータ) (2026-07-27T05:10:16Z) - S-squared-VLA: Decoupling Semantic and Spatial Streams in Vision-Language-Action Models for Autonomous Driving [8.813976817688605]
VLM(Vision-Language Models)は、自律運転における高レベルの推論に顕著な可能性を示している。
VLMは、個別の言語トークンと連続的な軌道計画のミスマッチによって、正確で低レベルな制御アクションを生成するのに苦労する。
本稿では,視覚・言語・行動モデルにおける意味的・空間的ストリームを明示的に分離するS-squared-VLAを提案する。
論文 参考訳(メタデータ) (2026-07-15T15:07:02Z) - QuoVLA: Quotient Space for Vision-Language-Action Models [51.02329790939691]
VLA(Vision-Language-Action)モデルは、視覚的な観察と言語指示を連続的な行動にマッピングすることで、トレーニング済みのVLM潜伏者をロボット制御に適応させることが一般的である。
VLA の textitQuotient Theory は、事前訓練された VLM 潜伏剤は、アクションに十分ではないがアクションに十分であることを示している。
提案するQuoVLAは,事前学習されたVLMラテントを動作十分表現に圧縮する,VLAの商空間フレームワークである。
論文 参考訳(メタデータ) (2026-05-24T06:28:53Z) - From Abstraction to Instantiation: Learning Behavioral Representation for Vision-Language-Action Model [76.88595728131288]
VLA(Vision-Language-Action)モデルは、分散シフト時にしばしば性能劣化に悩まされる。
時間的コヒーレントな行動表現の学習を通じて堅牢な操作を容易にするフレームワークである textbfBehaviorVLA を提案する。
RoboTwin 2.0、LIBERO、CALVINの実験では、最先端の成功率は58%、98%、および4.36(Avg.Len)である。
論文 参考訳(メタデータ) (2026-05-21T16:14:19Z) - Sentinel-VLA: A Metacognitive VLA Model with Active Status Monitoring for Dynamic Reasoning and Error Recovery [62.75419724651416]
textbfSentinel-VLAは,リアルタイム実行状況を監視するアクティブセンチネルモジュールを備えたメタ認知型VLAモデルである。
すべてのトレーニングデータは、設計したパイプラインを通じて自動生成され、注釈付けされます。
実世界の実験では、Sentinel-VLAはSOTAモデルであるPI0と比較してタスク成功率を30%以上向上することを示した。
論文 参考訳(メタデータ) (2026-05-02T02:10:54Z) - LiteVLA-H: Dual-Rate Vision-Language-Action Inference for Onboard Aerial Guidance and Semantic Perception [0.6119773373677944]
本稿では,Jets NVIDIAon AGX Orin上での2段演算のためのコンパクト256MパラメータVLAシステムLiteVLA-Hを提案する。
中心的な経験的観察は、このコンパクトなエッジ状態において、エンドツーエンドのレイテンシはマルチモーダルなプリフィルによって支配されるということである。
記述能力を損なうことなくモデルを専門化するために、反応飛行データ、空中意味データ、一般的なキャプション/VQA監視を混合した知識保存型微調整レシピを使用する。
論文 参考訳(メタデータ) (2026-04-27T06:42:50Z) - See, Plan, Rewind: Progress-Aware Vision-Language-Action Models for Robust Robotic Manipulation [59.07792608884117]
本稿では,See, Plan, Rewind (SPR)について紹介する。
SPRは、現在の状態と今後のマイルストーンを見て、次の2Dウェイポイントに向けて軌道を計画し、障害時に回復可能な状態に戻すという、継続的なコアサイクルを通じて運用される。
SPRは、OpenVLA-OFTとUniVLAを上回る最小のパフォーマンス低下で最先端のロバスト性を達成する。
論文 参考訳(メタデータ) (2026-03-10T07:22:51Z) - CronusVLA: Towards Efficient and Robust Manipulation via Multi-Frame Vision-Language-Action Modeling [84.51372201195132]
CronusVLAは、単一フレームのVLAモデルをマルチフレームパラダイムに拡張する統合フレームワークである。
CronusVLAは70.9%の成功率で先進的な性能と優れた堅牢性を達成する。
これらの結果は、より強力で堅牢な実世界展開のためのVLAモデルにおける効率的なマルチフレーム適応の可能性を強調している。
論文 参考訳(メタデータ) (2025-06-24T17:30:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。