論文の概要: StructRL: Structured Action-Space Exploration for Flow-Based VLAs
- arxiv url: http://arxiv.org/abs/2608.15139v1
- Date: Sat, 15 Aug 2026 09:31:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-18 19:59:03.207949
- Title: StructRL: Structured Action-Space Exploration for Flow-Based VLAs
- Title（参考訳）: StructRL:フローベースVLAのための構造化アクション空間探索
- Abstract要約: フローベースのビジョン・ランゲージ・アクションモデルは現在、連続的なロボット操作に広く使われている。
オンライン強化学習は、それらを新しいタスクに適応するための重要なテクニックとして浮上している。
動作群間で時間的にスムーズかつスケールの異なる,構造的雑音に対する効果的なロボット探索の必要性を示す。
- 参考スコア（独自算出の注目度）: 81.43458629514139
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Flow-based Vision-Language-Action (VLA) models are now widely used for continuous robotic manipulation, and online reinforcement learning (RL) is emerging as a key technique for adapting them to new tasks. Existing RL methods typically inject stochasticity inside the denoising chain, often through isotropic or temporally independent noise. However, effective robot exploration calls for structured noise: temporally smooth and scaled differently across action groups. We show that simply switching the in-chain noise to a structured form does not suffice: noise added at an intermediate flow time can be weakened by the remaining denoising steps before execution, a phenomenon we call \emph{Structured Noise Dilution}. We propose \textbf{StructRL}, which avoids dilution by relocating policy stochasticity to the action space via three coupled choices: (i) a deterministic ODE decoder, (ii) structured noise injected directly in the action space, and (iii) last-step replay, where policy-gradient updates avoid assigning likelihoods to intermediate denoising states. This keeps structured exploration tied to the executed action while providing a tractable training signal for the flow decoder. Across three flow-based VLA models on multiple simulated manipulation benchmarks and two real-world tasks, StructRL improves exploration efficiency and OOD performance over prior in-chain baselines, demonstrating the effectiveness of structured action-space exploration for adapting flow-based VLA with RL. \textbf{Project page:} https://flyfaerss.github.io/structrl/
- Abstract（参考訳）: Flow-based Vision-Language-Action (VLA)モデルは現在、継続的なロボット操作に広く使われており、オンライン強化学習(RL)が新しいタスクに適応するための重要なテクニックとして登場している。
既存のRL法は、しばしば等方性または時間的に独立なノイズを通して、デノナイジング鎖の内部に確率性を注入する。
しかし、効果的なロボット探索は、時間的に滑らかで、アクショングループによって異なるスケールの構造化ノイズを要求する。
中間流時に付加されるノイズは、実行前の残りのデノイングステップによって弱められるが、この現象は \emph{Structured noise Dilution} と呼ばれる。
政策確率性を3つの組み合わせた選択によって作用空間に移動させることにより希釈を回避する。
i)決定論的ODEデコーダ
(二)動作空間に直接注入された構造騒音、及び
(iii)最終段階のリプレイでは、ポリシーの段階的な更新は中間的妄想状態への可能性の割り当てを回避している。
これにより、フローデコーダのためのトラクタブルなトレーニング信号を提供しながら、実行されたアクションに結びついた構造化された探索が維持される。
複数のシミュレーション操作ベンチマークと2つの実世界のタスクに関する3つのフローベースVLAモデルに対して、StructRLは、以前のチェーンベースラインよりも探索効率とOOD性能を改善し、フローベースVLAをRLに適応するための構造化されたアクションスペース探索の有効性を実証する。
https://flyfaerss.github.io/structrl/
関連論文リスト
- Beyond Noise Steering: Dual-Latent Space Reinforcement Learning for Generative Robot Policy [13.530890681678619]
事前訓練された生成ロボットポリシーは、デモの前に表現行動を学ぶ。
既存の強化学習法はノイズ空間のみを操るが、生成過程中に中間的な動作表現を変調することができない。
そこで本研究では,凍結発生器内の表現レベル制御で初期ノイズの操舵を補完する新しいDual-Latent Space Reinforcement Learningフレームワークを提案する。
論文 参考訳（メタデータ） (2026-09-10T09:04:04Z) - HAF: Adapting Generalist VLAs to Humanoid Whole-Body Loco-manipulation via Hierarchical Action Flow and Spectral Latent RL [56.014913786737104]
本稿では,HAF(Humanoid Adaptation Framework)を導入し,市販の汎用VLAファンデーションモデルをヒューマノイド全体のロコ操作に転送する。
HAF-VLAは、事前訓練されたフローマッチングVLA上に構築された階層型アクションフロージェネレータである。
HaF-Steerは、フローマッチングの可逆性とDCTに基づく次元削減を活用する、オフラインからオフラインまでの潜時パイプラインである。
論文 参考訳（メタデータ） (2026-08-17T17:22:33Z) - DRIFT: Derailing Denoising Trajectories of Flow-Matching VLAs with Adversarial Patch Attack [23.73320512301939]
pi0のようなフローマッチング視覚言語アクション(VLA)モデルは、学習された認知速度場を統合することでロボットの動作を生成する。
このロバスト性は、多段階のODEを無視した以前の攻撃から来ています。
DRIFTはロボットのグリップに置かれるテストタイムの普遍的敵パッチで、オフザシェルフポリシーのデノイング速度場を攻撃します。
論文 参考訳（メタデータ） (2026-08-04T06:47:26Z) - TBD-VLA: Temporal Block Diffusion Vision Language Action Model [7.861095039299131]
本稿では,ブロック拡散を組み込んだ離散トークンベースのVLAフレームワークTBD-VLAを紹介する。
動作シーケンスを時間ブロックに分割し、ブロック間の自己回帰生成を維持しながら、各ブロック内でマスキングされた離散拡散を行う。
この設計は時間的自己回帰と並列動作復号を統一し、強い時間的コヒーレンスと推論速度の向上を両立させる。
論文 参考訳（メタデータ） (2026-06-05T23:10:43Z) - Action-to-Action Flow Matching [25.301629044539325]
拡散に基づく政策は、最近、条件付き認知過程として行動予測を定式化することで、ロボット工学において顕著な成功を収めた。
本稿では,A2A(Action-to-Action Flow Match)を提案する。
A2Aは単一の推論ステップ(0.56msレイテンシ)で高品質なアクション生成を可能にし、視覚摂動に優れた堅牢性を示し、目に見えない構成に一般化する。
論文 参考訳（メタデータ） (2026-02-07T02:39:49Z) - KAN We Flow? Advancing Robotic Manipulation with 3D Flow Matching via KAN & RWKV [15.840121055564405]
Kan-We-Flowは3D操作のための軽量なバックボーンを構築するフローマッチングポリシーである。
我々の設計では、パラメータを86.8%削減し、高速ランタイムを維持し、Adroit、Meta-World、DexArtベンチマークで最先端の成功率を達成する。
論文 参考訳（メタデータ） (2026-02-01T09:27:56Z) - Noise-Robust Tiny Object Localization with Flows [63.60972031108944]
フレキシブルなエラーモデリングと不確実性誘導最適化に正規化フローを活用するノイズローバストローカライゼーションフレームワークを提案する。
本手法は,フローベース誤差モデルを用いて,複雑な非ガウス予測分布を抽出し,ノイズの多い監視下で頑健な学習を可能にする。
不確実性を考慮した勾配変調機構は、トレーニングを安定化しながら過度な適合を緩和し、高不確実でノイズの強いサンプルからの学習をさらに抑制する。
論文 参考訳（メタデータ） (2026-01-02T09:16:55Z) - Steering Vision-Language-Action Models as Anti-Exploration: A Test-Time Scaling Approach [78.4812458793128]
動作チャンクの高忠実度検証に軽量な擬数推定器を適用したテスト時間スケーリングフレームワークである textbfTACO を提案する。
我々の手法は、オフライン強化学習(RL)における古典的な反探索原理に似ており、勾配のないため、計算上の大きな恩恵をもたらす。
論文 参考訳（メタデータ） (2025-12-02T14:42:54Z) - NinA: Normalizing Flows in Action. Training VLA Models with Normalizing Flows [75.70583906344815]
拡散モデルは、複雑なマルチモーダルな動作分布をモデル化できるため、アクションデコーダとして広く採用されている。
我々は、Vision-Language-Action(VLA)モデルのための拡散型デコーダの高速かつ表現性の高い代替品であるNinAを提案する。
論文 参考訳（メタデータ） (2025-08-23T00:02:15Z) - SuperFlow++: Enhanced Spatiotemporal Consistency for Cross-Modal Data Pretraining [62.433137130087445]
SuperFlow++は、連続するカメラペアを使用して事前トレーニングと下流タスクを統合する新しいフレームワークである。
SuperFlow++は様々なタスクや運転条件で最先端のメソッドよりも優れています。
強力な一般化性と計算効率により、SuperFlow++は、自動運転におけるデータ効率の高いLiDARベースの認識のための新しいベンチマークを確立する。
論文 参考訳（メタデータ） (2025-03-25T17:59:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。