論文の概要: Principal Steering Subspaces for Online Adaptation of Frozen Generative Robot Policies

• arxiv url: http://arxiv.org/abs/2609.33765v1
• Date: Sun, 27 Sep 2026 17:04:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-04 16:51:54.58644
• Title: Principal Steering Subspaces for Online Adaptation of Frozen Generative Robot Policies
• Title（参考訳）: 凍結生成ロボット政策のオンライン適応のための主要ステアリング部分空間
• Abstract要約: 主ステアリング部分空間(PSS)は有限差分デコーダ応答から固定された低次元制御基底を構成する。 PSSはより早く収束し、フルラテント制御よりも安定な遅延学習挙動を示す。 PSSは、凍結生成ロボットポリシーのオンライン適応のための実践的基盤としてデコーダ応答幾何学をサポートしている。
• 参考スコア（独自算出の注目度）: 1.7481844610584272
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Generative robot policies provide expressive behavior priors, but updating a large diffusion or flow-matching model through online interaction is costly. Latent-space reinforcement learning avoids updating the pretrained generator by controlling its initial sampling noise, yet high-dimensional noise can have strongly anisotropic effects on decoded actions. We introduce Principal Steering Subspaces (PSS), a forward-query interface that constructs a fixed low-dimensional control basis from finite-difference decoder responses. Soft Actor-Critic controls the leading response directions, while the orthogonal complement is independently resampled from the Gaussian prior at each query. On three RoboMimic tasks with diffusion and flow-matching policies, response spectra reveal substantial concentration. Across five matched task-generator pairs, the training curves indicate that PSS generally converges faster and exhibits more stable late-training behavior than full-latent control, while achieving stronger final performance overall. Controlled Diffusion-Square ablations further show that leading-response directions outperform random and least-responsive subspaces of equal dimension. We further integrate PSS with a frozen, closed-source 3B-parameter vision-language-action (VLA) policy in a humanoid learning system with synchronous transition collection, reset-time optimization, and latency-aware asynchronous deployment. In an exploratory screwdriver-placement evaluation, success is observed in 2/10 trials for the frozen VLA policy and 6/10 after SAC+PSS adaptation. These results support decoder-response geometry as a practical basis for online adaptation of frozen generative robot policies.
• Abstract（参考訳）: 生成型ロボットポリシーは、表現的行動に先立って提供されるが、大規模な拡散モデルやフローマッチングモデルをオンラインインタラクションを通じて更新することはコストがかかる。 遅延空間強化学習は、初期サンプリングノイズを制御することで、事前訓練されたジェネレータの更新を避けるが、高次元ノイズは復号化動作に強い異方性を持つ。 有限差分デコーダ応答から固定された低次元制御基底を構成するフォワード・クエリ・インタフェースであるプライマリ・ステアリング・サブスペース(PSS)を導入する。 Soft Actor-Criticは主要な応答方向を制御し、直交補体はクエリ毎にガウス式から独立して再サンプリングされる。 拡散・流れマッチングポリシを持つ3つのRoboMimicタスクにおいて、応答スペクトルは相当な濃度を示す。 5組のマッチしたタスクジェネレータペアに対して、トレーニング曲線は、PSSが一般的により早く収束し、フルラテント制御よりも安定した遅延学習挙動を示し、全体としてより強力な最終性能を達成することを示している。 制御拡散角の短縮により、先行応答方向は等次元のランダムおよび最小応答部分空間よりも優れていた。 さらに、同期遷移コレクション、リセット時間最適化、レイテンシ対応非同期デプロイメントを備えたヒューマノイド学習システムにおいて、PSSを凍結してクローズドソースな3Bパラメータ言語アクション(VLA)ポリシーと統合する。 探索型ドライバー配置評価では, 凍結型VLA法では2/10, SAC+PSS法では6/10で成功した。 これらの結果は,凍結生成ロボットポリシーのオンライン適応のための実践的基盤としてデコーダ応答幾何学をサポートする。

関連論文リスト

• Beyond Noise Steering: Dual-Latent Space Reinforcement Learning for Generative Robot Policy [13.530890681678619]
  事前訓練された生成ロボットポリシーは、デモの前に表現行動を学ぶ。 既存の強化学習法はノイズ空間のみを操るが、生成過程中に中間的な動作表現を変調することができない。 そこで本研究では,凍結発生器内の表現レベル制御で初期ノイズの操舵を補完する新しいDual-Latent Space Reinforcement Learningフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-09-10T09:04:04Z)
• StructRL: Structured Action-Space Exploration for Flow-Based VLAs [81.43458629514139]
  フローベースのビジョン・ランゲージ・アクションモデルは現在、連続的なロボット操作に広く使われている。 オンライン強化学習は、それらを新しいタスクに適応するための重要なテクニックとして浮上している。 動作群間で時間的にスムーズかつスケールの異なる,構造的雑音に対する効果的なロボット探索の必要性を示す。
  論文  参考訳（メタデータ） (2026-08-15T09:31:29Z)
• FlowDAgger: Human-in-the-Loop Adaptation of Generative Robot Policies in Latent Space [15.351960740594201]
  FlowDAggerは、潜伏空間における人間の介入から凍結した生成ロボットポリシーを適用するためのサンプルおよび計算効率のよい方法である。 私たちのキーとなるアイデアはアクション・インバージョン(アクション・インバージョン)です。 本研究では,FlowDAggerのシミュレーションおよび実世界のバイマニュアルおよびシングルアーム操作について評価する。
  論文  参考訳（メタデータ） (2026-07-09T19:07:33Z)
• High-Fidelity One-Step Generative Visuomotor Policy via Recursive Correction, Frequency Consistency, and Contrastive Flow Matching [3.5570904967011505]
  拡散や流れのマッチングのような生成モデルは、多モーダルな行動分布をモデル化することによって、ロボットビズモータポリシーを進化させた。 既存のワンステップ加速法は、生成プロセス全体を1つの大きな更新に圧縮し、空間偏差、周波数歪み、モード平均化をもたらす。 本稿では,これらの問題に3つの相補的なメカニズムで対処する,高忠実な1ステップ生成型ビズモータポリシーフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-07-04T13:12:38Z)
• KinematicRL: A Sim-to-Real Reinforcement Learning Framework For Social Navigation With Kinodynamic Feasibility [27.73146983499444]
  Deep Reinforcement Learning (DRL)はソーシャルナビゲーションを約束しているが、現実のデプロイメントは、永続的なsim-to-realギャップによって妨げられている。 この研究は、これらの制限に対処し、動的に実行可能なナビゲーションポリシーを生成する統一されたフレームワークを提示している。 実世界の環境での実験では、提案された追跡パイプラインと組み合わせることで、KinematicRLを最小限の修正で実微分駆動ロボットにデプロイできることが示されている。
  論文  参考訳（メタデータ） (2026-06-10T13:07:03Z)
• Aligning Flow Map Policies with Optimal Q-Guidance [50.514994916864275]
  フローマップポリシは、任意のサイズのジャンプを学習することで、高速なアクション生成のために設計されている。 FLOW MAP Q-GUIDANCE (FMQ) は, 批判誘導型信頼領域制約の下でオフラインフローマップポリシーを適用するのに最適な, 原則付きクローズドフォーム学習ターゲットである。 FMQは、オフラインからオフラインまでのRLにおける最先端のパフォーマンスを達成し、平均成功率に対して21.3%の相対的な改善により、以前のワンステップポリシーMVPを上回っている。
  論文  参考訳（メタデータ） (2026-05-12T17:12:29Z)
• LaST-R1: Reinforcing Robotic Manipulation via Adaptive Physical Latent Reasoning [90.86828952599147]
  提案するLaST-R1(LaST-R1)は,「最近の推論・行動」政策を活用するために設計された,新しい強化学習フレームワークである。 LaST-R1 は LIBERO ベンチマークで 99.9% の平均成功率を達成した。 実世界の展開では、LaST-R1はSOTAが監督する微調整アプローチよりも22.5%平均的に改善されている。
  論文  参考訳（メタデータ） (2026-04-30T17:59:52Z)
• FASTER: Rethinking Real-Time Flow VLAs [82.58822112377923]
  VLA(Vision-Language-Action)モデルを物理世界に展開するには、リアルタイム実行が不可欠である。 反応時間は、TTFA(Time to First Action)と実行地平線によって決定される一様分布に従っていることを示す。 即時反応のための高速動作サンプリング(FASTER)を提案し,この問題を克服する。
  論文  参考訳（メタデータ） (2026-03-19T17:51:37Z)
• Dual-Agent Multiple-Model Reinforcement Learning for Event-Triggered Human-Robot Co-Adaptation in Decoupled Task Spaces [3.349003999623489]
  本稿では,カスタム6自由度上肢ロボットのための共有制御型リハビリテーションポリシーを提案する。 患者は二進法で一次到達方向を制御し、ロボットは自律的に矯正動作を管理する。
  論文  参考訳（メタデータ） (2026-03-06T11:15:10Z)
• Steering Vision-Language-Action Models as Anti-Exploration: A Test-Time Scaling Approach [78.4812458793128]
  動作チャンクの高忠実度検証に軽量な擬数推定器を適用したテスト時間スケーリングフレームワークである textbfTACO を提案する。 我々の手法は、オフライン強化学習(RL)における古典的な反探索原理に似ており、勾配のないため、計算上の大きな恩恵をもたらす。
  論文  参考訳（メタデータ） (2025-12-02T14:42:54Z)
• One-Step Diffusion Policy: Fast Visuomotor Policies via Diffusion Distillation [80.71541671907426]
  OneStep Diffusion Policy (OneDP)は、事前訓練された拡散政策から知識を単一ステップのアクションジェネレータに蒸留する新しいアプローチである。 OneDPはロボット制御タスクの応答時間を著しく短縮する。
  論文  参考訳（メタデータ） (2024-10-28T17:54:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。