論文の概要: Safe Real-Time Policy Steering via Noise-Space Trajectory Optimization for One-Step Generative Policies

• arxiv url: http://arxiv.org/abs/2609.21220v1
• Date: Fri, 18 Sep 2026 02:08:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-21 18:40:16.826558
• Title: Safe Real-Time Policy Steering via Noise-Space Trajectory Optimization for One-Step Generative Policies
• Title（参考訳）: 騒音空間軌道最適化による一段階生成政策の安全なリアルタイム政策ステアリング
• Abstract要約: INSPOは、入力ノイズ空間における軌道最適化として、一段階生成ポリシーの推論時ステアリングを定式化する。 我々は,Push-T,Can pick-and-place,LIBERO-Spatialにまたがる,状態と画像に基づくタスク固有ポリシーと汎用的なビジョン言語対応ポリシーについて,INSPOを評価した。
• 参考スコア（独自算出の注目度）: 0.28675177318965045
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Generative robot policies can represent diverse, multimodal behaviors, but adapting pretrained policies to deployment-time constraints such as collision avoidance and orientation maintenance remains challenging. Existing inference-time steering methods typically apply gradient guidance through iterative diffusion or flow processes, which can be computationally expensive for real-time control. We propose INSPO, which formulates inference-time steering of one-step generative policies as trajectory optimization in the policy's input noise space. By optimizing the input noise while evaluating constraints on the induced state trajectory, INSPO searches the policy-induced behavior space without directly modifying generated actions. The optimization includes a regularization term that encourages solutions to remain consistent with the policy's input distribution and is solved online using population-based particle optimization. We evaluate INSPO on state- and image-based task-specific policies and generalist vision-language-action policies across Push-T, Can pick-and-place, and LIBERO-Spatial. INSPO improves task success and constraint satisfaction over best-of-N sampling and action projection, while comparing favorably with gradient-guided generation at lower runtime.
• Abstract（参考訳）: 生成ロボットポリシーは多様なマルチモーダルな動作を表現できるが、衝突回避や配向維持といったデプロイメント時間の制約に事前訓練されたポリシーを適用することは依然として困難である。 既存の推論時ステアリング法は、通常、反復拡散やフロープロセスを通じて勾配誘導を適用し、リアルタイム制御には計算コストがかかる。 本稿では,入力ノイズ空間における軌道最適化として,一段階生成ポリシーの推論時ステアリングを定式化するINSPOを提案する。 誘導状態軌跡の制約を評価しながら入力ノイズを最適化することにより、INSPOは、生成したアクションを直接変更することなく、ポリシーによって引き起こされる行動空間を探索する。 この最適化には、ポリシーの入力分布に一致しないようソリューションを奨励する正規化項が含まれており、人口統計に基づく粒子最適化を用いてオンラインで解決される。 我々は,Push-T,Can pick-and-place,LIBERO-Spatialにまたがる,状態と画像に基づくタスク固有ポリシーと汎用的なビジョン言語対応ポリシーについて,INSPOを評価した。 INSPOは、最良Nサンプリングおよびアクションプロジェクションに対するタスク成功と制約満足度を改善し、低ランタイムでの勾配誘導生成と好適に比較する。

関連論文リスト

• Stochastic MeanFlow Policies: One-Step Generative Control with Entropic Mirror Descent [53.828537014796574]
  オンラインの非政治強化学習(RL)は、ポリシークラスと更新ルールの2つの選択肢によって構成されている。 我々は、MeanFlow変換を通じてノイズをアクションにマッピングする一段階生成ポリシークラスであるMeanFlow Policiesを提案する。 7つのMuJoCoベンチマークで、Sは1ステップの推論効率を維持しながら、ガウスおよび生成ベースラインを改善する。
  論文  参考訳（メタデータ） (2026-05-20T15:14:14Z)
• OGPO: Sample Efficient Full-Finetuning of Generative Control Policies [53.42266064673132]
  ジェネレーティブコントロールポリシー(GCP)は、ロボット学習に有効なパラメータ化として登場した。 この研究は、GCPを微調整するためのサンプル効率であるOGPO(Off-policy Generative Policy Optimization)を導入している。 OGPOはマルチタスク設定、高精度挿入、デクスタラス制御にまたがる操作タスクにおける最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2026-05-04T18:36:40Z)
• PolicyFlow: Policy Optimization with Continuous Normalizing Flow in Reinforcement Learning [6.836651088754774]
  PolicyFlowは、CNFベースの強化学習アルゴリズムである。 表現力のあるCNFポリシーをPPOスタイルの目的と統合し、フルフローパスに沿って可能性評価を行う。 PolicyFlowは、簡単な経路に沿って速度場の変動を利用して重要度を近似し、訓練安定性を損なうことなく計算オーバーヘッドを削減する。
  論文  参考訳（メタデータ） (2026-02-01T11:08:09Z)
• Proactive Constrained Policy Optimization with Preemptive Penalty [11.93135424276656]
  本稿では,制約付き政策最適化のための新しいプリエンプティブ・ペナルティ・メカニズムを提案する。 このメカニズムは、ポリシーが境界に近づくと、障壁要素を目的の関数に統合し、コストを課す。 また,政策が制約境界に近づいた場合にのみ有効となる境界対応探索を誘導するために,制約対応固有の報酬を導入する。
  論文  参考訳（メタデータ） (2025-08-03T18:35:55Z)
• EXPO: Stable Reinforcement Learning with Expressive Policies [74.30151915786233]
  2つのパラメータ化ポリシーで値の最大化を実現するために,サンプル効率のよいオンライン強化学習アルゴリズムを提案する。 提案手法は, 従来手法に比べて試料効率を最大2～3倍向上させる。
  論文  参考訳（メタデータ） (2025-07-10T17:57:46Z)
• Constraint-Generation Policy Optimization (CGPO): Nonlinear Programming for Policy Optimization in Mixed Discrete-Continuous MDPs [21.246169498568342]
  CGPOは、表現力のある非線形力学を持つ多くのDC-MDPに対して、無限の範囲の初期状態に対する有界なポリシーエラーを保証する。 CGPOは、最悪の状態軌跡を生成して、政策上の欠陥を診断し、最適な行動の反実的な説明を提供する。 在庫管理,貯水池管理,物理制御など,各種分野におけるCGPOの適用性について実験的に検証した。
  論文  参考訳（メタデータ） (2024-01-20T07:12:57Z)
• Acceleration in Policy Optimization [50.323182853069184]
  我々は、楽観的かつ適応的な更新を通じて、政策改善のステップにフォレストを組み込むことにより、強化学習(RL)における政策最適化手法を加速するための統一パラダイムに向けて研究する。 我々は、楽観主義を、政策の将来行動の予測モデルとして定義し、適応性は、過度な予測や変化に対する遅延反応からエラーを軽減するために、即時かつ予測的な修正措置をとるものである。 我々は,メタグラディエント学習による適応型楽観的ポリシー勾配アルゴリズムを設計し,実証的なタスクにおいて,加速度に関連するいくつかの設計選択を実証的に強調する。
  論文  参考訳（メタデータ） (2023-06-18T15:50:57Z)
• Iterative Amortized Policy Optimization [147.63129234446197]
  政策ネットワークは、継続的制御のための深層強化学習(RL)アルゴリズムの中心的な特徴である。 変分推論の観点からは、ポリシーネットワークは、ポリシー分布を直接ではなく、ネットワークパラメータを最適化する、テキスト化最適化の一形態である。 我々は,反復的アモート化ポリシ最適化により,ベンチマーク連続制御タスクの直接アモート化よりも性能が向上することが実証された。
  論文  参考訳（メタデータ） (2020-10-20T23:25:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。