論文の概要: You've Got a Golden Ticket: Improving Generative Robot Policies With A Single Noise Vector
- arxiv url: http://arxiv.org/abs/2603.15757v1
- Date: Mon, 16 Mar 2026 18:00:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-18 17:42:06.923146
- Title: You've Got a Golden Ticket: Improving Generative Robot Policies With A Single Noise Vector
- Title（参考訳）: 1つのノイズベクトルで生成ロボットのポリシーを改良するGolden Ticket
- Abstract要約: 下流の報酬に対して拡散や流れの整合性を改善することができることを示す。
モンテカルロ政策評価を用いたゴールデンチケットの検索手法を提案する。
本手法は,シミュレーションおよび実世界のロボット操作ベンチマークにおいて,43タスク中38タスクにおいて,ポリシーの性能を向上する。
- 参考スコア（独自算出の注目度）: 21.05825413160611
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: What happens when a pretrained generative robot policy is provided a constant initial noise as input, rather than repeatedly sampling it from a Gaussian? We demonstrate that the performance of a pretrained, frozen diffusion or flow matching policy can be improved with respect to a downstream reward by swapping the sampling of initial noise from the prior distribution (typically isotropic Gaussian) with a well-chosen, constant initial noise input -- a golden ticket. We propose a search method to find golden tickets using Monte-Carlo policy evaluation that keeps the pretrained policy frozen, does not train any new networks, and is applicable to all diffusion/flow matching policies (and therefore many VLAs). Our approach to policy improvement makes no assumptions beyond being able to inject initial noise into the policy and calculate (sparse) task rewards of episode rollouts, making it deployable with no additional infrastructure or models. Our method improves the performance of policies in 38 out of 43 tasks across simulated and real-world robot manipulation benchmarks, with relative improvements in success rate by up to 58% for some simulated tasks, and 60% within 50 search episodes for real-world tasks. We also show unique benefits of golden tickets for multi-task settings: the diversity of behaviors from different tickets naturally defines a Pareto frontier for balancing different objectives (e.g., speed, success rates); in VLAs, we find that a golden ticket optimized for one task can also boost performance in other related tasks. We release a codebase with pretrained policies and golden tickets for simulation benchmarks using VLAs, diffusion policies, and flow matching policies.
- Abstract（参考訳）: ガウシアンから繰り返しサンプリングするのではなく、事前訓練された生成ロボットポリシーが入力として一定の初期ノイズを与えるとどうなるのか?
先行分布(典型的には等方的ガウシアン)からの初期雑音のサンプリングをゴールデンチケットである良質な初期雑音入力に置き換えることで,事前学習,凍結拡散,流れの整合性を向上させることができることを示す。
本稿では,モンテカルロの政策評価を用いて,事前学習した政策を凍結し,新たなネットワークをトレーニングせず,拡散/流のマッチングポリシ(従って多くのVLA)に適用可能なゴールデンチケットの探索手法を提案する。
当社の方針改善に対するアプローチは、初期ノイズをポリシーに注入し、エピソードロールアウトのタスク報酬(sparse)を計算すること以上の仮定を行なわず、追加のインフラストラクチャやモデルなしでデプロイできるようにします。
提案手法は,シミュレーションおよび実世界のロボット操作ベンチマークにおいて,43タスク中38タスクのポリシー性能を向上し,シミュレーションされたタスクでは58%,実世界のタスクでは60回以内の検索エピソードでは60%に向上した。
異なるチケットからの振る舞いの多様性は、異なる目的(例えば、速度、成功率)のバランスをとるためのパレートフロンティアを自然に定義する。
我々は,VLA,拡散ポリシ,フローマッチングポリシを用いたシミュレーションベンチマークのための,事前訓練されたポリシとゴールデンチケットを備えたコードベースをリリースする。
関連論文リスト
- Proxy Policy Steering [18.880191675273796]
汎用的なロボットポリシーは、大規模なデータから幅広い操作を先取りするが、それらを新しいタスクに専門化することは、デプロイメントのボトルネックのままである。
本稿では、この課題を解決する推論時適応法であるプロキシポリシーステアリング(PPS)を紹介する。
PPSは最先端のpi 0.5ベースポリシーを平均53%の絶対的な成功率で引き上げ、ベースが解決しないタスクでゼロ対1のゲインを得る。
論文 参考訳（メタデータ） (2026-09-08T17:59:03Z) - Improving Robotic Generalist Policies via Flow Reversal Steering [92.97477771370428]
汎用ポリシーは多様なロボットデータセットから幅広いスキルを学ぶことができる。
新しい課題を解決し、改善するためには、ポリシーのリッチな振る舞いから適切なアクションを推論し、呼び出す方法が必要です。
本稿では,フローリバーサルステアリング (FRS) を提案し,フローポリシーを逆に通すことで,最適だが合理的な動作をとる手法を提案し,それらを一般の動作モードにマッピングする。
論文 参考訳（メタデータ） (2026-06-11T17:59:45Z) - Stochastic MeanFlow Policies: One-Step Generative Control with Entropic Mirror Descent [53.828537014796574]
オンラインの非政治強化学習(RL)は、ポリシークラスと更新ルールの2つの選択肢によって構成されている。
我々は、MeanFlow変換を通じてノイズをアクションにマッピングする一段階生成ポリシークラスであるMeanFlow Policiesを提案する。
7つのMuJoCoベンチマークで、Sは1ステップの推論効率を維持しながら、ガウスおよび生成ベースラインを改善する。
論文 参考訳（メタデータ） (2026-05-20T15:14:14Z) - FASTER: Value-Guided Sampling for Fast RL [103.55398181003262]
FASTERは、計算コストを伴わずに拡散ベースのポリシーのサンプリングベースのテストタイムスケーリングの利点を得る方法である。
FASTERは、トレーニングと推論の計算要求を大幅に削減しながら、同じパフォーマンスを達成する。
論文 参考訳（メタデータ） (2026-04-21T17:52:17Z) - GoldenStart: Q-Guided Priors and Entropy Control for Distilling Flow Policies [22.819853466384686]
フローマッチング政策は強化学習(RL)を大いに約束する
彼らの実践的応用は、しばしば禁止的な遅延推論と効果の低いオンライン探索によって妨げられる。
我々は,Q誘導前処理と明示的エントロピー制御を備えた政策蒸留法であるGoldenStart(GSFlow)を提案する。
統合されたフレームワークは、生成開始点を設計し、ポリシーエントロピーを明示的に制御することにより、効率的かつ探索的なポリシーを達成できることを実証する。
論文 参考訳（メタデータ） (2026-03-15T06:39:09Z) - One-Step Generative Policies with Q-Learning: A Reformulation of MeanFlow [56.13949180229929]
ノイズを直接行動にマッピングするオフライン強化学習のための一段階の生成ポリシーを,MeanFlowの残留的な再構成を通じて導入する。
本手法はオフライン・オフライン両方の強化学習環境において高い性能を実現する。
論文 参考訳（メタデータ） (2025-11-17T06:34:17Z) - One-Step Diffusion Policy: Fast Visuomotor Policies via Diffusion Distillation [80.71541671907426]
OneStep Diffusion Policy (OneDP)は、事前訓練された拡散政策から知識を単一ステップのアクションジェネレータに蒸留する新しいアプローチである。
OneDPはロボット制御タスクの応答時間を著しく短縮する。
論文 参考訳（メタデータ） (2024-10-28T17:54:31Z) - Generalized Differentiable RANSAC [95.95627475224231]
$nabla$-RANSACは、ランダム化された堅牢な推定パイプライン全体を学ぶことができる、微分可能なRANSACである。
$nabla$-RANSACは、精度という点では最先端のシステムよりも優れているが、精度は低い。
論文 参考訳（メタデータ） (2022-12-26T15:13:13Z) - Learning Control by Iterative Inversion [21.127717602247454]
本稿では,入力-出力対を持たない逆関数を学習するアルゴリズムを提案する。
反復的逆転は、関数のかなり厳密な条件下で、学習を正しく行うことができることを証明している。
報酬に基づく手法と比較して,多様な動作を模倣する性能が向上したことを報告した。
論文 参考訳（メタデータ） (2022-11-03T11:25:55Z) - Maximum-Likelihood Inverse Reinforcement Learning with Finite-Time
Guarantees [56.848265937921354]
逆強化学習(IRL)は報酬関数と関連する最適ポリシーを回復することを目的としている。
IRLの多くのアルゴリズムは本質的にネスト構造を持つ。
我々は、報酬推定精度を損なわないIRLのための新しいシングルループアルゴリズムを開発した。
論文 参考訳（メタデータ） (2022-10-04T17:13:45Z) - Proximal Policy Optimization with Continuous Bounded Action Space via
the Beta Distribution [0.0]
本研究では,このベータポリシが,OpenAIジムの2つの連続制御タスクに対して,プロキシポリシー最適化アルゴリズムによってトレーニングされた場合の動作について検討する。
両方のタスクにおいて、ベータポリシーはエージェントの最終報酬の観点からはガウスポリシーよりも優れており、トレーニングプロセスの安定性とより高速な収束を示す。
論文 参考訳（メタデータ） (2021-11-03T13:13:00Z) - Improved Soft Actor-Critic: Mixing Prioritized Off-Policy Samples with
On-Policy Experience [9.06635747612495]
ソフト・アクター・クリティカル(Soft Actor-Critic, SAC)は、アクター・アクター・アクターの強化学習アルゴリズムである。
SACは、期待されるリターンとエントロピーの間のトレードオフを最大化することでポリシーを訓練する。
一連の連続制御ベンチマークタスクで最先端のパフォーマンスを達成した。
論文 参考訳（メタデータ） (2021-09-24T06:46:28Z) - Differentiable Bandit Exploration [38.81737411000074]
我々は、$mathcalP$からサンプルを使って未知のディストリビューション$mathcalP$についてそのようなポリシーを学ぶ。
我々のアプローチはメタラーニングの形式であり、その形式について強い仮定をすることなく$mathcalP$のプロパティを利用する。
論文 参考訳（メタデータ） (2020-02-17T05:07:35Z) - Never Give Up: Learning Directed Exploration Strategies [63.19616370038824]
そこで我々は,多岐にわたる探索政策を学習し,ハード・サーベイ・ゲームを解決するための強化学習エージェントを提案する。
エージェントの最近の経験に基づいて,k-アネレスト隣人を用いたエピソード記憶に基づく本質的な報酬を構築し,探索政策を訓練する。
自己教師付き逆動力学モデルを用いて、近くのルックアップの埋め込みを訓練し、エージェントが制御できる新しい信号をバイアスする。
論文 参考訳（メタデータ） (2020-02-14T13:57:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。