論文の概要: ELASTIC: Efficiently Learning to Adaptively Scale Test-Time Compute for Generative Control Policies
- arxiv url: http://arxiv.org/abs/2606.31132v1
- Date: Tue, 30 Jun 2026 05:00:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-01 18:27:19.076223
- Title: ELASTIC: Efficiently Learning to Adaptively Scale Test-Time Compute for Generative Control Policies
- Title（参考訳）: ELASTIC: ジェネレーティブ・コントロール・ポリシーのためのテスト・タイム・コンピューティングを適応的にスケールする学習
- Abstract要約: ジェネレーティブコントロールポリシー(GCP)は、ロボット制御におけるテストタイムスケーリングを可能にする。
テスト時間計算はシーケンシャルスケーリングと並列スケーリングの2つの軸に沿って割り当てることができる。
GCPの状態依存型テスト時間計算スケジュールを学習するアルゴリズムであるELASTICを提案する。
- 参考スコア（独自算出の注目度）: 36.28264388380867
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Generative control policies (GCPs), such as diffusion policies and flow-based vision-language-action models, enable test-time scaling in robot control. Test-time compute can be allocated along two axes: sequential scaling, which increases denoising steps to refine actions, and parallel scaling, which samples multiple candidate actions to search across modes of the policy distribution. However, the optimal allocation of sequential and parallel compute is hard to know a priori as it is state-, task-, and policy-dependent. For example, early stages of a grasp may benefit from broader parallel exploration, while near-contact phases may require more sequential refinement for precision. We present ELASTIC, an algorithm that learns state-dependent test-time compute schedules for GCPs. We formulate compute allocation as a meta-Markov Decision Process in which a meta-policy interacts with a frozen pretrained robot policy and selects sequential steps and parallel samples at each denoising iteration to maximize task success while minimizing compute. Using reinforcement learning, this meta-policy also learns adaptive compute schedules without access to the GCP's training data. Across simulated manipulation benchmarks with diffusion policies, ELASTIC Pareto-dominates fixed and single-axis scaling baselines at matched compute budgets. On real-world robot manipulation with the $π_{0.5}$ vision-language-action model, ELASTIC matches best-of-$10$ success while reducing wall-clock latency by 34%.
- Abstract（参考訳）: 拡散ポリシーやフローベースの視覚言語アクションモデルなどの生成制御ポリシ(GCP)は、ロボット制御におけるテストタイムスケーリングを可能にする。
シーケンシャルスケーリング(シーケンシャルスケーリング)はアクションを洗練するためのデノジングステップを増大させ、並列スケーリングはポリシー分布のモードを横断する複数の候補アクションをサンプリングする。
しかし、逐次計算と並列計算の最適割り当ては、状態依存、タスク依存、ポリシー依存であるため、優先順位を知ることは困難である。
例えば、グリップの初期段階は、より広い並列探索の恩恵を受けるが、ほぼ接触的な段階は、よりシーケンシャルな精密化を必要とする。
GCPの状態依存型テスト時間計算スケジュールを学習するアルゴリズムであるELASTICを提案する。
我々は,メタマルコフ決定プロセスとして計算割り当てを定式化し,メタポリティクスが凍結した事前訓練されたロボットポリシーと相互作用し,各デノナイズイテレーションにおける逐次ステップと並列サンプルを選択し,計算を最小化しながらタスク成功を最大化する。
強化学習を使用することで、このメタポリシはGCPのトレーニングデータにアクセスせずに、適応的な計算スケジュールも学習する。
ELASTIC Pareto-dominates fixed and single-axis scaling baseline at matched Compute budgets。
π_{0.5}$ビジョン言語アクションモデルによる現実世界のロボット操作では、ELASTICは最高10ドル(約10万円)で成功し、ウォールクロックのレイテンシを34%削減した。
関連論文リスト
- $τ_0$-VLA: a Hierarchical Robot Foundation Model with World-Model-Guided Test-Time Computation [51.05516457377339]
ロングホライズンロボットの操作には、ロボットが個々のスキルを確実に実行し、拡張されたタスクに対してそれらを一貫性を持ってシーケンスする必要がある。
計算スケーリング可能な推論問題として高レベルサブタスク生成を定式化する階層型ロボット基盤モデルである$_0$-VLAを導入する。
低レベルポリシーは、生成されたサブタスクを複数のロボットエンボディメントにわたって実行する。
論文 参考訳（メタデータ） (2026-08-17T17:59:11Z) - Test-Time Gradient Guidance of Flow Policies in Reinforcement Learning [50.738952715864116]
表現的連続制御ポリシは、シミュレーションされた実ロボット制御のための模倣学習のスケーリングにおける進歩のバックボーンを形成する。
テスト時に完全にポリシー最適化を行うRLアルゴリズムであるQGF(Q-Guided Flow)を提案する。
実証的には、QGFはシングルタスクおよびゴール条件のオフラインRLベンチマークにおいて、以前のテスト時間RLメソッドよりも優れている。
論文 参考訳（メタデータ） (2026-06-09T16:45:57Z) - Compute Where it Counts: Self Optimizing Language Models [10.058821474955177]
自己回帰復号化のための動的予算配分について検討する。
我々は,教師の指導するエピソードに対して,グループ相対的な政策最適化を用いて政策を訓練する。
私たちの報酬は、言語モデルの品質と、エピソード平均の予算使用を促進するソフトなペナルティとのトレードオフです。
論文 参考訳（メタデータ） (2026-05-11T17:27:15Z) - Breaking the Computational Barrier: Provably Efficient Actor-Critic for Low-Rank MDPs [53.412166189410904]
低ランクマルコフ決定過程(MDPs)の下で広く採用されているRLオーラクルの階層を確立するために,教師付き学習を計算プロキシとして利用する。
本研究の目的は,政策評価にのみ依存する新しい楽観的アクター批判アルゴリズムを提案することである。
提案アルゴリズムは,従来の計算コストの高い計画や最適化オーラクルを回避しつつ,既存のサンプル複雑度保証よりも優れていることを示す。
論文 参考訳（メタデータ） (2026-05-02T04:46:54Z) - FASTER: Value-Guided Sampling for Fast RL [103.55398181003262]
FASTERは、計算コストを伴わずに拡散ベースのポリシーのサンプリングベースのテストタイムスケーリングの利点を得る方法である。
FASTERは、トレーニングと推論の計算要求を大幅に削減しながら、同じパフォーマンスを達成する。
論文 参考訳（メタデータ） (2026-04-21T17:52:17Z) - Dynamic Test-Time Compute Scaling in Control Policy: Difficulty-Aware Stochastic Interpolant Policy [40.173458986694584]
Difficulty-Aware Interpolant Policy (DA-SIP) は、ロボットコントローラがタスクの難易度に基づいて、リアルタイムで統合の地平線を適応的に調整できるフレームワークである。
DA-SIPは、最大計算ベースラインに匹敵するタスク成功率を維持しながら、合計時間の2.6-4.4倍の削減を実現している。
論文 参考訳（メタデータ） (2025-11-25T22:46:42Z) - IMLE Policy: Fast and Sample Efficient Visuomotor Policy Learning via Implicit Maximum Likelihood Estimation [3.7584322469996896]
IMLEポリシーは、Implicit Maximum Likelihood Estimation (IMLE)に基づく新しい行動クローニング手法である
複雑なマルチモーダルな振る舞いを学ぶ上で、ベースラインメソッドのパフォーマンスに合わせるために、最小限のデモから効果的に学習し、平均で38%のデータを必要とします。
シミュレーションおよび実環境における多様な操作タスクに対するアプローチを検証し、データ制約下で複雑な振る舞いをキャプチャする能力を示す。
論文 参考訳（メタデータ） (2025-02-17T23:22:49Z) - Automatically Planning Optimal Parallel Strategy for Large Language Models [9.804975588324035]
本稿では,並列戦略を最大スループットで自動計画する並列アルゴリズムを提案する。
トレーニング時間を計算,通信,重複に分離することにより,トレーニング期間シミュレーションモデルを構築した。
マルチノード実験の結果、アルゴリズムは平均96%の精度でリアルタイムに並列トレーニング期間を推定できることが示されている。
論文 参考訳（メタデータ） (2024-12-31T03:51:14Z) - Learning Optimal Deterministic Policies with Stochastic Policy Gradients [62.81324245896716]
政策勾配法(PG法)は連続強化学習(RL法)問題に対処する手法として成功している。
一般的には、収束(ハイパー)政治は、決定論的バージョンをデプロイするためにのみ学習される。
本稿では,サンプルの複雑性とデプロイされた決定論的ポリシのパフォーマンスのトレードオフを最適化するために,学習に使用する探索レベルの調整方法を示す。
論文 参考訳（メタデータ） (2024-05-03T16:45:15Z) - Better than the Best: Gradient-based Improper Reinforcement Learning for
Network Scheduling [60.48359567964899]
パケット遅延を最小限に抑えるため,制約付き待ち行列ネットワークにおけるスケジューリングの問題を考える。
我々は、利用可能な原子ポリシーよりも優れたスケジューラを生成するポリシー勾配に基づく強化学習アルゴリズムを使用する。
論文 参考訳（メタデータ） (2021-05-01T10:18:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。