論文の概要: FlexLoop: Depth-Elastic Looped Policies for Adaptive Test-Time Computation in Deep RL
- arxiv url: http://arxiv.org/abs/2609.34488v1
- Date: Mon, 28 Sep 2026 07:40:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-03 13:04:14.306082
- Title: FlexLoop: Depth-Elastic Looped Policies for Adaptive Test-Time Computation in Deep RL
- Title（参考訳）: FlexLoop: ディープRLにおける適応的なテスト時間計算のための深さ-弾性ループ型ポリシー
- Abstract要約: ループアーキテクチャは、繰り返しステップで同じパラメータを再利用することで、計算をスケールする。
最近の研究は、長期的タスクにおける強化学習政策を著しく改善していることを示している。
我々は、事前訓練された固定深度ループポリシーを深さ弾性ポリシーに変換する新しいフレームワークFlexLoopを提案する。
- 参考スコア（独自算出の注目度）: 36.31894794808421
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Looped architectures scale computation by reusing the same parameters across recurrent steps, and recent work shows that they substantially improve deep reinforcement learning policies on long-horizon tasks. Since recurrent depth directly controls computation, one may expect looped policies to naturally support elastic inference across recurrent depths. Surprisingly, we find that pretrained looped policies exhibit severe recurrent-depth specialization: reliable decisions are concentrated near the full trained depth, tying deployment computation to this depth even when less computation may suffice. Achieving depth elasticity, i.e., reliable decisions across recurrent depths with adaptive computation at deployment, therefore remains a key challenge. To address this, we propose FlexLoop, a novel post-training framework that converts pretrained fixed-depth looped policies into depth-elastic policies. FlexLoop keeps training on the original RL objective to preserve full-depth capability while performing adjacent-depth policy distillation to progressively transfer decision quality from deeper to shallower recurrent steps. The resulting policy supports reliable inference across recurrent depths and enables state-wise adaptive inference through recurrent-depth consistency. Experiments on $30$ online and offline long-horizon goal-conditioned environments show that FlexLoop preserves full-depth performance while making shallower depths effective. Keeping competitive performance, FlexLoop reduces average recurrent depth by up to $\bf{43\%}$ and achieves up to $\bf{1.34\times}$ wall-clock speedup in a stress test.
- Abstract（参考訳）: ループアーキテクチャは、繰り返しステップで同じパラメータを再利用することで、計算をスケールし、最近の研究は、長距離タスクにおける深い強化学習ポリシーを大幅に改善していることを示している。
リカレントディープが直接計算を制御するので、ループされたポリシーがリカレントディープにわたって自然に弾性推論をサポートすることを期待することができる。
意外なことに、事前学習されたループポリシーは、厳しい再帰的な特殊化を示す。信頼性の高い決定は、完全な訓練された深さの近くに集中しており、少ない計算で十分であるとしても、配置計算をこの深さに結びつける。
深さ弾力性(deep elasticity)、すなわち、再帰的な深さにわたる信頼性の高い決定をデプロイ時に適応的な計算で達成することは、依然として重要な課題である。
これを解決するためにFlexLoopを提案する。これは事前訓練された固定深度ループポリシーを深度弾性ポリシーに変換する新しいポストトレーニングフレームワークである。
FlexLoopは、意思決定の質をより深く、より浅い繰り返しステップに段階的に移行する、隣り合った政策蒸留を行いながら、完全な深度を維持するために、元のRL目標のトレーニングを継続する。
結果として得られたポリシーは、再帰的な深さをまたいだ信頼性推論をサポートし、再帰的な深さの一貫性による状態適応推論を可能にする。
30ドルのオンラインおよびオフラインの長期的目標条件環境での実験は、FlexLoopがより浅い深さを効果的にしながら、完全なパフォーマンスを保っていることを示している。
競争性能を維持しながら、FlexLoopは平均再帰深さを最大$\bf{43\%}$に下げ、ストレステストで最大$\bf{1.34\times}$ウォールクロックスピードアップを達成する。
関連論文リスト
- Adaptive Mixing of Policies from Searching and Policies from Learning [0.0]
毎回同じ深さで検索を行う代わりに、前のポリシーネットワークの品質に比例して検索深度を低減する。
ニューラルネットワークのポリシとモンテカルロ木探索のポリシを混合したアーキテクチャであるFlexerについて説明する。
論文 参考訳（メタデータ） (2026-08-16T12:11:01Z) - Depth Adaptive Efficient Visual Autoregressive Modeling [18.16894544431278]
視覚自己回帰(VAR)モデリングは、高解像度画像を生成する際に、各位置に対して非効率に固定された計算深度を適用する。
本稿では,トークン全体のプルーニングから,トークンごとの計算深度を適応的に割り当てるパラダイムシフトを提案する。
論文 参考訳（メタデータ） (2026-04-19T06:59:34Z) - ANCRe: Adaptive Neural Connection Reassignment for Efficient Depth Scaling [57.91760520589592]
ネットワークの深度を拡大することは、現代の基礎モデルの成功の背後にある中心的な要因である。
本稿では,ニューラルネットワークの奥行き,すなわち残差接続の既定メカニズムを再考する。
我々は、データから残余接続性をパラメータ化し、学習する原則的かつ軽量なフレームワークである、適応型ニューラルネットワーク再割り当て(ANCRe)を導入する。
論文 参考訳（メタデータ） (2026-02-09T18:54:18Z) - RLoop: An Self-Improving Framework for Reinforcement Learning with Iterative Policy Initialization [65.23034604711489]
大規模な推論モデルをトレーニングするための自己改善フレームワークであるRLoopを紹介します。
RLoopはまず、RLを使用して所定のポリシからソリューション空間を探索し、成功したトラジェクトリをフィルタリングしてエキスパートデータセットを作成する。
実験の結果、RLoopsは一般化を忘れて大幅に改善し、平均精度は9%、pass@32はバニラRLに比べて15%以上向上した。
論文 参考訳（メタデータ） (2025-11-06T11:27:16Z) - StaQ it! Growing neural networks for Policy Mirror Descent [4.672862669694739]
強化学習(RL)では、理論と実践の両方において、正規化が一般的なツールとして現れている。
我々は,最後の$M$Q関数のみをメモリに保持するPMDのようなアルゴリズムを提案し,解析する。
有限で十分大きい$M$に対して、収束アルゴリズムを導出することができ、ポリシー更新にエラーは発生しない。
論文 参考訳（メタデータ） (2025-06-16T18:00:01Z) - SAPG: Split and Aggregate Policy Gradients [37.433915947580076]
本稿では,大規模環境をチャンクに分割し,重要サンプリングにより融合させることにより,大規模環境を効果的に活用できる新しいオンラインRLアルゴリズムを提案する。
我々のアルゴリズムはSAPGと呼ばれ、バニラPPOや他の強力なベースラインが高い性能を達成できない様々な困難環境において、非常に高い性能を示す。
論文 参考訳（メタデータ） (2024-07-29T17:59:50Z) - LRRU: Long-short Range Recurrent Updating Networks for Depth Completion [45.48580252300282]
深度補修をより効率的に行うために,Long-Short Range Recurrent Updating (LRRU) ネットワークを提案する。
LRRUはまずスパース入力を大まかに満たして初期密度の深度マップを取得し、次に学習された空間変化カーネルを通して反復的に更新する。
我々の初期深度マップには粗いが完全な深度情報があり、粗い深度から深度を直接退避させる負担を軽減できる。
論文 参考訳（メタデータ） (2023-10-13T09:04:52Z) - Boosting Offline Reinforcement Learning via Data Rebalancing [104.3767045977716]
オフライン強化学習(RL)は、学習ポリシーとデータセットの分散シフトによって問題となる。
本稿では,データセットの再サンプリングが分散サポートを一定に保っているという観察に基づいて,オフラインRLアルゴリズムをシンプルかつ効果的に向上させる手法を提案する。
ReD(Return-based Data Re Balance)メソッドをダブします。これは10行未満のコード変更で実装でき、無視できる実行時間を追加します。
論文 参考訳（メタデータ） (2022-10-17T16:34:01Z) - Trainability Preserving Neural Structured Pruning [64.65659982877891]
本稿では,正規化型構造化プルーニング法であるTPP(Traiability Preserving pruning)を提案する。
TPPは線形ネットワーク上での地中動力学的等尺性回復法と競合する。
多くのトップパフォーマンスのフィルタプルーニング手法と比較して、優れたパフォーマンスを提供する。
論文 参考訳（メタデータ） (2022-07-25T21:15:47Z) - Iterative Amortized Policy Optimization [147.63129234446197]
政策ネットワークは、継続的制御のための深層強化学習(RL)アルゴリズムの中心的な特徴である。
変分推論の観点からは、ポリシーネットワークは、ポリシー分布を直接ではなく、ネットワークパラメータを最適化する、テキスト化最適化の一形態である。
我々は,反復的アモート化ポリシ最適化により,ベンチマーク連続制御タスクの直接アモート化よりも性能が向上することが実証された。
論文 参考訳（メタデータ） (2020-10-20T23:25:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。