論文の概要: Looped Actor: Depth-Recurrent Reasoning Models for Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2609.37432v1
• Date: Tue, 29 Sep 2026 12:57:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.501622
• Title: Looped Actor: Depth-Recurrent Reasoning Models for Reinforcement Learning
• Title（参考訳）: ループ型アクター:強化学習のための深さ繰り返し推論モデル
• Abstract要約: ループ推論モデルは、パラメータの共有セットを繰り返し適用し、モデルのサイズを増大させることなく、より多くの計算を可能にします。 近年の言語モデリングおよび推論におけるループ変換器の成功により,動的ループ化がシーケンシャルな意思決定に有用かどうかを考察した。 共有計算ブロックを用いて固定点に対する潜在表現を洗練するトランスフォーマーベースのポリシーであるLooped Actorを導入する。
• 参考スコア（独自算出の注目度）: 46.34681410689956
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Looped reasoning models repeatedly apply a shared set of parameters, enabling more computation without increasing the model size. These models also support input-dependent computation by dynamically deciding when to stop looping. Motivated by the recent success of looped transformers in language modeling and reasoning, we investigate whether dynamic looping can similarly benefit sequential decision-making. We provide a complexity-theoretic motivation for this approach by showing that there exist Markov decision processes in which a state-adaptive policy achieves the optimal return with asymptotically less expected computation than any optimal fixed-runtime policy. To learn compute-adaptive policies in practice, we introduce Looped Actor, a transformer-based policy that repeatedly refines a latent representation toward a fixed point using a shared computational block. This allows the model to allocate computation adaptively by varying the number of loops based on the current state. We evaluate Looped Actor on 22 tasks across six environments, ranging from combinatorial puzzles to robotic manipulation and spanning online and offline reinforcement learning (RL) with discrete and continuous actions. Looped Actor matches or exceeds the performance of an untied baseline with 16$\times$ more parameters, with the largest gains in environments where action selection requires substantial multistep planning. For the Boxoban environment, we find that the computation allocation is structured: the number of loops increases with the number of remaining pushes and future optimal pushes become increasingly predictable from the latent state over successive loops. Together, these results highlight actor looping as a simple and efficient way to equip RL agents with adaptive computation and improve their planning capabilities. Code is available at https://github.com/camail-official/LoopedActor
• Abstract（参考訳）: ループ推論モデルは、パラメータの共有セットを繰り返し適用し、モデルのサイズを増大させることなく、より多くの計算を可能にします。 これらのモデルは、ループを停止するタイミングを動的に決定することで、入力依存の計算もサポートする。 近年の言語モデリングおよび推論におけるループ変換器の成功により,動的ループ化がシーケンシャルな意思決定に有用かどうかを考察した。 状態適応型ポリシが任意の固定実行時ポリシーよりも漸近的に少ない計算で最適リターンを達成するマルコフ決定プロセスが存在することを示すことにより,このアプローチに対する複雑性理論的動機付けを提供する。 計算適応型ポリシを実際に学習するために,共有計算ブロックを用いて不規則表現を固定点に向けて繰り返し洗練する変換器ベースのポリシであるLooped Actorを導入する。 これにより、現在の状態に基づいてループの数を変化させることで、モデルを適応的に計算を割り当てることができる。 組み合わせパズルからロボット操作,オンラインおよびオフライン強化学習(RL)における離散的かつ連続的な動作など,6つの環境における22のタスクに対するループ型アクタの評価を行った。 ループされたアクターは、16$\times$以上のパラメータを持つ未処理のベースラインのパフォーマンスに一致または超える。 Boxobanの環境では、計算割り当てが構造化されていることが分かり、残りのプッシュ数とともにループの数が増加し、将来の最適プッシュは、連続するループよりも遅延状態から予測可能になる。 これらの結果から,アクターループはRLエージェントに適応計算を装備し,その計画能力を向上させるためのシンプルで効率的な方法として強調される。 コードはhttps://github.com/camail-official/LoopedActorで入手できる。

関連論文リスト

• Large Discrete Policy: Advancing Explicit Behavior Modeling with Stochastic Iterative Scoring [77.17706435067372]
  大規模ポリシー(LDiP)は、物理的に妥当な候補の大きな語彙から行動を選択する、完全に独立した行動モデリングフレームワークである。 摂動作用ではなく、LDiPは反復的なスコアリングによって表現性を向上する。 エンド・ツー・エンドの計画、クローズドループ・ドライブ、ロボット操作、ビジョン・ランゲージ・アクション・セッティングを通じて、LDiPは強い離散的かつ連続的なベースラインを一貫して上回っている。
  論文  参考訳（メタデータ） (2026-09-07T05:12:52Z)
• ELASTIC: Efficiently Learning to Adaptively Scale Test-Time Compute for Generative Control Policies [36.28264388380867]
  ジェネレーティブコントロールポリシー(GCP)は、ロボット制御におけるテストタイムスケーリングを可能にする。 テスト時間計算はシーケンシャルスケーリングと並列スケーリングの2つの軸に沿って割り当てることができる。 GCPの状態依存型テスト時間計算スケジュールを学習するアルゴリズムであるELASTICを提案する。
  論文  参考訳（メタデータ） (2026-06-30T05:00:32Z)
• Stabilizing Extrapolation in Looped Transformers via Learned Stochastic Stopping [56.14767235650558]
  共有トランスブロックを繰り返し適用するLooped Transformerは、可変長の計算タスクに自然に適合するアーキテクチャである。 この差分を、列長とループ数の間の単純なアルゴリズムタスクにおける突発的相関に追従する。 私たちの研究は、"停止する時"は単なる推論時間割当ルールではなく、トレーニング設計の選択として扱われるべきであることを示唆しています。
  論文  参考訳（メタデータ） (2026-06-29T08:58:09Z)
• Contextual Plackett-Luce: An Efficient Neural Model for Probabilistic Sequence Selection under Ambiguity [4.162695034027842]
  コンテキストプラケット・リュック(Contextual Plackett-Luce)は、配列選択のための構造化確率モデルである。 完全自己回帰予測と並列シーケンス選択のハイブリッドと見なすことができる。 強い平行基線に比べて構造整合性を改善し、曖昧な監督を受ける。
  論文  参考訳（メタデータ） (2026-05-09T18:52:53Z)
• LoopFormer: Elastic-Depth Looped Transformers for Latent Reasoning via Shortcut Modulation [9.943277041891788]
  可変長トラジェクタで訓練されたループ変換器であるLoopFormerを導入し、予算条件の推論を可能にする。 私たちのコアコントリビューションは、異なる長さの軌跡を整列するショートカット一貫性トレーニングスキームです。 LoopFormerは、アグレッシブな計算制約下でさえ、言語モデリングと推論ベンチマークで堅牢なパフォーマンスを示す。
  論文  参考訳（メタデータ） (2026-02-11T23:58:28Z)
• Recurrent-Depth VLA: Implicit Test-Time Compute Scaling of Vision-Language-Action Models via Latent Iterative Reasoning [38.78160379823724]
  リカレントディープスVLA(Recurrent-Depth VLA)は、明示的なトークン生成ではなく、遅延反復精製による計算適応性を実現するアーキテクチャである。 RD-VLAは、メモリフットプリントが一定である任意の推論深度をサポートするリカレントで重み付けされたアクションヘッドを使用している。
  論文  参考訳（メタデータ） (2026-02-08T07:21:01Z)
• Recursive Self-Aggregation Unlocks Deep Thinking in Large Language Models [85.76129014170778]
  推論時間計算は、複数の独立解の中から選択するか、あるいは自己精製を通じて逐次的にスケールすることができる。 進化的手法にインスパイアされたテスト時間スケーリング手法であるRecursive Self-Aggregation (RSA)を提案する。
  論文  参考訳（メタデータ） (2025-09-30T17:58:03Z)
• COrAL: Order-Agnostic Language Modeling for Efficient Iterative Refinement [80.18490952057125]
  反復改良は、複雑なタスクにおける大規模言語モデル(LLM)の能力を高める効果的なパラダイムとして登場した。 我々はこれらの課題を克服するために、コンテキストワイズ順序非依存言語モデリング(COrAL)を提案する。 当社のアプローチでは、管理可能なコンテキストウィンドウ内で複数のトークン依存関係をモデル化しています。
  論文  参考訳（メタデータ） (2024-10-12T23:56:19Z)
• Maximum-Likelihood Inverse Reinforcement Learning with Finite-Time Guarantees [56.848265937921354]
  逆強化学習(IRL)は報酬関数と関連する最適ポリシーを回復することを目的としている。 IRLの多くのアルゴリズムは本質的にネスト構造を持つ。 我々は、報酬推定精度を損なわないIRLのための新しいシングルループアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2022-10-04T17:13:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。