論文の概要: When to Plan: Learning to Select Between Reactive Control and Deliberative Planning

• arxiv url: http://arxiv.org/abs/2607.16421v1
• Date: Fri, 17 Jul 2026 18:13:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-21 18:48:37.147868
• Title: When to Plan: Learning to Select Between Reactive Control and Deliberative Planning
• Title（参考訳）: 計画の時期: リアクティブコントロールと熟考計画のどちらを選択するかを学ぶ
• Abstract要約: 本稿では,リアクティブ・ポリティクス不確実性スコアの条件付けにより計算を割り当てるメタ推論ポリシーをトレーニングするためのRL法を提案する。 動作計画とナビゲーション環境に関する実証的研究を行い、この設計により、反応ポリシが適切なアクションを提供する場合と、決定時間プランニングが必要な場合とを、メタ推論ポリシーが学習できることを示す。
• 参考スコア（独自算出の注目度）: 11.723839544878244
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: It has long been recognized that humans have the ability to switch between fast, reactive decision-making and slower, deliberative planning. In this paper, we study the question of how to learn this ability, known as meta-reasoning, in artificial agents. We model reactive decision-making as a policy that directly maps state observations to actions. Such policies can be trained with reinforcement learning (RL) or imitation learning, but may generalize poorly outside of their training distribution. Alternatively, model-based decision-time planning is more likely to produce good actions across a broader set of states but requires additional computation time, which delays acting. In this work, we introduce an RL method for training a meta-reasoning policy that allocates computation by conditioning on a reactive-policy uncertainty score. This score enables it to predict when the reactive policy is likely to perform poorly and when planning is needed. We conduct an empirical study on motion planning and navigation environments, showing that this design enables the meta-reasoning policy to learn when the reactive policy provides a good-enough action versus when decision-time planning is needed. Additionally, we show that our design enables the meta-agent to shift toward fully reactive control as the reactive policy improves.
• Abstract（参考訳）: 人間は素早く、反応的な意思決定と遅い、熟考的な計画とを切り替える能力を持っていると長年認識されてきた。 本稿では, 人工エージェントにおけるメタ推論として知られる, この能力の学習方法について考察する。 我々は、状態観察を直接行動にマッピングする政策として、反応的な意思決定をモデル化する。 このような政策は強化学習(RL)や模倣学習で訓練することができるが、訓練分布の外部では一般化が不十分である。 あるいは、モデルベースの意思決定時間プランニングは、より広い一連の状態に対して良い行動を起こす傾向にあるが、さらなる計算時間が必要であり、行動が遅れる。 そこで本研究では,リアクティブな政治不確実性スコアの条件付けによって計算を割り当てるメタ推論ポリシーをトレーニングするためのRL手法を提案する。 このスコアによって、リアクティブポリシが低パフォーマンスで、いつ計画が必要かを予測することができる。 動作計画とナビゲーション環境に関する実証的研究を行い、この設計により、反応ポリシが適切なアクションを提供する場合と、決定時間プランニングが必要な場合とを、メタ推論ポリシーが学習できることを示す。 さらに,反応ポリシーの改善に伴い,メタエージェントが完全な反応性制御に移行することが可能であることを示す。

関連論文リスト

• CAST: Alternating State-Value Targets and Expanded Policy Gradients for Model-Based Reinforcement Learning [6.586422759470378]
  提案するCAST(Critic with Alternating State-value Target)は、プランナー誘導行動を用いて価値学習を改善しつつ、現在の方針で価値見積を規則化する。 我々はDeepMind ControlとHumanoidBench SuitesのCASTをいくつかの最先端手法に対して評価し、動的ハンドスタンドを実行する物理Unitree Go2rupedへの転送に成功したことを示す。
  論文  参考訳（メタデータ） (2026-09-08T15:05:16Z)
• When in Doubt, Plan It Out: Committed Small Language Model Deliberation for Reactive Reinforcement Learning [1.2526963688768455]
  強化学習 (Reinforcement Learning, RL) の方針は、明示的な熟考が欠如しているため、よく馴染みのない環境では劣化する。 高速でリアクティブなRLポリシと低速で検討可能なSLM(Small Language Model)プランナを組み合わせたハイブリッドアーキテクチャであるPlan,Align,Commit,Think(PACT)を提案する。
  論文  参考訳（メタデータ） (2026-06-15T17:31:22Z)
• PriPG-RL: Privileged Planner-Guided Reinforcement Learning for Partially Observable Systems with Anytime-Feasible MPC [1.4312387415573748]
  計画エージェントが学習エージェントを誘導する部分観測可能なマルコフ決定過程(POMDP)を定式化する。 本研究では,P2P-SAC(Planner-to-Policy Soft Actor-Critic)を提案する。 NVIDIA Isaac Labを使ってシミュレーションでアプローチを検証するとともに、現実のUnitree Go2で複雑な障害物の多い環境にデプロイすることに成功しました。
  論文  参考訳（メタデータ） (2026-04-09T09:41:11Z)
• When Should a Robot Think? Resource-Aware Reasoning via Reinforcement Learning for Embodied Robotic Decision-Making [68.12864562049957]
  身体ロボットシステムは、高レベルの推論をサポートするために、大規模言語モデル(LLM)ベースのエージェントにますます依存している。 エージェントはいつ、いつ、いつ行動すべきか? 本稿では,エンボディエージェントのリソース・アウェア・オーケストレーションのための階層的なフレームワークであるRARRL(Resource-Aware Reasoning via Reinforcement Learning)を提案する。
  論文  参考訳（メタデータ） (2026-03-17T15:38:50Z)
• Learning Optimal Deterministic Policies with Stochastic Policy Gradients [62.81324245896716]
  政策勾配法(PG法)は連続強化学習(RL法)問題に対処する手法として成功している。 一般的には、収束(ハイパー)政治は、決定論的バージョンをデプロイするためにのみ学習される。 本稿では,サンプルの複雑性とデプロイされた決定論的ポリシのパフォーマンスのトレードオフを最適化するために,学習に使用する探索レベルの調整方法を示す。
  論文  参考訳（メタデータ） (2024-05-03T16:45:15Z)
• Integration of Reinforcement Learning Based Behavior Planning With Sampling Based Motion Planning for Automated Driving [0.5801044612920815]
  本研究では,高度行動計画のための訓練された深層強化学習ポリシーを用いる方法を提案する。 私たちの知る限りでは、この研究は、この方法で深層強化学習を適用した最初のものである。
  論文  参考訳（メタデータ） (2023-04-17T13:49:55Z)
• Automatically Learning Fallback Strategies with Model-Free Reinforcement Learning in Safety-Critical Driving Scenarios [9.761912672523977]
  本稿では, モデルレス強化学習(RL)エージェントに対して, 環境内の複数の動作モードを捉えるための原則的アプローチを提案する。 我々は、報酬モデルに擬似報酬項を導入し、最適政策によって特権付けられた領域とは異なる国家空間の領域への探索を奨励する。 我々は、トレーニング中に見逃されたであろう有用なポリシーを学習でき、制御アルゴリズムの実行時に使用できないことを示す。
  論文  参考訳（メタデータ） (2022-04-11T15:34:49Z)
• Imitating, Fast and Slow: Robust learning from demonstrations via decision-time planning [96.72185761508668]
  テストタイムでの計画(IMPLANT)は、模倣学習のための新しいメタアルゴリズムである。 IMPLANTは,標準制御環境において,ベンチマーク模倣学習手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-04-07T17:16:52Z)
• Offline Reinforcement Learning with Implicit Q-Learning [85.62618088890787]
  現行のオフライン強化学習手法では、トレーニング中に見つからない行動の価値を問い合わせて、ポリシーを改善する必要がある。 本稿では,データセット外の動作を評価する必要のないオフラインRL手法を提案する。 この方法により、学習したポリシーは、一般化によってデータの最良の振る舞いを大幅に改善することができる。
  論文  参考訳（メタデータ） (2021-10-12T17:05:05Z)
• TempoRL: Learning When to Act [34.8990562818147]
  強化学習は環境との相互作用を通じて行動を学ぶための強力なアプローチである。 エージェントが状態のアクションを選択し、そのアクションにどれくらいの期間コミットするかをプロアクティブに設定する。 当社のTempoRLアプローチでは、状態間のスキップ接続を導入し、これらのスキップに沿って同じアクションを繰り返すスキップポリシーを学びます。 本研究では,従来のRL環境におけるTempoRLの有効性を実証し,本手法がバニラQ-ラーニングよりも格段に高速にポリシーを学習可能であることを示した。
  論文  参考訳（メタデータ） (2021-06-09T17:58:31Z)
• Learning Adaptive Exploration Strategies in Dynamic Environments Through Informed Policy Regularization [100.72335252255989]
  本研究では,動的環境に効果的に適応する探索探索探索戦略の課題について検討する。 本稿では,各タスクにおける報酬を最大化するために訓練された情報ポリシを用いて,RNNベースのポリシーのトレーニングを規則化する新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-05-06T16:14:48Z)
• Efficient Deep Reinforcement Learning via Adaptive Policy Transfer [50.51637231309424]
  強化学習(RL)を促進するための政策伝達フレームワーク(PTF)の提案 我々のフレームワークは、いつ、いつ、どのソースポリシーがターゲットポリシーの再利用に最適なのか、いつそれを終了するかを学習する。 実験結果から,学習過程を著しく加速し,最先端の政策伝達手法を超越していることが判明した。
  論文  参考訳（メタデータ） (2020-02-19T07:30:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。