論文の概要: Interpreting Emergent Planning in Model-Free Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2504.01871v1
• Date: Wed, 02 Apr 2025 16:24:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-03 13:24:01.120860
• Title: Interpreting Emergent Planning in Model-Free Reinforcement Learning
• Title（参考訳）: モデルレス強化学習における創発的計画の解釈
• Authors: Thomas Bush, Stephen Chung, Usman Anwar, Adrià Garriga-Alonso, David Krueger,
• Abstract要約: モデルフリー強化学習エージェントが計画を学ぶことができるという最初の証拠を提示する。 これは、ソコバンのモデルフリーエージェントに概念ベースの解釈可能性に基づく方法論を適用することで達成される。
• 参考スコア（独自算出の注目度）: 13.820891288919002
• License:
• Abstract: We present the first mechanistic evidence that model-free reinforcement learning agents can learn to plan. This is achieved by applying a methodology based on concept-based interpretability to a model-free agent in Sokoban -- a commonly used benchmark for studying planning. Specifically, we demonstrate that DRC, a generic model-free agent introduced by Guez et al. (2019), uses learned concept representations to internally formulate plans that both predict the long-term effects of actions on the environment and influence action selection. Our methodology involves: (1) probing for planning-relevant concepts, (2) investigating plan formation within the agent's representations, and (3) verifying that discovered plans (in the agent's representations) have a causal effect on the agent's behavior through interventions. We also show that the emergence of these plans coincides with the emergence of a planning-like property: the ability to benefit from additional test-time compute. Finally, we perform a qualitative analysis of the planning algorithm learned by the agent and discover a strong resemblance to parallelized bidirectional search. Our findings advance understanding of the internal mechanisms underlying planning behavior in agents, which is important given the recent trend of emergent planning and reasoning capabilities in LLMs through RL
• Abstract（参考訳）: モデルフリー強化学習エージェントが計画を学ぶことができるという最初の機械的証拠を提示する。 これは、Sokobanのモデルフリーエージェントに概念ベースの解釈可能性に基づいた方法論を適用することで実現される。 具体的には、Guez et al (2019) が導入した汎用モデルフリーエージェントである DRC が、学習概念表現を用いて、環境に対する行動の長期的影響と行動選択の影響を予測する計画を内部的に定式化することを示した。 提案手法は,(1)計画関連概念の探索,(2)エージェントの表現内での計画形成の調査,(3)発見した計画(エージェントの表現)が介入を通じてエージェントの行動に因果的影響があることの検証を含む。 また、これらの計画の出現は、計画的な性質、すなわち、追加のテスト時間計算の恩恵を受ける能力の出現と一致していることを示す。 最後に,エージェントが学習した計画アルゴリズムの質的解析を行い,並列化された双方向探索に強い類似性を見出す。 RLによるLCMの創発的計画と推論能力の最近の動向を考えると, エージェントの計画行動の基礎となる内部メカニズムの理解が進みつつある。

関連論文リスト

• DHP: Discrete Hierarchical Planning for Hierarchical Reinforcement Learning Agents [2.1438108757511958]
  我々の重要な貢献は、従来の距離に基づくアプローチに代わる離散階層的計画法(DHP)である。 提案手法の理論的基礎を提供し,その効果を広範な経験的評価を通じて実証する。 提案手法は,25室環境における長期視覚計画タスクにおいて,成功率と平均エピソード長において,従来のベンチマークよりも有意に優れていた。
  論文  参考訳（メタデータ） (2025-02-04T03:05:55Z)
• Model-Free RL Agents Demonstrate System 1-Like Intentionality [16.427085062620215]
  モデルフリー強化学習エージェントは、人間の認知におけるシステム1プロセスに類推できる行動を示す。 本稿では,モデルフリーとモデルベースRLを区別するために,システム1とシステム2の分岐を結合する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-01-30T12:21:50Z)
• Predicting Future Actions of Reinforcement Learning Agents [27.6973598477153]
  本稿では,3種類の強化学習エージェントの今後の行動と事象予測の有効性を実験的に評価し,比較した。 エージェントの内部計算に基づいて予測を行う内部状態アプローチと、学習された世界モデルでエージェントをアンロールするシミュレーションベースのアプローチの2つのアプローチを採用する。 内部計画を使用することで、アクションを予測する場合のシミュレーションベースのアプローチと比較して、モデル品質がより堅牢であること、イベント予測の結果がより混在していることが証明される。
  論文  参考訳（メタデータ） (2024-10-29T18:48:18Z)
• On Predictive planning and counterfactual learning in active inference [0.20482269513546453]
  本稿では,「計画」と「経験から学ぶ」に基づくアクティブ推論における2つの意思決定手法について検討する。 これらの戦略間のデータ-複雑さのトレードオフをナビゲートする混合モデルを導入する。 提案手法を,エージェントの適応性を必要とするグリッドワールドシナリオで評価する。
  論文  参考訳（メタデータ） (2024-03-19T04:02:31Z)
• Understanding the planning of LLM agents: A survey [98.82513390811148]
  本調査では, LLMをベースとしたエージェント計画の体系的考察を行い, 計画能力の向上を目的とした最近の成果について報告する。 各方向について総合的な分析を行い、研究分野におけるさらなる課題について論じる。
  論文  参考訳（メタデータ） (2024-02-05T04:25:24Z)
• Learning Planning-based Reasoning by Trajectories Collection and Process Reward Synthesizing [61.98556945939045]
  収集された軌道上でのDPO(Direct Preference Optimization)を通して計画に基づく推論を学習するフレームワークを提案する。 論理的推論ベンチマークの挑戦的な結果から,学習フレームワークの有効性が示された。
  論文  参考訳（メタデータ） (2024-02-01T15:18:33Z)
• Planning as In-Painting: A Diffusion-Based Embodied Task Planning Framework for Environments under Uncertainty [56.30846158280031]
  具体的AIのためのタスクプランニングは、最も難しい問題の1つだ。 In-paintingとしての計画」というタスク非依存の手法を提案する。 提案するフレームワークは,様々な具体的AIタスクにおいて,有望なパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2023-12-02T10:07:17Z)
• A Consciousness-Inspired Planning Agent for Model-Based Reinforcement Learning [104.3643447579578]
  本稿では、その状態の関連部分に動的に対応できるエンドツーエンドのモデルベース深層強化学習エージェントを提案する。 この設計により、エージェントは関連するオブジェクトに参画することで効果的に計画を学ぶことができ、配布外一般化がより良くなる。
  論文  参考訳（メタデータ） (2021-06-03T19:35:19Z)
• Forethought and Hindsight in Credit Assignment [62.05690959741223]
  我々は、前向きモデルや後向きモデルによる後向き操作による予測として使われる計画の利益と特異性を理解するために活動する。 本稿では,予測を(再)評価すべき状態の選択に主眼を置いて,計画におけるモデルの利用について検討する。
  論文  参考訳（メタデータ） (2020-10-26T16:00:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。