論文の概要: Planning as Emergent Behavior in Reinforcement Learning with Relational Hidden States
- arxiv url: http://arxiv.org/abs/2607.18589v1
- Date: Mon, 20 Jul 2026 23:49:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-22 19:05:05.27832
- Title: Planning as Emergent Behavior in Reinforcement Learning with Relational Hidden States
- Title（参考訳）: 関係隠れ状態を用いた強化学習における創発的行動としての計画
- Abstract要約: 近年の研究では、モデルなし強化学習だけでプランニングが実現可能であることが示されている。
観察されたケースでは、ニューラルネットワークの隠れ状態構造が決定要因であることを示す。
モデルレス強化学習における創発的計画の現象を説明する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Reinforcement learning is conventionally divided into model-based and model-free methods. In this taxonomy, model-based methods perform lookahead planning over a learned world model, whereas model-free methods learn a reactive state-action mapping. Recent work, however, has shown that planning can emerge from model-free reinforcement learning alone. The conditions under which this behavior emerges from a pure reward-maximization objective have so far remained unclear. In this paper, we present evidence that, in the observed cases, the hidden-state structure of the neural architecture is the deciding factor. We find that a network of relational hidden states, each anchored to an environment state and exchanging messages along learned relations, acquires a planning mechanism. These hidden states recover the environment's transition structure in their learned relations, and improve the policy at decision time by planning over the learned graph. In a matched control agent that must additionally discover which cells represent which states, no such binding arises, and no planning follows from it. We argue that this explains the observed phenomenon of emergent planning in model-free reinforcement learning and raises the question of how common such emergent planning might be more generally. Finally, we hypothesize that the discovered mechanism could describe how planning emerges from pure reward maximization in the human brain through a neural architectural prior.
- Abstract（参考訳）: 強化学習は、伝統的にモデルベースとモデルフリーの2つの方法に分けられる。
この分類学では、モデルに基づく手法は学習された世界モデルに対するルックアヘッド計画を実行するが、モデルフリーな手法は反応性のある状態-アクションマッピングを学ぶ。
しかし,近年の研究では,モデルなし強化学習だけでプランニングが実現できることが示されている。
この行動が純粋報酬最大化の目的から生じる条件は、今のところ不明である。
本稿では,観測例において,ニューラルネットワークの隠れ状態構造が決定要因であることを示す。
環境状態に固定され、学習した関係に沿ってメッセージを交換する関係隠れ状態のネットワークが、計画メカニズムを取得する。
これらの隠れ状態は、学習した関係における環境の遷移構造を回復し、学習したグラフを計画することで決定時の政策を改善する。
マッチした制御剤では、どの細胞がどの状態を表すのかを追加で発見する必要があるが、そのような結合は発生せず、それによる計画も起こらない。
本研究では,モデルなし強化学習における創発的計画の現象を説明するとともに,そのような創発的計画がより一般的なものであるかという疑問を提起する。
最後に、発見されたメカニズムは、人間の脳における純粋報酬の最大化から、神経アーキテクチャーの先行性を通して、どのように計画が現れるかを記述することができると仮定する。
関連論文リスト
- Towards Zero-Shot Task Transfer with Neurosymbolic World Models [17.135921836577715]
最先端のモデルに基づく強化学習手法は、潜在空間における計画による政策改善を可能にするニューラルワールドモデルを学習する。
本稿では,報酬予測が潜在状態全体の構造的,象徴的な構成要素のサブセットにのみ依存する,新しい世界モデルの定式化を提案する。
我々は、これらのニューロシンボリック世界モデルを学ぶことの主な利点と課題について論じ、純粋に神経的手法に対する我々のアプローチの強力な一般化特性を実証する。
論文 参考訳（メタデータ） (2026-08-18T16:12:40Z) - Differentiable Learning of Lifted Action Schemas for Classical Planning [6.30853901017231]
我々は、状態が完全に観察されているが、アクション引数が観察されていないトレースからアクションスキーマを学ぶための、新しいニューラルネットワークアーキテクチャを開発した。
我々は、学習したリフトアクションスキーマが地上構造を回復しなければならない様々な計画領域のアーキテクチャを評価する。
論文 参考訳（メタデータ） (2026-05-13T09:59:49Z) - World Action Models: The Next Frontier in Embodied AI [123.5787299299832]
VLA(Vision-Language-Action)モデルは、具体的政策学習のための強力なセマンティックな一般化を実現している。
彼らは、物理的な世界が介入の下でどのように進化するかを明示的にモデル化することなく、リアクティブな観察から行動へのマッピングを学ぶ。
成長するこの制限には、世界モデル、環境ダイナミクスの予測モデル、アクション生成パイプラインを統合することで対処する。
論文 参考訳（メタデータ） (2026-05-12T13:10:52Z) - Interpreting Emergent Planning in Model-Free Reinforcement Learning [13.820891288919002]
モデルフリー強化学習エージェントが計画を学ぶことができるという最初の証拠を提示する。
これは、ソコバンのモデルフリーエージェントに概念ベースの解釈可能性に基づく方法論を適用することで達成される。
論文 参考訳（メタデータ） (2025-04-02T16:24:23Z) - Leveraging Hierarchical Taxonomies in Prompt-based Continual Learning [41.13568563835089]
深層学習モデルの学習において,情報の整理・接続という人間の習慣を適用することが効果的な戦略として有効であることがわかった。
本稿では,モデルがより挑戦的な知識領域に集中するように促す新たな正規化損失関数を提案する。
論文 参考訳（メタデータ） (2024-10-06T01:30:40Z) - Interpretable Imitation Learning with Dynamic Causal Relations [65.18456572421702]
得られた知識を有向非巡回因果グラフの形で公開することを提案する。
また、この因果発見プロセスを状態依存的に設計し、潜在因果グラフのダイナミクスをモデル化する。
提案するフレームワークは,動的因果探索モジュール,因果符号化モジュール,予測モジュールの3つの部分から構成され,エンドツーエンドで訓練される。
論文 参考訳（メタデータ） (2023-09-30T20:59:42Z) - Learning Visual Planning Models from Partially Observed Images [17.25694427734666]
部分的に観察された原画像トレースから遷移モデルを学習するための新しいフレームワークであるaTypeRecplanを提供する。
また、与えられた目標観測距離を推定するモデルを学ぶためのニューラルネットワークベースのアプローチを提案する。
本手法は,不完全な観測環境下での視覚計画モデル学習の最先端手法よりも効果的である。
論文 参考訳（メタデータ） (2022-11-25T07:00:56Z) - Planning with Diffusion for Flexible Behavior Synthesis [125.24438991142573]
我々は、できるだけ多くの軌道最適化パイプラインをモデリング問題に折り畳むことがどう見えるか検討する。
我々の技術的アプローチの核心は、軌道を反復的にデノベーションすることで計画する拡散確率モデルにある。
論文 参考訳（メタデータ） (2022-05-20T07:02:03Z) - Behavior Priors for Efficient Reinforcement Learning [97.81587970962232]
本稿では,情報とアーキテクチャの制約を,確率論的モデリング文献のアイデアと組み合わせて行動の事前学習を行う方法について考察する。
このような潜伏変数の定式化が階層的強化学習(HRL)と相互情報と好奇心に基づく目的との関係について論じる。
シミュレーションされた連続制御領域に適用することで,フレームワークの有効性を実証する。
論文 参考訳（メタデータ） (2020-10-27T13:17:18Z) - Developing Constrained Neural Units Over Time [81.19349325749037]
本稿では,既存のアプローチと異なるニューラルネットワークの定義方法に焦点をあてる。
ニューラルネットワークの構造は、データとの相互作用にも拡張される制約の特別なクラスによって定義される。
提案した理論は時間領域にキャストされ, データを順序づけられた方法でネットワークに提示する。
論文 参考訳（メタデータ） (2020-09-01T09:07:25Z) - Goal-Aware Prediction: Learning to Model What Matters [105.43098326577434]
学習した前進力学モデルを使用する際の根本的な課題の1つは、学習したモデルの目的と下流のプランナーやポリシーの目標とのミスマッチである。
本稿では,タスク関連情報への直接的予測を提案し,そのモデルが現在のタスクを認識し,状態空間の関連量のみをモデル化することを奨励する。
提案手法は,目標条件付きシーンの関連部分を効果的にモデル化し,その結果,標準タスク非依存のダイナミックスモデルやモデルレス強化学習より優れていることがわかった。
論文 参考訳（メタデータ） (2020-07-14T16:42:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。