論文の概要: Hierarchical Active Inference using Successor Representations

• arxiv url: http://arxiv.org/abs/2604.15679v1
• Date: Fri, 17 Apr 2026 04:05:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-20 22:00:19.734286
• Title: Hierarchical Active Inference using Successor Representations
• Title（参考訳）: 継承表現を用いた階層型アクティブ推論
• Authors: Prashant Rangarajan, Rajesh P. N. Rao,
• Abstract要約: 本稿では,階層的アクティブ推論に基づく行動計画モデルを提案する。 この結果は、FEPに基づく脳機能理論において、学習された階層的状態と行動抽象化のアクティブ推論への最初の応用を示す。
• 参考スコア（独自算出の注目度）: 1.1172382217477128
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Active inference, a neurally-inspired model for inferring actions based on the free energy principle (FEP), has been proposed as a unifying framework for understanding perception, action, and learning in the brain. Active inference has previously been used to model ecologically important tasks such as navigation and planning, but scaling it to solve complex large-scale problems in real-world environments has remained a challenge. Inspired by the existence of multi-scale hierarchical representations in the brain, we propose a model for planning of actions based on hierarchical active inference. Our approach combines a hierarchical model of the environment with successor representations for efficient planning. We present results demonstrating (1) how lower-level successor representations can be used to learn higher-level abstract states, (2) how planning based on active inference at the lower-level can be used to bootstrap and learn higher-level abstract actions, and (3) how these learned higher-level abstract states and actions can facilitate efficient planning. We illustrate the performance of the approach on several planning and reinforcement learning (RL) problems including a variant of the well-known four rooms task, a key-based navigation task, a partially observable planning problem, the Mountain Car problem, and PointMaze, a family of navigation tasks with continuous state and action spaces. Our results represent, to our knowledge, the first application of learned hierarchical state and action abstractions to active inference in FEP-based theories of brain function.
• Abstract（参考訳）: 活動推論(英: Active Inference)は、自由エネルギー原理(FEP)に基づく行動推論モデルであり、脳内の知覚、行動、学習を理解するための統一的な枠組みとして提案されている。 アクティブ推論は、これまでナビゲーションや計画といった生態学的に重要なタスクをモデル化するために用いられてきたが、現実の環境における複雑な大規模問題を解決するためにそれを拡張することは、依然として課題である。 脳内にマルチスケールの階層的表現が存在することに着想を得て,階層的活動推論に基づく行動計画モデルを提案する。 提案手法は,環境の階層モデルと,効率的な計画のための後継表現を組み合わせたものである。 本研究では,(1)下位階層の抽象状態の学習に,(2)下位階層の抽象状態の学習に,(2)下位階層におけるアクティブな推論に基づく計画が,上位階層の抽象状態のブートストラップと学習に,(3)上位階層の抽象状態と行動の学習にどのように役立つかを示す。 本稿では、よく知られた4部屋タスクの変種、キーベースのナビゲーションタスク、部分的に観測可能な計画問題、マウンテンカー問題、継続的な状態と行動空間を持つナビゲーションタスクのファミリーであるPointMazeなど、いくつかの計画および強化学習(RL)問題に対するアプローチの性能について説明する。 我々の知識では、FEPに基づく脳機能理論において、学習された階層的状態と行動抽象化のアクティブ推論への最初の応用が述べられている。

関連論文リスト

• Bidirectional Task-Motion Planning Based on Hierarchical Reinforcement Learning for Strategic Confrontation [12.278121909070485]
  Swarm Roboticsでは、戦略的対立を含む対決シナリオは、効率的な意思決定を必要とする。 従来のタスクと動作計画手法は意思決定を2つの層に分けるが、その一方向構造はこれらの層間の相互依存を捉えない。 本稿では階層的強化学習に基づく新しい双方向手法を提案し,層間の動的相互作用を実現する。
  論文  参考訳（メタデータ） (2025-04-22T13:22:58Z)
• Dynamic planning in hierarchical active inference [0.0]
  人間の脳が認知決定に関連する運動軌跡を推論し、導入する能力について述べる。 本研究では,アクティブ推論における動的計画の話題に焦点を当てた。
  論文  参考訳（メタデータ） (2024-02-18T17:32:53Z)
• Building Minimal and Reusable Causal State Abstractions for Reinforcement Learning [63.58935783293342]
  Causal Bisimulation Modeling (CBM) は、各タスクのダイナミクスと報酬関数の因果関係を学習し、最小限のタスク固有の抽象化を導出する手法である。 CBMの学習された暗黙的ダイナミクスモデルは、明確なものよりも根底にある因果関係と状態抽象化を正確に識別する。
  論文  参考訳（メタデータ） (2024-01-23T05:43:15Z)
• Hierarchical Imitation Learning with Vector Quantized Models [77.67190661002691]
  我々は,専門家の軌跡におけるサブゴールの同定に強化学習を用いることを提案する。 同定されたサブゴールに対するベクトル量子化生成モデルを構築し,サブゴールレベルの計画を行う。 実験では、このアルゴリズムは複雑な長い水平決定問題の解法に優れ、最先端のアルゴリズムよりも優れている。
  論文  参考訳（メタデータ） (2023-01-30T15:04:39Z)
• Predicate Invention for Bilevel Planning [25.17455720525786]
  本稿では,手動で指定した状態抽象化の必要性を排除し,実演から述語を学習するアルゴリズムを提案する。 私たちのキーとなるアイデアは、現実の効率的な計画目標に忠実だが引き付けやすい代理目的を最適化することで、述語を学ぶことです。
  論文  参考訳（メタデータ） (2022-03-17T22:13:09Z)
• Procedure Planning in Instructional Videosvia Contextual Modeling and Model-based Policy Learning [114.1830997893756]
  本研究は,実生活ビデオにおける目標指向アクションを計画するモデルを学習することに焦点を当てる。 本研究では,ベイズ推論とモデルに基づく模倣学習を通して,人間の行動のモデル化を行う新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-10-05T01:06:53Z)
• Behavior Priors for Efficient Reinforcement Learning [97.81587970962232]
  本稿では,情報とアーキテクチャの制約を,確率論的モデリング文献のアイデアと組み合わせて行動の事前学習を行う方法について考察する。 このような潜伏変数の定式化が階層的強化学習(HRL)と相互情報と好奇心に基づく目的との関係について論じる。 シミュレーションされた連続制御領域に適用することで,フレームワークの有効性を実証する。
  論文  参考訳（メタデータ） (2020-10-27T13:17:18Z)
• Goal-Aware Prediction: Learning to Model What Matters [105.43098326577434]
  学習した前進力学モデルを使用する際の根本的な課題の1つは、学習したモデルの目的と下流のプランナーやポリシーの目標とのミスマッチである。 本稿では,タスク関連情報への直接的予測を提案し,そのモデルが現在のタスクを認識し,状態空間の関連量のみをモデル化することを奨励する。 提案手法は,目標条件付きシーンの関連部分を効果的にモデル化し,その結果,標準タスク非依存のダイナミックスモデルやモデルレス強化学習より優れていることがわかった。
  論文  参考訳（メタデータ） (2020-07-14T16:42:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。