論文の概要: Free Energy Projective Simulation (FEPS): Active inference with interpretability

• arxiv url: http://arxiv.org/abs/2411.14991v1
• Date: Fri, 22 Nov 2024 15:01:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-25 15:04:41.317333
• Title: Free Energy Projective Simulation (FEPS): Active inference with interpretability
• Title（参考訳）: 自由エネルギー射影シミュレーション(FEPS):解釈可能性を考慮したアクティブ推論
• Authors: Joséphine Pazem, Marius Krumm, Alexander Q. Vining, Lukas J. Fiderer, Hans J. Briegel,
• Abstract要約: FEP(Free Energy Projective Simulation)とAIF(Active Inference)は、多くの成功を収めている。 最近の研究は、最新の機械学習技術を取り入れた複雑な環境におけるエージェントの性能向上に重点を置いている。 ディープニューラルネットワークを使わずに解釈可能な方法でエージェントをモデル化するための自由エネルギー射影シミュレーション(FEPS)を導入する。
• 参考スコア（独自算出の注目度）: 40.11095094521714
• License:
• Abstract: In the last decade, the free energy principle (FEP) and active inference (AIF) have achieved many successes connecting conceptual models of learning and cognition to mathematical models of perception and action. This effort is driven by a multidisciplinary interest in understanding aspects of self-organizing complex adaptive systems, including elements of agency. Various reinforcement learning (RL) models performing active inference have been proposed and trained on standard RL tasks using deep neural networks. Recent work has focused on improving such agents' performance in complex environments by incorporating the latest machine learning techniques. In this paper, we take an alternative approach. Within the constraints imposed by the FEP and AIF, we attempt to model agents in an interpretable way without deep neural networks by introducing Free Energy Projective Simulation (FEPS). Using internal rewards only, FEPS agents build a representation of their partially observable environments with which they interact. Following AIF, the policy to achieve a given task is derived from this world model by minimizing the expected free energy. Leveraging the interpretability of the model, techniques are introduced to deal with long-term goals and reduce prediction errors caused by erroneous hidden state estimation. We test the FEPS model on two RL environments inspired from behavioral biology: a timed response task and a navigation task in a partially observable grid. Our results show that FEPS agents fully resolve the ambiguity of both environments by appropriately contextualizing their observations based on prediction accuracy only. In addition, they infer optimal policies flexibly for any target observation in the environment.
• Abstract（参考訳）: 過去10年間、自由エネルギー原理(FEP)とアクティブ推論(AIF)は、学習の概念モデルと認知を数学的モデルと知覚と行動とを結びつける多くの成功を達成してきた。 この取り組みは、エージェントの要素を含む、自己組織化された複雑な適応システムの側面を理解することへの多分野的な関心によって推進される。 能動推論を行う様々な強化学習(RL)モデルが提案され、ディープニューラルネットワークを用いた標準RLタスクで訓練されている。 最近の研究は、最新の機械学習技術を取り入れた複雑な環境におけるエージェントの性能向上に重点を置いている。 本稿では,別のアプローチをとる。 FEPとAIFが課す制約の中で、我々は、自由エネルギー射影シミュレーション(FEPS)を導入して、ディープニューラルネットワークを使わずに、エージェントを解釈可能な方法でモデル化しようとする。 内部報酬のみを用いて、FEPSエージェントは相互作用する部分観測可能な環境の表現を構築する。 AIFの後、期待される自由エネルギーを最小化することにより、与えられたタスクを達成するための政策は、この世界モデルから導かれる。 モデルの解釈可能性を活用して、長期目標に対処し、誤った隠れ状態推定による予測誤差を低減する手法が導入された。 動作生物学から着想を得た2つのRL環境(時間応答タスクとナビゲーションタスク)でFEPSモデルをテストする。 その結果, FEPSエージェントは, 予測精度のみに基づいて, 適切な文脈で観測を行うことで, 両環境のあいまいさを完全に解決できることが示唆された。 さらに, 環境下での目標観測に対して, 柔軟に最適なポリシーを推定する。

関連論文リスト

• Demonstrating the Continual Learning Capabilities and Practical Application of Discrete-Time Active Inference [0.0]
  アクティブ推論は、エージェントが環境とどのように相互作用するかを理解するための数学的フレームワークである。 本稿では,個別の時間環境で動作するエージェントのための連続学習フレームワークを提案する。 我々は、エージェントがモデルを再学習し、効率的に洗練する能力を示し、金融や医療といった複雑な分野に適合する。
  論文  参考訳（メタデータ） (2024-09-30T21:18:46Z)
• R-AIF: Solving Sparse-Reward Robotic Tasks from Pixels with Active Inference and World Models [50.19174067263255]
  我々は、エージェントがスパース・リワード、継続的なアクション、ゴールベースのロボット制御POMDP環境においてエクササイズするのを助けるために、事前の選好学習手法と自己修正スケジュールを導入する。 我々のエージェントは、累積報酬、相対安定性、成功率の観点から、最先端モデルよりも優れたパフォーマンスを提供する。
  論文  参考訳（メタデータ） (2024-09-21T18:32:44Z)
• Predictive Experience Replay for Continual Visual Control and Forecasting [62.06183102362871]
  視覚力学モデリングのための新しい連続学習手法を提案し,その視覚制御と予測における有効性について検討する。 まず,タスク固有のダイナミクスをガウスの混合で学習する混合世界モデルを提案し,その上で,破滅的な忘れを克服するための新たなトレーニング戦略を提案する。 我々のモデルは,DeepMind Control と Meta-World のベンチマークにおいて,既存の連続的学習アルゴリズムと視覚的RLアルゴリズムの単純な組み合わせよりも優れている。
  論文  参考訳（メタデータ） (2023-03-12T05:08:03Z)
• Active Inference and Reinforcement Learning: A unified inference on continuous state and action spaces under partial observability [19.56438470022024]
  多くの実世界の問題は、部分的に観測可能な決定過程(POMDP)として定式化された部分的な観察を含む。 これまでの研究では、過去の行動や観察の記憶を取り入れたり、環境の本当の状態を推測することで、PMDPのRLに取り組みました。 アクティブ推論(AIF)と強化学習(RL)の理論的関係を確立する統一原理を提案する。 実験により,連続的な空間を部分的に観測可能なタスクを解く上で,本手法の優れた学習能力を実証した。
  論文  参考訳（メタデータ） (2022-12-15T16:28:06Z)
• A Neural Active Inference Model of Perceptual-Motor Learning [62.39667564455059]
  アクティブ推論フレームワーク(英: active inference framework、AIF)は、現代の神経科学を基盤とした、有望な新しい計算フレームワークである。 本研究では,ヒトの視覚行動指導において,AIFが期待する役割を捉える能力をテストする。 本稿では,多次元世界状態から自由エネルギーの一次元分布にマッピングする先行関数の新たな定式化について述べる。
  論文  参考訳（メタデータ） (2022-11-16T20:00:38Z)
• Dream to Explore: Adaptive Simulations for Autonomous Systems [3.0664963196464448]
  ベイズ的非パラメトリック法を適用し,力学系制御の学習に挑戦する。 ガウス過程を用いて潜在世界力学を探索することにより、強化学習で観測される一般的なデータ効率の問題を緩和する。 本アルゴリズムは,ログの変動的下界を最適化することにより,世界モデルと政策を共同で学習する。
  論文  参考訳（メタデータ） (2021-10-27T04:27:28Z)
• Backprop-Free Reinforcement Learning with Active Neural Generative Coding [84.11376568625353]
  動的環境におけるエラー(バックプロップ)のバックプロパゲーションを伴わない行動駆動型生成モデルの学習のための計算フレームワークを提案する。 我々は、まばらな報酬でも機能するインテリジェントエージェントを開発し、推論として計画の認知理論からインスピレーションを得ている。 我々のエージェントの堅牢な性能は、神経推論と学習のためのバックプロップフリーアプローチがゴール指向の行動を促進するという有望な証拠を提供する。
  論文  参考訳（メタデータ） (2021-07-10T19:02:27Z)
• Online reinforcement learning with sparse rewards through an active inference capsule [62.997667081978825]
  本稿では,将来期待される新しい自由エネルギーを最小化するアクティブ推論エージェントを提案する。 我々のモデルは、非常に高いサンプル効率でスパース・リワード問題を解くことができる。 また、複雑な目的の表現を単純化する報奨関数から事前モデルを近似する新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-06-04T10:03:36Z)
• Deep active inference agents using Monte-Carlo methods [3.8233569758620054]
  モンテカルロサンプリングを用いた連続状態空間における深部能動推論エージェント構築のためのニューラルアーキテクチャを提案する。 提案手法は,タスク性能を維持しつつ,環境動態を効率的に学習することを可能にする。 その結果、深層能動推論は生物学的にインスパイアされた知的エージェントを開発するための柔軟な枠組みを提供することが示された。
  論文  参考訳（メタデータ） (2020-06-07T15:10:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。