論文の概要: Active Inference as a Model of Agency

• arxiv url: http://arxiv.org/abs/2401.12917v1
• Date: Tue, 23 Jan 2024 17:09:25 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-24 14:54:48.273015
• Title: Active Inference as a Model of Agency
• Title（参考訳）: エージェントモデルとしてのアクティブ推論
• Authors: Lancelot Da Costa, Samuel Tenka, Dominic Zhao, Noor Sajid
• Abstract要約: 生物エージェントが世界とどのように相互作用するかという物理的に健全な仮定に従う行動は、探索と搾取を統合していることを示す。 能動推論として知られるこの記述は、神経科学から派生した行動と知覚のための一般的な記述的枠組みである自由エネルギー原理を洗練させる。
• 参考スコア（独自算出の注目度）: 1.9019250262578857
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Is there a canonical way to think of agency beyond reward maximisation? In this paper, we show that any type of behaviour complying with physically sound assumptions about how macroscopic biological agents interact with the world canonically integrates exploration and exploitation in the sense of minimising risk and ambiguity about states of the world. This description, known as active inference, refines the free energy principle, a popular descriptive framework for action and perception originating in neuroscience. Active inference provides a normative Bayesian framework to simulate and model agency that is widely used in behavioural neuroscience, reinforcement learning (RL) and robotics. The usefulness of active inference for RL is three-fold. \emph{a}) Active inference provides a principled solution to the exploration-exploitation dilemma that usefully simulates biological agency. \emph{b}) It provides an explainable recipe to simulate behaviour, whence behaviour follows as an explainable mixture of exploration and exploitation under a generative world model, and all differences in behaviour are explicit in differences in world model. \emph{c}) This framework is universal in the sense that it is theoretically possible to rewrite any RL algorithm conforming to the descriptive assumptions of active inference as an active inference algorithm. Thus, active inference can be used as a tool to uncover and compare the commitments and assumptions of more specific models of agency.
• Abstract（参考訳）: 報酬の最大化を超えたエージェンシーを考える正統的な方法はあるだろうか? 本稿では,生物エージェントが世界とどのように相互作用するかという物理的に健全な仮定に従うあらゆる行動が,世界の状態に対するリスクとあいまいさを最小限に抑えるという意味で,探索と搾取をうまく統合していることを示す。 能動推論として知られるこの記述は、神経科学に由来する行動と知覚のための一般的な記述的枠組みである自由エネルギー原理を洗練させる。 能動推論は行動神経科学、強化学習(RL)、ロボット工学で広く使われているエージェンシーをシミュレートしモデル化するための規範的ベイズ的枠組みを提供する。 RLに対する能動推論の有用性は3倍である。 \emph{a}) 能動推論は、生物学的エージェンシーを効果的にシミュレートする探索・探索ジレンマの原理的な解決策を提供する。 emph{b}) 振る舞いをシミュレートするための説明可能なレシピを提供し、生成的世界モデルの下で探索と搾取が説明可能な混合として従うと、振る舞いのすべての違いは世界モデルの違いにおいて明確になる。 このフレームワークは、活性推論アルゴリズムとしての活性推論の記述的仮定に従って任意のRLアルゴリズムを書き換えることは理論的に可能であるという意味で普遍的である。 したがって、アクティブ推論は、より特定のエージェンシーモデルのコミットメントと仮定を解明し比較するためのツールとして使用できる。

関連論文リスト

• Demonstrating the Continual Learning Capabilities and Practical Application of Discrete-Time Active Inference [0.0]
  アクティブ推論は、エージェントが環境とどのように相互作用するかを理解するための数学的フレームワークである。 本稿では,個別の時間環境で動作するエージェントのための連続学習フレームワークを提案する。 我々は、エージェントがモデルを再学習し、効率的に洗練する能力を示し、金融や医療といった複雑な分野に適合する。
  論文  参考訳（メタデータ） (2024-09-30T21:18:46Z)
• A Unifying Framework for Action-Conditional Self-Predictive Reinforcement Learning [48.59516337905877]
  優れた表現を学ぶことは、強化学習(RL)エージェントにとって重要な課題である。 近年の研究では、これらのアルゴリズムに関する理論的洞察が生まれている。 我々は,行動条件の自己予測的目的を分析することによって,理論と実践のギャップを埋める一歩を踏み出した。
  論文  参考訳（メタデータ） (2024-06-04T07:22:12Z)
• Inference of Affordances and Active Motor Control in Simulated Agents [0.5161531917413706]
  本稿では,出力確率,時間的予測,モジュール型人工ニューラルネットワークアーキテクチャを提案する。 我々のアーキテクチャは、割当マップと解釈できる潜在状態が発達していることを示す。 アクティブな推論と組み合わせることで、フレキシブルでゴール指向の動作が実行可能であることを示す。
  論文  参考訳（メタデータ） (2022-02-23T14:13:04Z)
• Active Inference in Robotics and Artificial Agents: Survey and Challenges [51.29077770446286]
  我々は、状態推定、制御、計画、学習のためのアクティブ推論の最先端理論と実装についてレビューする。 本稿では、適応性、一般化性、堅牢性の観点から、その可能性を示す関連する実験を紹介する。
  論文  参考訳（メタデータ） (2021-12-03T12:10:26Z)
• Feature-Based Interpretable Reinforcement Learning based on State-Transition Models [3.883460584034766]
  現実世界でのAIモデルの運用に関する懸念が高まり、AIモデルの決定を人間に説明することへの関心が高まっています。 強化学習におけるリスクに関する局所的な説明方法を提案する。
  論文  参考訳（メタデータ） (2021-05-14T23:43:11Z)
• What is Going on Inside Recurrent Meta Reinforcement Learning Agents? [63.58053355357644]
  recurrent meta reinforcement learning (meta-rl)エージェントは「学習アルゴリズムの学習」を目的としてrecurrent neural network (rnn)を使用するエージェントである。 部分観測可能なマルコフ決定プロセス(POMDP)フレームワークを用いてメタRL問題を再構成することにより,これらのエージェントの内部動作機構を明らかにする。
  論文  参考訳（メタデータ） (2021-04-29T20:34:39Z)
• Realising Active Inference in Variational Message Passing: the Outcome-blind Certainty Seeker [3.5450828190071655]
  本稿では、離散時間および状態空間におけるアクティブ推論フレームワークの完全な数学的処理について述べる。 アクティブ推論と変動メッセージパッシングの理論的関係を活用します。 完全因子化変分分布を用いることで, 期待自由エネルギーの簡易化が図れる。
  論文  参考訳（メタデータ） (2021-04-23T19:40:55Z)
• Causal blankets: Theory and algorithmic framework [59.43413767524033]
  本稿では,知覚行動ループ(PALO)を計算力学の原理に基づいてデータから直接識別する新しい枠組みを提案する。 我々のアプローチは因果毛布の概念に基づいており、官能・能動変数を動的に十分な統計量として捉えている。
  論文  参考訳（メタデータ） (2020-08-28T10:26:17Z)
• On the Relationship Between Active Inference and Control as Inference [62.997667081978825]
  アクティブ推論(英: Active Inference、AIF)は、生物学的エージェントがモデルエビデンスに束縛された変動を最小限に抑えることを示唆する脳科学の新たな枠組みである。 制御・アズ・推論(英: Control-as-Inference, CAI)は、意思決定を変分推論問題とみなす強化学習の枠組みである。
  論文  参考訳（メタデータ） (2020-06-23T13:03:58Z)
• Reinforcement Learning through Active Inference [62.997667081978825]
  アクティブ推論のアイデアが従来の強化学習アプローチをどのように強化するかを示す。 我々は、将来望まれる自由エネルギーという、意思決定のための新しい目標を開発し、実装する。 得られたアルゴリズムが探索および利用に成功し、また、スパース、ウェル形状、報酬のないいくつかの挑戦的RLベンチマークにおいて頑健な性能を達成することを実証した。
  論文  参考訳（メタデータ） (2020-02-28T10:28:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。