論文の概要: Deep active inference agents using Monte-Carlo methods
- arxiv url: http://arxiv.org/abs/2006.04176v2
- Date: Thu, 22 Oct 2020 13:17:36 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-24 07:47:30.410485
- Title: Deep active inference agents using Monte-Carlo methods
- Title(参考訳): モンテカルロ法による深部能動推論剤
- Authors: Zafeirios Fountas, Noor Sajid, Pedro A.M. Mediano, Karl Friston
- Abstract要約: モンテカルロサンプリングを用いた連続状態空間における深部能動推論エージェント構築のためのニューラルアーキテクチャを提案する。
提案手法は,タスク性能を維持しつつ,環境動態を効率的に学習することを可能にする。
その結果、深層能動推論は生物学的にインスパイアされた知的エージェントを開発するための柔軟な枠組みを提供することが示された。
- 参考スコア(独自算出の注目度): 3.8233569758620054
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Active inference is a Bayesian framework for understanding biological
intelligence. The underlying theory brings together perception and action under
one single imperative: minimizing free energy. However, despite its theoretical
utility in explaining intelligence, computational implementations have been
restricted to low-dimensional and idealized situations. In this paper, we
present a neural architecture for building deep active inference agents
operating in complex, continuous state-spaces using multiple forms of
Monte-Carlo (MC) sampling. For this, we introduce a number of techniques, novel
to active inference. These include: i) selecting free-energy-optimal policies
via MC tree search, ii) approximating this optimal policy distribution via a
feed-forward `habitual' network, iii) predicting future parameter belief
updates using MC dropouts and, finally, iv) optimizing state transition
precision (a high-end form of attention). Our approach enables agents to learn
environmental dynamics efficiently, while maintaining task performance, in
relation to reward-based counterparts. We illustrate this in a new toy
environment, based on the dSprites data-set, and demonstrate that active
inference agents automatically create disentangled representations that are apt
for modeling state transitions. In a more complex Animal-AI environment, our
agents (using the same neural architecture) are able to simulate future state
transitions and actions (i.e., plan), to evince reward-directed navigation -
despite temporary suspension of visual input. These results show that deep
active inference - equipped with MC methods - provides a flexible framework to
develop biologically-inspired intelligent agents, with applications in both
machine learning and cognitive science.
- Abstract(参考訳): 能動推論は生物学的知性を理解するためのベイズ的枠組みである。
基礎となる理論は、自由エネルギーの最小化という一つの命令の下に知覚と行動をもたらす。
しかし、インテリジェンスを説明するための理論的有用性にもかかわらず、計算の実装は低次元および理想化された状況に限られている。
本稿では,複数形態のモンテカルロサンプリング(mc)を用いて,複雑な連続状態空間で動作する深層アクティブ推論エージェントを構築するためのニューラルアーキテクチャを提案する。
そこで我々は,能動的推論に斬新な手法をいくつか紹介する。
以下を含む。
i)mc木探索による自由エネルギー最適政策の選択
二 フィードフォワード「居住型」ネットワークを介してこの最適な政策分布を近似すること。
iii)mcドロップアウトと最後に、将来のパラメータ信念更新の予測
四 状態遷移精度(ハイエンドの注意形態)を最適化すること。
本手法により,エージェントは報酬ベースと関連するタスク性能を維持しつつ,効率的に環境力学を学ぶことができる。
dspritesデータセットに基づいた新しいトイ環境でこれを説明し、アクティブな推論エージェントが状態遷移のモデリングに適した不連続表現を自動的に生成することを示す。
より複雑な動物-ai環境では、エージェント(同じニューラルアーキテクチャを使用して)が将来の状態遷移やアクション(すなわち計画)をシミュレートし、視覚入力の一時的な停止を許す。
これらの結果は、MC手法を備えた深層能動推論が、生物学的にインスパイアされた知的エージェントを開発する柔軟なフレームワークを提供することを示している。
関連論文リスト
- Interactive Autonomous Navigation with Internal State Inference and
Interactivity Estimation [58.21683603243387]
本稿では,関係時間的推論を伴う3つの補助的タスクを提案し,それらを標準のディープラーニングフレームワークに統合する。
これらの補助的なタスクは、他の対話的エージェントの行動パターンを推測するための追加の監視信号を提供する。
提案手法は,標準評価指標の観点から,頑健かつ最先端のパフォーマンスを実現する。
論文 参考訳(メタデータ) (2023-11-27T18:57:42Z) - Pessimism meets VCG: Learning Dynamic Mechanism Design via Offline
Reinforcement Learning [114.36124979578896]
オフライン強化学習アルゴリズムを用いて動的メカニズムを設計する。
我々のアルゴリズムは悲観主義の原理に基づいており、オフラインデータセットのカバレッジについて軽度な仮定しか必要としない。
論文 参考訳(メタデータ) (2022-05-05T05:44:26Z) - Stochastic Coherence Over Attention Trajectory For Continuous Learning
In Video Streams [64.82800502603138]
本稿では,映像ストリーム中のピクセルワイズ表現を段階的かつ自律的に開発するための,ニューラルネットワークに基づく新しいアプローチを提案する。
提案手法は, 参加者の入場地を観察することで, エージェントが学習できる, 人間の様の注意機構に基づく。
実験では,3次元仮想環境を利用して,映像ストリームを観察することで,エージェントが物体の識別を学べることを示す。
論文 参考訳(メタデータ) (2022-04-26T09:52:31Z) - Efficient Model-based Multi-agent Reinforcement Learning via Optimistic
Equilibrium Computation [93.52573037053449]
H-MARL (Hallucinated Multi-Agent Reinforcement Learning) は,環境と数回交流した後の平衡政策を学習する。
自律運転シミュレーションベンチマークにおいて,本手法を実験的に実証した。
論文 参考訳(メタデータ) (2022-03-14T17:24:03Z) - Inference of Affordances and Active Motor Control in Simulated Agents [0.5161531917413706]
本稿では,出力確率,時間的予測,モジュール型人工ニューラルネットワークアーキテクチャを提案する。
我々のアーキテクチャは、割当マップと解釈できる潜在状態が発達していることを示す。
アクティブな推論と組み合わせることで、フレキシブルでゴール指向の動作が実行可能であることを示す。
論文 参考訳(メタデータ) (2022-02-23T14:13:04Z) - Backprop-Free Reinforcement Learning with Active Neural Generative
Coding [84.11376568625353]
動的環境におけるエラー(バックプロップ)のバックプロパゲーションを伴わない行動駆動型生成モデルの学習のための計算フレームワークを提案する。
我々は、まばらな報酬でも機能するインテリジェントエージェントを開発し、推論として計画の認知理論からインスピレーションを得ている。
我々のエージェントの堅牢な性能は、神経推論と学習のためのバックプロップフリーアプローチがゴール指向の行動を促進するという有望な証拠を提供する。
論文 参考訳(メタデータ) (2021-07-10T19:02:27Z) - Online reinforcement learning with sparse rewards through an active
inference capsule [62.997667081978825]
本稿では,将来期待される新しい自由エネルギーを最小化するアクティブ推論エージェントを提案する。
我々のモデルは、非常に高いサンプル効率でスパース・リワード問題を解くことができる。
また、複雑な目的の表現を単純化する報奨関数から事前モデルを近似する新しい手法を提案する。
論文 参考訳(メタデータ) (2021-06-04T10:03:36Z) - Realising Active Inference in Variational Message Passing: the
Outcome-blind Certainty Seeker [3.5450828190071655]
本稿では、離散時間および状態空間におけるアクティブ推論フレームワークの完全な数学的処理について述べる。
アクティブ推論と変動メッセージパッシングの理論的関係を活用します。
完全因子化変分分布を用いることで, 期待自由エネルギーの簡易化が図れる。
論文 参考訳(メタデータ) (2021-04-23T19:40:55Z) - Learning intuitive physics and one-shot imitation using
state-action-prediction self-organizing maps [0.0]
人間は探索と模倣によって学び、世界の因果モデルを構築し、両方を使って新しいタスクを柔軟に解決する。
このような特徴を生み出す単純だが効果的な教師なしモデルを提案する。
エージェントがアクティブな推論スタイルで柔軟に解決する、複数の関連するが異なる1ショットの模倣タスクに対して、その性能を示す。
論文 参考訳(メタデータ) (2020-07-03T12:29:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。