Fugu-MT 論文翻訳(概要): Deep Active Inference for Partially Observable MDPs

論文の概要: Deep Active Inference for Partially Observable MDPs

arxiv url: http://arxiv.org/abs/2009.03622v1
Date: Tue, 8 Sep 2020 10:02:40 GMT
ステータス: 処理完了
システム内更新日: 2022-10-20 20:29:58.867556
Title: Deep Active Inference for Partially Observable MDPs
Title（参考訳）: 部分観測可能なMDPの深部能動推論
Authors: Otto van der Himst, Pablo Lanillos
Abstract要約: 本稿では,高次元感覚入力から直接ポリシーを学習できる深層能動推論モデルについて述べる。 OpenAIベンチマークでは、私たちのアプローチは、深いQ-ラーニングよりも同等か、あるいは優れたパフォーマンスを持っていることを示しています。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Deep active inference has been proposed as a scalable approach to perception and action that deals with large policy and state spaces. However, current models are limited to fully observable domains. In this paper, we describe a deep active inference model that can learn successful policies directly from high-dimensional sensory inputs. The deep learning architecture optimizes a variant of the expected free energy and encodes the continuous state representation by means of a variational autoencoder. We show, in the OpenAI benchmark, that our approach has comparable or better performance than deep Q-learning, a state-of-the-art deep reinforcement learning algorithm.
Abstract（参考訳）: 深い能動推論は、大きな政策や状態空間を扱う知覚と行動に対するスケーラブルなアプローチとして提案されている。しかし、現在のモデルは完全な観測可能な領域に限られている。本稿では,高次元感覚入力から直接ポリシーを学習できる深層能動推論モデルについて述べる。ディープラーニングアーキテクチャは、期待される自由エネルギーの変形を最適化し、変分オートエンコーダによって連続状態表現を符号化する。 OpenAIベンチマークでは、我々のアプローチは最先端の深層強化学習アルゴリズムである深部Q-ラーニングと同等か、あるいは優れたパフォーマンスを示している。

関連論文リスト

Learning Interpretable Policies in Hindsight-Observable POMDPs through Partially Supervised Reinforcement Learning [57.67629402360924]
本稿では,PSRL(Partially Supervised Reinforcement Learning)フレームワークを紹介する。 PSRLの中心は、教師なし学習と教師なし学習の融合である。 PSRLは、保存中のモデル解釈可能性を高め、従来の手法で設定された性能ベンチマークよりも大幅に向上することを示す。
論文参考訳（メタデータ） (2024-02-14T16:23:23Z)
DiffTORI: Differentiable Trajectory Optimization for Deep Reinforcement and Imitation Learning [19.84386060857712]
本稿では、微分軌道最適化をポリシー表現として活用し、深層強化と模倣学習のためのアクションを生成するDiffTORIを提案する。 15のモデルベースRLタスクと35の模倣学習タスクに高次元画像と点クラウド入力があり、DiffTORIはどちらのドメインでも最先端の手法よりも優れている。
論文参考訳（メタデータ） (2024-02-08T05:26:40Z)
A Bayesian Approach to Robust Inverse Reinforcement Learning [54.24816623644148]
我々は、オフラインモデルに基づく逆強化学習(IRL)に対するベイズ的アプローチを考える。提案フレームワークは,専門家の報酬関数と環境力学の主観的モデルとを同時推定することにより,既存のオフラインモデルベースIRLアプローチとは異なる。本分析は, 専門家が環境の高精度なモデルを持つと考えられる場合, 評価政策が堅牢な性能を示すという新たな知見を提示する。
論文参考訳（メタデータ） (2023-09-15T17:37:09Z)
Deep networks for system identification: a Survey [56.34005280792013]
システム識別は、入力出力データから動的システムの数学的記述を学習する。同定されたモデルの主な目的は、以前の観測から新しいデータを予測することである。我々は、フィードフォワード、畳み込み、リカレントネットワークなどの文献で一般的に採用されているアーキテクチャについて論じる。
論文参考訳（メタデータ） (2023-01-30T12:38:31Z)
Latent Variable Representation for Reinforcement Learning [131.03944557979725]
モデルに基づく強化学習のサンプル効率を改善するために、潜在変数モデルが学習、計画、探索をいかに促進するかは理論上、実証上、不明である。状態-作用値関数に対する潜在変数モデルの表現ビューを提供する。これは、抽出可能な変分学習アルゴリズムと楽観主義/悲観主義の原理の効果的な実装の両方を可能にする。特に,潜伏変数モデルのカーネル埋め込みを組み込んだUPB探索を用いた計算効率の良い計画アルゴリズムを提案する。
論文参考訳（メタデータ） (2022-12-17T00:26:31Z)
MACE: An Efficient Model-Agnostic Framework for Counterfactual Explanation [132.77005365032468]
MACE(Model-Agnostic Counterfactual Explanation)の新たな枠組みを提案する。 MACE法では, 優れた反実例を見つけるための新しいRL法と, 近接性向上のための勾配のない降下法を提案する。公開データセットの実験は、有効性、空間性、近接性を向上して検証する。
論文参考訳（メタデータ） (2022-05-31T04:57:06Z)
Deep Active Inference for Pixel-Based Discrete Control: Evaluation on the Car Racing Problem [0.0]
我々は,OpenAIのカーレースベンチマークにおいて,ディープアクティブ推論(DAIF)エージェントの性能について検討した。状態推論と制御は、期待される自由エネルギーを最適化することでエンドツーエンドで学習される。 vanilla dAIFは、他の世界モデルアプローチと比べて最先端のパフォーマンスに達しない。
論文参考訳（メタデータ） (2021-09-09T10:33:36Z)
Deep Inverse Q-learning with Constraints [15.582910645906145]
我々は、専門家のポリシーを回復するために、実証行動の根底にあるMDPを解くことしか必要としない新しいアルゴリズムのクラスを導入する。本稿では,このアルゴリズムを関数近似を用いて連続状態空間に拡張する方法と,対応するアクション値関数を推定する方法を示す。我々は、Objectworldベンチマーク上で、逆アクション値反復、逆Q-ラーニング、ディープ逆Q-ラーニングと呼ばれる結果のアルゴリズムを評価した。
論文参考訳（メタデータ） (2020-08-04T17:21:51Z)
An Ode to an ODE [78.97367880223254]
我々は、O(d) 群上の行列フローに応じて主フローの時間依存パラメータが進化する ODEtoODE と呼ばれるニューラルODE アルゴリズムの新しいパラダイムを提案する。この2つの流れのネストされたシステムは、訓練の安定性と有効性を提供し、勾配の消滅・爆発問題を確実に解決する。
論文参考訳（メタデータ） (2020-06-19T22:05:19Z)
Deep active inference agents using Monte-Carlo methods [3.8233569758620054]
モンテカルロサンプリングを用いた連続状態空間における深部能動推論エージェント構築のためのニューラルアーキテクチャを提案する。提案手法は,タスク性能を維持しつつ,環境動態を効率的に学習することを可能にする。その結果、深層能動推論は生物学的にインスパイアされた知的エージェントを開発するための柔軟な枠組みを提供することが示された。
論文参考訳（メタデータ） (2020-06-07T15:10:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。