論文の概要: A Direct Approximation of AIXI Using Logical State Abstractions

• arxiv url: http://arxiv.org/abs/2210.06917v1
• Date: Thu, 13 Oct 2022 11:30:56 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-14 14:38:52.127352
• Title: A Direct Approximation of AIXI Using Logical State Abstractions
• Title（参考訳）: 論理的状態抽象化を用いたAIXIの直接近似
• Authors: Samuel Yang-Zhao, Tianyu Wang, Kee Siong Ng
• Abstract要約: 本稿では,強化学習エージェントに対するベイズ最適性の概念である AIXI と論理状態抽象化の実践的統合を提案する。 状態抽象化を形成するための機能の適切なサブセットを選択するという問題に対処する。 その後、抽象状態列上のコンテキストツリー重み付けの適切な一般化を用いて、厳密なベイズモデル学習が達成される。
• 参考スコア（独自算出の注目度）: 6.570488724773507
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: We propose a practical integration of logical state abstraction with AIXI, a Bayesian optimality notion for reinforcement learning agents, to significantly expand the model class that AIXI agents can be approximated over to complex history-dependent and structured environments. The state representation and reasoning framework is based on higher-order logic, which can be used to define and enumerate complex features on non-Markovian and structured environments. We address the problem of selecting the right subset of features to form state abstractions by adapting the $\Phi$-MDP optimisation criterion from state abstraction theory. Exact Bayesian model learning is then achieved using a suitable generalisation of Context Tree Weighting over abstract state sequences. The resultant architecture can be integrated with different planning algorithms. Experimental results on controlling epidemics on large-scale contact networks validates the agent's performance.
• Abstract（参考訳）: 本稿では,AIXIエージェントが複雑な履歴に依存した構造化環境に近似できるモデルクラスを著しく拡張するために,強化学習エージェントに対するベイズ最適性の概念であるAIXIと論理状態抽象化の実践的な統合を提案する。 状態表現と推論フレームワークは高階論理に基づいており、非マルコフおよび構造化環境で複雑な特徴を定義して列挙するのに使うことができる。 状態抽象化理論から$\Phi$-MDP最適化基準を適用することで、状態抽象化を形成するための機能の適切なサブセットを選択する問題に対処する。 正確なベイズモデル学習は、抽象状態列上のコンテキストツリー重み付けの適切な一般化を用いて達成される。 結果として得られるアーキテクチャは、異なる計画アルゴリズムに統合することができる。 大規模接触ネットワーク上での流行制御に関する実験結果は,エージェントの性能を検証している。

関連論文リスト

• Effective Reinforcement Learning Based on Structural Information Principles [19.82391136775341]
  本稿では, 効率的な意思決定・意思決定のための, 新規で汎用的な構造情報原則に基づくフレームワーク,すなわちSIDMを提案する。 SIDMは、様々な単一エージェントおよびマルチエージェントRLアルゴリズムに柔軟に組み込むことができ、その性能を向上させることができる。
  論文  参考訳（メタデータ） (2024-04-15T13:02:00Z)
• Hierarchical State Abstraction Based on Structural Information Principles [70.24495170921075]
  本稿では、情報理論の観点から、新しい数学的構造情報原理に基づく状態抽象化フレームワーク、すなわちSISAを提案する。 SISAは、様々な表現学習目標と柔軟に統合され、パフォーマンスをさらに向上する一般的なフレームワークである。
  論文  参考訳（メタデータ） (2023-04-24T11:06:52Z)
• Distributed Bayesian Learning of Dynamic States [65.7870637855531]
  提案アルゴリズムは有限状態隠れマルコフモデルに対する分散ベイズフィルタタスクである。 逐次状態推定や、動的環境下でのソーシャルネットワーク上での意見形成のモデル化に使用できる。
  論文  参考訳（メタデータ） (2022-12-05T19:40:17Z)
• A General Framework for Sample-Efficient Function Approximation in Reinforcement Learning [132.45959478064736]
  モデルベースとモデルフリー強化学習を統合した汎用フレームワークを提案する。 最適化に基づく探索のための分解可能な構造特性を持つ新しい推定関数を提案する。 本フレームワークでは,OPERA (Optimization-based Exploration with Approximation) という新しいサンプル効率アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-09-30T17:59:16Z)
• Causal Dynamics Learning for Task-Independent State Abstraction [61.707048209272884]
  タスク独立状態抽象化(CDL)のための因果ダイナミクス学習を導入する。 CDLは、状態変数とアクションの間の不要な依存関係を取り除く理論的に証明された因果ダイナミクスモデルを学ぶ。 状態抽象化は、学習されたダイナミクスから導き出すことができる。
  論文  参考訳（メタデータ） (2022-06-27T17:02:53Z)
• Dynamic probabilistic logic models for effective abstractions in RL [35.54018388244684]
  RePReLは階層的なフレームワークであり、リレーショナルプランナーを利用して学習に有用な状態抽象化を提供する。 実験の結果,RePReLは手前のタスクに対して,優れた性能と効率的な学習を実現するだけでなく,目に見えないタスクに対するより優れた一般化も示している。
  論文  参考訳（メタデータ） (2021-10-15T18:53:04Z)
• Model-Invariant State Abstractions for Model-Based Reinforcement Learning [54.616645151708994]
  textitmodel-invarianceという新しいタイプの状態抽象化を紹介します。 これにより、状態変数の見当たらない値の新しい組み合わせへの一般化が可能になる。 このモデル不変状態抽象化を通じて最適なポリシーを学習できることを実証する。
  論文  参考訳（メタデータ） (2021-02-19T10:37:54Z)
• Invariant Causal Prediction for Block MDPs [106.63346115341862]
  環境全体にわたる一般化は、実世界の課題への強化学習アルゴリズムの適用の成功に不可欠である。 本稿では,多環境環境における新しい観測を一般化するモデル不適合状態抽象化(MISA)を学習するための不変予測法を提案する。
  論文  参考訳（メタデータ） (2020-03-12T21:03:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。