論文の概要: On efficient computation in active inference
- arxiv url: http://arxiv.org/abs/2307.00504v1
- Date: Sun, 2 Jul 2023 07:38:56 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-05 15:34:14.066345
- Title: On efficient computation in active inference
- Title（参考訳）: 能動推論における効率的な計算について
- Authors: Aswin Paul, Noor Sajid, Lancelot Da Costa, Adeel Razi
- Abstract要約: 計算量を大幅に減らした有限時間地平線に対する新しい計画アルゴリズムを提案する。
また、新規かつ既存のアクティブな推論計画スキームに対して適切な目標分布を設定するプロセスを簡単にする。
- 参考スコア（独自算出の注目度）: 1.1470070927586016
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Despite being recognized as neurobiologically plausible, active inference
faces difficulties when employed to simulate intelligent behaviour in complex
environments due to its computational cost and the difficulty of specifying an
appropriate target distribution for the agent. This paper introduces two
solutions that work in concert to address these limitations. First, we present
a novel planning algorithm for finite temporal horizons with drastically lower
computational complexity. Second, inspired by Z-learning from control theory
literature, we simplify the process of setting an appropriate target
distribution for new and existing active inference planning schemes. Our first
approach leverages the dynamic programming algorithm, known for its
computational efficiency, to minimize the cost function used in planning
through the Bellman-optimality principle. Accordingly, our algorithm
recursively assesses the expected free energy of actions in the reverse
temporal order. This improves computational efficiency by orders of magnitude
and allows precise model learning and planning, even under uncertain
conditions. Our method simplifies the planning process and shows meaningful
behaviour even when specifying only the agent's final goal state. The proposed
solutions make defining a target distribution from a goal state straightforward
compared to the more complicated task of defining a temporally informed target
distribution. The effectiveness of these methods is tested and demonstrated
through simulations in standard grid-world tasks. These advances create new
opportunities for various applications.
- Abstract（参考訳）: 神経生物学的に考えられるが、計算コストやエージェントの適切なターゲット分布を特定することが困難であるため、複雑な環境でのインテリジェントな振る舞いをシミュレートするために用いられると、能動的推論は困難に直面する。
本稿では,これらの制約に対処する2つのソリューションを紹介する。
まず,計算量を大幅に減らした有限時間地平線に対する新しい計画アルゴリズムを提案する。
第2に,制御理論文献からのz学習に触発され,新規および既存アクティブ推論計画計画のための適切な目標分布の設定プロセスを簡素化する。
我々の最初のアプローチは、計算効率で知られている動的プログラミングアルゴリズムを利用して、ベルマン最適原理による計画に使用されるコスト関数を最小化する。
したがって,本アルゴリズムは,作用の期待自由エネルギーを逆時間順に再帰的に評価する。
これにより計算効率は桁違いに向上し、不確定な条件下でも正確なモデル学習と計画が可能になる。
提案手法は,エージェントの最終目標状態のみを指定する場合でも,計画プロセスを単純化し,有意義な行動を示す。
提案手法は, 目標状態から目標分布を定義するのが簡単であり, 時間的情報に基づく目標分布を定義するより複雑なタスクである。
これらの手法の有効性は,標準的なグリッドワールドタスクのシミュレーションを通じて検証・実証されている。
これらの進歩は、様々なアプリケーションに新たな機会をもたらす。
関連論文リスト
- Predicting Probabilities of Error to Combine Quantization and Early Exiting: QuEE [68.6018458996143]
本稿では,量子化と早期出口動的ネットワークを組み合わせたより一般的な動的ネットワークQuEEを提案する。
我々のアルゴリズムは、ソフトアーリーエグジットや入力依存圧縮の一形態と見なすことができる。
提案手法の重要な要素は、さらなる計算によって実現可能な潜在的な精度向上の正確な予測である。
論文 参考訳（メタデータ） (2024-06-20T15:25:13Z) - Learning Logic Specifications for Policy Guidance in POMDPs: an
Inductive Logic Programming Approach [57.788675205519986]
我々は任意の解法によって生成されるPOMDP実行から高品質なトレースを学習する。
我々は、データと時間効率のIndu Logic Programming(ILP)を利用して、解釈可能な信念に基づくポリシー仕様を生成する。
ASP(Answer Set Programming)で表現された学習は、ニューラルネットワークよりも優れた性能を示し、より少ない計算時間で最適な手作りタスクに類似していることを示す。
論文 参考訳（メタデータ） (2024-02-29T15:36:01Z) - Efficient Model-Free Exploration in Low-Rank MDPs [76.87340323826945]
低ランクマルコフ決定プロセスは、関数近似を持つRLに対して単純だが表現力のあるフレームワークを提供する。
既存のアルゴリズムは、(1)計算的に抽出可能であるか、または(2)制限的な統計的仮定に依存している。
提案手法は,低ランクMPPの探索のための最初の実証可能なサンプル効率アルゴリズムである。
論文 参考訳（メタデータ） (2023-07-08T15:41:48Z) - An Auction-based Coordination Strategy for Task-Constrained Multi-Agent
Stochastic Planning with Submodular Rewards [7.419725234099728]
既存のタスク調整アルゴリズムはプロセスを無視したり、計算強度に悩まされる。
新たに定式化されたスコア関数を用いた分散オークションベースのコーディネート戦略を提案する。
大規模アプリケーションの実装には,提案手法の近似変種,すなわちDeep Auctionも提案されている。
論文 参考訳（メタデータ） (2022-12-30T10:25:25Z) - Achieving mouse-level strategic evasion performance using real-time
computational planning [59.60094442546867]
計画とは、脳が想像し、予測可能な未来を成立させる特別な能力である。
我々は,動物の生態が空間計画の価値をどのように支配するかという研究に基づいて,より効率的な生物学的に着想を得た計画アルゴリズムであるTLPPOを開発した。
TLPPOを用いたリアルタイムエージェントの性能とライブマウスの性能を比較し,ロボット捕食者を避けることを課題とする。
論文 参考訳（メタデータ） (2022-11-04T18:34:36Z) - Adversarial Plannning [8.930624061602046]
計画アルゴリズムは、自律的な振舞いを指示するために計算システムで使用される。
このようなアルゴリズムが、プランナーを阻止しようとする敵に対してどのように機能するかは不明だ。
論文 参考訳（メタデータ） (2022-05-01T21:43:06Z) - Non-Clairvoyant Scheduling with Predictions Revisited [77.86290991564829]
非論理的スケジューリングでは、優先度不明な処理条件でジョブをスケジューリングするためのオンライン戦略を見つけることが課題である。
我々はこのよく研究された問題を、アルゴリズム設計に(信頼できない)予測を統合する、最近人気の高い学習強化された設定で再検討する。
これらの予測には所望の特性があり, 高い性能保証を有するアルゴリズムと同様に, 自然な誤差測定が可能であることを示す。
論文 参考訳（メタデータ） (2022-02-21T13:18:11Z) - Efficient Belief Space Planning in High-Dimensional State Spaces using
PIVOT: Predictive Incremental Variable Ordering Tactic [11.878820609988693]
我々は,不確実性の下でのオンライン意思決定の問題点を考察し,信頼空間における計画として定式化する。
このアプローチを PIVOT: Predictive Incremental Variable Ordering Tactic と呼ぶ。
この戦術を適用することで、状態推論の効率も向上する。
論文 参考訳（メタデータ） (2021-12-29T07:30:47Z) - Minimum-Delay Adaptation in Non-Stationary Reinforcement Learning via
Online High-Confidence Change-Point Detection [7.685002911021767]
非定常環境におけるポリシーを効率的に学習するアルゴリズムを導入する。
これは、リアルタイム、高信頼な変更点検出統計において、潜在的に無限のデータストリームと計算を解析する。
i) このアルゴリズムは, 予期せぬ状況変化が検出されるまでの遅延を最小限に抑え, 迅速な応答を可能にする。
論文 参考訳（メタデータ） (2021-05-20T01:57:52Z) - Geometric Deep Reinforcement Learning for Dynamic DAG Scheduling [8.14784681248878]
本稿では,現実的なスケジューリング問題を解決するための強化学習手法を提案する。
高性能コンピューティングコミュニティにおいて一般的に実行されるアルゴリズムであるColesky Factorizationに適用する。
我々のアルゴリズムは,アクター・クリティカル・アルゴリズム (A2C) と組み合わせてグラフニューラルネットワークを用いて,問題の適応表現をオンザフライで構築する。
論文 参考訳（メタデータ） (2020-11-09T10:57:21Z) - Combining Deep Learning and Optimization for Security-Constrained
Optimal Power Flow [94.24763814458686]
セキュリティに制約のある最適電力フロー(SCOPF)は、電力システムの基本である。
SCOPF問題におけるAPRのモデル化は、複雑な大規模混合整数プログラムをもたらす。
本稿では,ディープラーニングとロバスト最適化を組み合わせた新しい手法を提案する。
論文 参考訳（メタデータ） (2020-07-14T12:38:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。