論文の概要: Branching Time Active Inference: empirical study and complexity class analysis

• arxiv url: http://arxiv.org/abs/2111.11276v1
• Date: Mon, 22 Nov 2021 15:30:35 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-23 20:46:47.040277
• Title: Branching Time Active Inference: empirical study and complexity class analysis
• Title（参考訳）: 分岐時間アクティブ推論:実証的研究と複雑性クラス分析
• Authors: Th\'eophile Champion, Howard Bowman, Marek Grze\'s
• Abstract要約: 迷路解決剤の文脈における分枝時間能動推論手法(BTAI)について実験的に検討した。 事前の嗜好の改善とより深い検索が、この脆弱性を局所的なミニマに緩和する助けとなることを示す。
• 参考スコア（独自算出の注目度）: 3.5450828190071655
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Active inference is a state-of-the-art framework for modelling the brain that explains a wide range of mechanisms such as habit formation, dopaminergic discharge and curiosity. However, recent implementations suffer from an exponential (space and time) complexity class when computing the prior over all the possible policies up to the time horizon. Fountas et al. (2020) used Monte Carlo tree search to address this problem, leading to very good results in two different tasks. Additionally, Champion et al. (2021a) proposed a tree search approach based on structure learning. This was enabled by the development of a variational message passing approach to active inference (Champion et al., 2021b), which enables compositional construction of Bayesian networks for active inference. However, this message passing tree search approach, which we call branching-time active inference (BTAI), has never been tested empirically. In this paper, we present an experimental study of the approach (Champion et al., 2021a) in the context of a maze solving agent. In this context, we show that both improved prior preferences and deeper search help mitigate the vulnerability to local minima. Then, we compare BTAI to standard active inference (AI) on a graph navigation task. We show that for small graphs, both BTAI and AI successfully solve the task. For larger graphs, AI exhibits an exponential (space) complexity class, making the approach intractable. However, BTAI explores the space of policies more efficiently, successfully scaling to larger graphs.
• Abstract（参考訳）: アクティブ推論は、習慣形成、ドーパミン作動性放電、好奇心などの幅広いメカニズムを説明する脳をモデル化するための最先端のフレームワークである。 しかし、最近の実装は、すべての可能なポリシーを時間軸まで計算する際に、指数関数的な(空間と時間)複雑性クラスに悩まされている。 fountas et al. (2020) はこの問題を解決するためにモンテカルロ木探索を使い、2つの異なるタスクで非常に良い結果をもたらした。 さらに、 champion et al. (2021a) は構造学習に基づく木探索手法を提案した。 これはアクティブ推論に対する変分メッセージパッシング(champion et al., 2021b)の開発によって実現され、アクティブ推論のためにベイズネットワークの構成構成が可能になる。 しかし、この分枝時間アクティブ推論(BTAI)と呼ばれるメッセージパッシングツリー探索手法は、経験的にテストされていない。 本稿では,迷路解決剤の文脈におけるアプローチ(Champion et al., 2021a)について実験的に検討する。 この文脈では、先行選好の改善とより深い検索の両方が、ローカルなminimaの脆弱性を軽減する助けになることを示している。 次に、BTAIと標準アクティブ推論(AI)をグラフナビゲーションタスクで比較する。 小さいグラフの場合、BTAIとAIはどちらもこの課題をうまく解決している。 より大きなグラフの場合、AIは指数(空間)複雑性クラスを示し、アプローチを難解にする。 しかし、BTAIはポリシーの空間をより効率的に探求し、より大きなグラフへのスケーリングに成功した。

関連論文リスト

• Tree Search for Language Model Agents [69.43007235771383]
  対話型Web環境での探索と多段階計画を行うために,LMエージェントの推論時探索アルゴリズムを提案する。 我々のアプローチは、実環境空間内で機能する最優先木探索の一形態である。 現実的なWebタスクにおいて有効性を示すLMエージェントのための最初の木探索アルゴリズムである。
  論文  参考訳（メタデータ） (2024-07-01T17:07:55Z)
• Pangu-Agent: A Fine-Tunable Generalist Agent with Structured Reasoning [50.47568731994238]
  人工知能(AI)エージェント作成の鍵となる方法は強化学習(RL)である 本稿では,構造化推論をAIエージェントのポリシーに統合し,学習するための一般的なフレームワークモデルを提案する。
  論文  参考訳（メタデータ） (2023-12-22T17:57:57Z)
• Planning to Learn: A Novel Algorithm for Active Learning during Model-Based Planning [6.3318086812818475]
  我々は、計画中のアクティブラーニングをより完全に組み込んだSI(高度学習(SL))の拡張を提案する。 SLは、各方針の下で期待される将来の観測の下でモデルパラメータがどのように変化するかという信念を維持している。 これらの目的を達成するために,SLが独特なソリューションを提供する問題構造を強調するために,生物にインスパイアされた新しい環境を利用する。
  論文  参考訳（メタデータ） (2023-08-15T20:39:23Z)
• Multi-Modal and Multi-Factor Branching Time Active Inference [2.513785998932353]
  モンテカルロ木探索に基づく分枝時間アクティブ推論(BTAI)の2つのバージョンが開発されている。 しかし、BTAIのこれらの2つのバージョンはいまだ指数複雑性クラスに悩まされており、観測変数と潜伏変数の数がモデル化されている。 本稿では、この制限をいくつかの観測をモデル化することで解決する。 推論アルゴリズムは、後部の計算を高速化するために、可能性と遷移写像の分解を利用する。
  論文  参考訳（メタデータ） (2022-06-24T22:07:21Z)
• Reinforcement Learning for Branch-and-Bound Optimisation using Retrospective Trajectories [72.15369769265398]
  機械学習は分岐のための有望なパラダイムとして登場した。 分岐のための単純かつ効果的なRLアプローチであるレトロ分岐を提案する。 我々は現在最先端のRL分岐アルゴリズムを3～5倍に上回り、500の制約と1000の変数を持つMILP上での最高のILメソッドの性能の20%以内である。
  論文  参考訳（メタデータ） (2022-05-28T06:08:07Z)
• Branching Time Active Inference: the theory and its generality [3.1542695050861544]
  本稿では,構造学習問題として,木探索と能動推論を統合することを目的とした代替フレームワークを提案する。 第1は期待される自由エネルギーを前方に伝播し、第2は後方に伝搬する。 そして, 前向きと後向きの伝搬がそれぞれ, 活発な推論と洗練された推論に関係していることを示し, これら2つの計画戦略の違いを明らかにする。
  論文  参考訳（メタデータ） (2021-11-22T10:56:03Z)
• Dive into Decision Trees and Forests: A Theoretical Demonstration [0.0]
  決定木は"divide-and-conquer"の戦略を使用して、入力機能とラベル間の依存性に関する複雑な問題を小さなものに分割します。 近年, 計算広告, 推薦システム, 情報検索などの性能が大幅に向上している。
  論文  参考訳（メタデータ） (2021-01-20T16:47:59Z)
• Towards Optimally Efficient Tree Search with Deep Learning [76.64632985696237]
  本稿では,線形モデルから信号整数を推定する古典整数最小二乗問題について検討する。 問題はNPハードであり、信号処理、バイオインフォマティクス、通信、機械学習といった様々な応用でしばしば発生する。 本稿では, 深いニューラルネットワークを用いて, 単純化されたメモリバウンドA*アルゴリズムの最適推定を推定し, HATSアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-01-07T08:00:02Z)
• Learning to Accelerate Heuristic Searching for Large-Scale Maximum Weighted b-Matching Problems in Online Advertising [51.97494906131859]
  バイパルタイトbマッチングはアルゴリズム設計の基本であり、経済市場や労働市場などに広く適用されている。 既存の正確で近似的なアルゴリズムは、通常そのような設定で失敗する。 我々は、以前の事例から学んだ知識を活用して、新しい問題インスタンスを解決するtextttNeuSearcherを提案する。
  論文  参考訳（メタデータ） (2020-05-09T02:48:23Z)
• Parameterizing Branch-and-Bound Search Trees to Learn Branching Policies [76.83991682238666]
  Branch and Bound (B&B) は、Mixed-Integer Linear Programming Problem (MILP) の解法として一般的に用いられる木探索法である。 本稿では,新しい模倣学習フレームワークを提案し,分岐を表現するための新しい入力機能とアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2020-02-12T17:43:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。