論文の概要: Deep Active Inference Agents for Delayed and Long-Horizon Environments

• arxiv url: http://arxiv.org/abs/2505.19867v1
• Date: Mon, 26 May 2025 11:50:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-27 16:58:43.400541
• Title: Deep Active Inference Agents for Delayed and Long-Horizon Environments
• Title（参考訳）: 遅延・長距離環境のための深部能動推論エージェント
• Authors: Yavar Taheri Yeganeh, Mohsen Jafari, Andrea Matta,
• Abstract要約: AIFエージェントは、遅れた環境で悪化する制限である正確な即時予測と徹底的な計画に依存している。 本稿では,複数段階の遅延遷移を特徴とする生成型政治アーキテクチャを提案する。 我々は,遅延と長期化の設定で現実的な産業シナリオを模倣した環境におけるエージェントの評価を行った。
• 参考スコア（独自算出の注目度）: 1.693200946453174
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: With the recent success of world-model agents, which extend the core idea of model-based reinforcement learning by learning a differentiable model for sample-efficient control across diverse tasks, active inference (AIF) offers a complementary, neuroscience-grounded paradigm that unifies perception, learning, and action within a single probabilistic framework powered by a generative model. Despite this promise, practical AIF agents still rely on accurate immediate predictions and exhaustive planning, a limitation that is exacerbated in delayed environments requiring plans over long horizons, tens to hundreds of steps. Moreover, most existing agents are evaluated on robotic or vision benchmarks which, while natural for biological agents, fall short of real-world industrial complexity. We address these limitations with a generative-policy architecture featuring (i) a multi-step latent transition that lets the generative model predict an entire horizon in a single look-ahead, (ii) an integrated policy network that enables the transition and receives gradients of the expected free energy, (iii) an alternating optimization scheme that updates model and policy from a replay buffer, and (iv) a single gradient step that plans over long horizons, eliminating exhaustive planning from the control loop. We evaluate our agent in an environment that mimics a realistic industrial scenario with delayed and long-horizon settings. The empirical results confirm the effectiveness of the proposed approach, demonstrating the coupled world-model with the AIF formalism yields an end-to-end probabilistic controller capable of effective decision making in delayed, long-horizon settings without handcrafted rewards or expensive planning.
• Abstract（参考訳）: 近年、多種多様なタスクにわたるサンプル効率制御のための微分可能なモデルを学ぶことでモデルベース強化学習のコアアイデアを拡張した世界モデルエージェントの成功により、アクティブ推論(AIF)は、生成モデルによって駆動される単一の確率的フレームワーク内で、知覚、学習、アクションを統一する補完的で神経科学的な基盤となるパラダイムを提供する。 この約束にもかかわらず、実践的なAIFエージェントは依然として正確な即時予測と徹底的な計画に依存しており、長い地平線上の計画、数十から数百のステップを必要とする遅延環境で悪化する制限を課している。 さらに、ほとんどの既存のエージェントは、ロボットや視覚のベンチマークで評価されている。 我々はこれらの制限に、生成型政治アーキテクチャーで対処する。 (i) 生成モデルが1つのルックアヘッドで地平線全体を予測できる多段階の潜伏遷移。 (ii) 期待される自由エネルギーの勾配の遷移と受信を可能にする統合されたポリシーネットワーク。 三 リプレイバッファからモデル及びポリシーを更新する交互最適化方式 (四)長い地平線上を計画し、制御ループから徹底的な計画を排除する単一の勾配ステップ。 我々は,遅延と長期化の設定で現実的な産業シナリオを模倣した環境におけるエージェントの評価を行った。 実験により提案手法の有効性が確認され,AIF形式と結合した世界モデルが,手作りの報酬や高価なプランニングを伴わずに,遅延した長期的設定で効果的に意思決定できるエンドツーエンドの確率的制御器が得られた。

関連論文リスト

• Latent Diffusion Planning for Imitation Learning [78.56207566743154]
  Latent Diffusion Planning (LDP) は、プランナーと逆ダイナミクスモデルからなるモジュラーアプローチである。 行動予測からプランニングを分離することにより、LDPは最適なデータと行動自由データのより密集した監視信号の恩恵を受けることができる。 シミュレーションされた視覚ロボット操作タスクにおいて、LDPは最先端の模倣学習アプローチより優れている。
  論文  参考訳（メタデータ） (2025-04-23T17:53:34Z)
• AI in a vat: Fundamental limits of efficient world modelling for agent sandboxing and interpretability [84.52205243353761]
  最近の研究は、世界モデルを使用して、AIエージェントをデプロイ前にテストできる制御された仮想環境を生成することを提案する。 評価対象のAIエージェントに非依存な世界モデルを簡単にする方法を検討する。
  論文  参考訳（メタデータ） (2025-04-06T20:35:44Z)
• Predictive Planner for Autonomous Driving with Consistency Models [5.966385886363771]
  軌道予測と計画は、自動運転車が動的環境下で安全かつ効率的に走行するために不可欠である。 近年の拡散型生成モデルはマルチエージェント軌道生成において有望であるが,その遅いサンプリングは高周波計画タスクには適さない。 我々は,エゴ車両の航法目標に基づいて,エゴと周辺エージェントの共同分布からサンプルを採取する予測プランナを構築するために,一貫性モデルを活用する。
  論文  参考訳（メタデータ） (2025-02-12T00:26:01Z)
• Adaptive Planning with Generative Models under Uncertainty [20.922248169620783]
  生成モデルによる計画は、幅広い領域にわたる効果的な意思決定パラダイムとして現れてきた。 最新の環境観測に基づいて決定を下すことができるため、各段階での継続的再計画は直感的に思えるかもしれないが、かなりの計算上の課題をもたらす。 本研究は,長軸状態軌跡を予測できる生成モデルの能力を活用する,シンプルな適応計画手法を導入することで,この問題に対処する。
  論文  参考訳（メタデータ） (2024-08-02T18:07:53Z)
• When Demonstrations Meet Generative World Models: A Maximum Likelihood Framework for Offline Inverse Reinforcement Learning [62.00672284480755]
  本稿では, 専門家エージェントから, 一定の有限個の実演において観測された動作を過小評価する報酬と環境力学の構造を復元することを目的とする。 タスクを実行するための正確な専門知識モデルは、臨床的意思決定や自律運転のような安全に敏感な応用に応用できる。
  論文  参考訳（メタデータ） (2023-02-15T04:14:20Z)
• Modular Deep Reinforcement Learning for Continuous Motion Planning with Temporal Logic [59.94347858883343]
  本稿では,マルコフ決定過程(MDP)をモデルとした自律動的システムの運動計画について検討する。 LDGBA と MDP の間に組込み製品 MDP (EP-MDP) を設計することである。 モデルフリー強化学習(RL)のためのLDGBAベースの報酬形成と割引スキームは、EP-MDP状態にのみ依存する。
  論文  参考訳（メタデータ） (2021-02-24T01:11:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。