論文の概要: Active Inference as a Convex Markov Decision Process

• arxiv url: http://arxiv.org/abs/2607.20152v1
• Date: Wed, 22 Jul 2026 13:52:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-23 18:51:38.097874
• Title: Active Inference as a Convex Markov Decision Process
• Title（参考訳）: 凸マルコフ決定過程としてのアクティブ推論
• Abstract要約: アクティブ推論(AIF)は、期待自由エネルギー(EFE)の最小化として適応的な行動を示す 閉ループ制御ポリシーでは、EFEの最小化はマルコフ決定過程(MDP)として定式化できることを示す。 我々は,世界モデル学習と政策最適化を結合することで,実演強化学習の構造を活発に推測できると主張している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Active Inference (AIF) frames adaptive behavior as the minimization of expected free energy (EFE), combining epistemic and pragmatic objectives within a single variational principle. We frame AIF as policy optimization and show that, for closed-loop control policies, EFE minimization can be formulated as a convex Markov decision process (MDP). In this formulation, the pragmatic terms are linear in the predictive state marginals and therefore equivalent to reward maximization in a latent MDP, while the epistemic value introduces a nonlinear component that distinguishes EFE minimization from standard reinforcement learning. This perspective further reveals the epistemic drive of active inference as a policy-dependent (performative) reward. We analyze finite-horizon, discounted, and average-reward formulations of EFE and derive a mirror descent (MD) algorithm that locally linearizes the objective around the current state marginals, yielding a policy-dependent reward that is compatible with actor-critic methods and dynamic programming. Finally, we argue that coupling world-model learning with policy optimization gives active inference the structure of performative reinforcement learning, providing a route toward grounding active inference within modern reinforcement learning and optimization theory, including convergence analysis and principled policy improvement guarantees.
• Abstract（参考訳）: アクティブ推論(AIF)は、期待自由エネルギー(EFE)の最小化として適応的な振る舞いをフレーム化し、一つの変分原理の中で、疫学とプラグマティックな目的を組み合わせている。 我々は、AIFをポリシー最適化とみなし、閉ループ制御ポリシーでは、EFEの最小化を凸マルコフ決定プロセス(MDP)として定式化できることを示した。 この定式化では、実用語は予測状態境界において線形であり、従って潜在MDPにおける報酬最大化と同値であり、一方、認識値は、EFE最小化と標準強化学習とを区別する非線形成分を導入している。 この観点は、政策に依存した(パフォーマンス的な)報酬として、活発な推論のエピステマティックな推進力をさらに明らかにしている。 本研究では, EFE の有限水平, 割引, 平均逆方向の定式化を解析し, 現在の状態境界付近の目的を局所的に線形化し, アクタクリティカルな手法や動的プログラミングと互換性のあるポリシー依存報酬を与えるミラー降下(MD)アルゴリズムを導出する。 最後に,世界モデル学習と政策最適化を結合することにより,実演強化学習の構造を能動的に推論し,収束分析や原則化された政策改善保証を含む現代強化学習と最適化理論の積極的推論を基礎とする経路を提供する。

関連論文リスト

• IADD-TR: Intervention-Aware Dynamics Decoupling with Targeted Regularization for Model-Based Reinforcement Learning [57.16513298507272]
  IADD-TRは、IADD(Intervention-Aware Dynamics Decoupling)とTR(Targeted Regularization)を組み合わせた統合フレームワークである。 IADDは、ゼロアクションアンカーを用いて、アクション干渉段階とアクションフリー自然進化段階への遷移を分解し、堅牢な一般化のためにこの2段階の分解の非特異性を解決する。 政策学習においては,リプレイ状態の政策段階関数の効率的な影響関数からTRを導出する。
  論文  参考訳（メタデータ） (2026-08-11T08:20:02Z)
• Online Policy Evaluation for MDPs with Dynamic UBSR Measures [5.271072635937926]
  マルコフ決定過程におけるポリシー評価のための効率的なオンライン学習アルゴリズムを提案する。 UBSR-TDアルゴリズムを導入し、ほぼ確実に収束する条件を確立し、収束を加速するために設計されたいくつかの変種を開発する。 我々の定式化は,リスクニュートラルMDPに対する既存のポリシー評価アルゴリズムが動的UBSR設定に容易に適用可能であることを示している。
  論文  参考訳（メタデータ） (2026-07-25T04:12:05Z)
• A Continuous-Time Reinforcement Learning Framework for Fine-Tuning Discrete Diffusion Models [9.133661763917374]
  我々は、離散状態空間とおそらく任意の行動空間で連続的に強化学習(RL)を定式化する。 スコアベース離散拡散モデルを微調整するための完全連続時間RLフレームワークを開発した。
  論文  参考訳（メタデータ） (2026-07-16T03:19:53Z)
• Bounded Ratio Reinforcement Learning [62.09379476369526]
  本稿では,BRRL(Bunded Ratio Reinforcement Learning)フレームワークを導入し,都市部における強化学習の課題を解決する。 本稿では,BRRL の最適化手法であるBunded Policy Optimization (BPO) を開発した。 特に,我々のフレームワークは,PPO損失の成功を解釈する新たな理論レンズを提供し,信頼領域政策最適化とクロスエントロピー法(CEM)を接続する。
  論文  参考訳（メタデータ） (2026-04-20T17:59:01Z)
• Provable and Practical In-Context Policy Optimization for Self-Improvement [49.670847804409874]
  本研究では,モデルが推論における複数ラウンドの自己回帰によって解答を改善するテスト時間スケーリングについて検討する。 In-Context Policy Optimization (ICPO)を導入し、エージェントはパラメータを変更することなく、自己評価または外部から観察された報酬を用いて、その応答を文脈で最適化する。 提案する最小エントロピーICPO(ME-ICPO, Minimum-Entropy ICPO)は、その応答と自己評価報酬を反復的に利用して、推論時にその応答を洗練する実用的なアルゴリズムである。
  論文  参考訳（メタデータ） (2026-03-02T00:21:50Z)
• Rethinking the Trust Region in LLM Reinforcement Learning [72.25890308541334]
  PPO(Proximal Policy Optimization)は、大規模言語モデル(LLM)のデファクト標準アルゴリズムとして機能する。 より原則的な制約でクリッピングを代用する多変量確率ポリシー最適化(DPPO)を提案する。 DPPOは既存の方法よりも優れたトレーニングと効率を実現し、RLベースの微調整のためのより堅牢な基盤を提供する。
  論文  参考訳（メタデータ） (2026-02-04T18:59:04Z)
• MAESTRO: Meta-learning Adaptive Estimation of Scalarization Trade-offs for Reward Optimization [56.074760766965085]
  大規模言語モデル(LLM)の整合性のための効率的なパラダイムとしてグループ相対政策最適化が登場している。 我々は,報酬スカラー化を動的潜在ポリシーとして扱い,モデルの終端隠蔽状態を意味的ボトルネックとして活用するMAESTROを提案する。 本稿では,軽量コンダクタネットワークがメタリワード信号としてグループ相対的優位性を生かしてポリシと共進化する,双方向最適化フレームワークにおけるコンテキスト的帯域幅問題としてこれを定式化する。
  論文  参考訳（メタデータ） (2026-01-12T05:02:48Z)
• Policy Regularized Distributionally Robust Markov Decision Processes with Linear Function Approximation [10.35045003737115]
  分散シフトによる意思決定は、トレーニングとデプロイメント環境が異なる強化学習(RL)における中心的な課題である。 本稿では,モデルのないオンラインポリシー最適化手法DR-RPOを提案する。 DR-RPO は,ロバストな RL における準最適境界とサンプル効率を実現し,値に基づく手法の性能に適合することを示す。
  論文  参考訳（メタデータ） (2025-10-16T02:56:58Z)
• Sequential Monte Carlo for Policy Optimization in Continuous POMDPs [10.675160254513615]
  連続的な部分観測可能なマルコフ決定プロセスのための新しいポリシー最適化フレームワークを導入する。 本手法は,非マルコフ的ファインマン-カックモデルにおいて,政策学習を確率論的推論とみなす。 提案手法の有効性を,標準連続ポデムPベンチマークで実証する。
  論文  参考訳（メタデータ） (2025-05-22T14:45:46Z)
• Dual Alignment Maximin Optimization for Offline Model-based RL [37.563771012143725]
  オフラインの強化剤は、合成から現実の分布ミスマッチのため、重要な展開課題に直面します。 本稿では、まずモデル信頼性から、期待したリターンを最適化しながらポリシーの相違に焦点を移し、その後、自己整合的に合成データを組み込む。 これは、モデル環境ポリシーの一貫性と、合成およびデータのオフラインを保証する統一されたフレームワークである。
  論文  参考訳（メタデータ） (2025-02-02T16:47:35Z)
• A Regularized Implicit Policy for Offline Reinforcement Learning [54.7427227775581]
  オフラインの強化学習は、環境とのさらなるインタラクションなしに、固定データセットから学習を可能にする。 フレキシブルだが十分に調整された完全実装ポリシーの学習を支援するフレームワークを提案する。 D4RLデータセットの実験とアブレーション研究により、我々のフレームワークとアルゴリズム設計の有効性が検証された。
  論文  参考訳（メタデータ） (2022-02-19T20:22:04Z)
• An Offline Risk-aware Policy Selection Method for Bayesian Markov Decision Processes [0.0]
  Exploitation vs. Caution (EvC) はベイズ形式主義のモデル不確実性をエレガントに取り入れたパラダイムである。 我々は,多種多様なMDPクラスを提供する異なる離散的かつシンプルな環境において,最先端のアプローチでEvCを検証する。 テストシナリオでは、EvCは堅牢なポリシーを選択することができ、実践者にとって有用なツールとして際立っている。
  論文  参考訳（メタデータ） (2021-05-27T20:12:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。