論文の概要: Expected Free Energy as Belief-Dependent Utility for rho-POMDPs
- arxiv url: http://arxiv.org/abs/2607.16981v1
- Date: Sat, 18 Jul 2026 22:08:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-21 18:48:37.315018
- Title: Expected Free Energy as Belief-Dependent Utility for rho-POMDPs
- Title（参考訳）: Rho-POMDPの信頼性に期待する自由エネルギー
- Abstract要約: 期待される自由エネルギーの最小化は、期待される情報を得るユーティリティーである$-POMDPの解決と全く同じである。
アクティブ推論は、このチューニングを完全に取り除くことを示す。
障害検出や医療スクリーニングといったアプリケーションでは、すべてのテストに価格があり、失敗したすべての障害にコストがかかる場合、EFEはチューニングではなく、信頼に依存したユーティリティを提供する。
- 参考スコア（独自算出の注目度）: 6.628401122676601
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: An agent acting under partial observability must decide when to gather information and which observations are worth their cost. Standard POMDPs value information only through its eventual effect on reward. The $ρ$-POMDP framework instead rewards uncertainty reduction directly, through a belief-dependent utility $ρ$, but in practice both the choice of $ρ$ and the weight placed on it are tuned by hand for every task. We show that active inference removes this tuning entirely. Minimizing Expected Free Energy (EFE) is exactly equivalent to solving a $ρ$-POMDP whose utility is expected information gain, and the exploration weight is fixed at $w=1$ because the variational bound expresses pragmatic and epistemic value in the same units (nats). We prove this equivalence for observe-then-commit POMDPs and extend it to factored observation POMDPs, a broader class that covers interleaved observe-act problems such as non-destructive testing and mobile sensing, where gathering information leaves the hidden state unchanged. Experiments support the theory. Across environments ranging from the classic Tiger problem to RockSample and a new Structural Inspection benchmark with over 65,000 states, the untuned weight matches or outperforms reward-only planning at the same horizon, avoids the over-exploration of bonuses tuned per task, and sits near the reward-maximizing knee of the success-reward Pareto frontier. The practical payoff is an exploration objective that works out of the box. In applications such as fault detection and medical screening, where every test has a price and every missed fault has a cost, EFE supplies a belief-dependent utility that is derived rather than tuned.
- Abstract（参考訳）: 部分観測可能性の下で行動するエージェントは、いつ情報を集めるか、どの観察に価値があるかを判断しなければならない。
標準POMDPは報酬に対する最終的な効果によってのみ情報を値する。
代わりに$ρ$-POMDP フレームワークは、信念に依存しないユーティリティ $ρ$ を通じて直接不確実性還元を報いるが、実際には $ρ$ の選択とそれに載せられた重みは、すべてのタスクに対して手動で調整される。
アクティブ推論は、このチューニングを完全に取り除くことを示す。
期待される自由エネルギー (EFE) の最小化は、実用性が期待される情報ゲインを持つ$ρ$-POMDPの解決と全く同じであり、探索重量は、変動境界が同じ単位 (nats) において実用的および疫学的な値を表すため、$w=1$で固定される。
非破壊検査や移動センシングといったインターリーブな観察行動問題をカバーする広いクラスで、情報収集が隠された状態のままにしておく。
実験は理論を支持する。
古典的なタイガー問題からロックサンプルまで、そして65,000以上の州での新しい構造検査ベンチマーク、未調整の重量一致または報酬のみの計画を同じ地平線で上回り、タスクごとに調整されたボーナスの過度な探索を回避し、パレート・フロンティアの報酬を最大化する膝の近くに座る。
実際の支払いは、箱から出てくる探索の目的です。
障害検出や医療スクリーニングといったアプリケーションでは、すべてのテストに価格があり、失敗したすべての障害にコストがかかる場合、EFEはチューニングではなく、信頼に依存したユーティリティを提供する。
関連論文リスト
- Counterfactual Shapley Credit Assignment [49.39649767581182]
クレディ・アサインメント・問題(CAP)は、効率的かつ説明可能な強化学習(RL)エージェントを開発するための基礎である。
対実共有($-value)を通じて信用と責任を判断する新しい枠組みである対実共有($-value)を導入する。
我々は、$$-valuesを計算し、優先順位付き軌道再生(PTR)と組み合わせた新しいポリシーメソッドのクラス$-PPOを可能にする一貫した推定器を導出する。
論文 参考訳（メタデータ） (2026-07-18T23:28:20Z) - Accelerating A/B-Tests with Counterfactual Estimation: Reducing Variance through Policy Overlap [8.291484471359633]
標準A/Bテストプロトコルにおける重要な非効率性を同定する。
治療とコントロールポリシーが行動に一致した場合、その結果はノイズに寄与するが、治療効果に関する信号はない。
本稿では,この重なり合いを利用して実験を加速する新しい実験プロトコルを提案する。
論文 参考訳（メタデータ） (2026-07-16T06:08:52Z) - Heuristic Pathologies and Further Variance Reduction via Uncertainty Propagation in the AIVAT Family of Techniques [62.94836578759359]
AIVAT推定の不確かさを定量化するために、不確実性がどのように伝播できるかを示す。
実験では,1万本のポーカーハンドのデータセットを用いて,病態と不確実性を示す。
論文 参考訳（メタデータ） (2026-05-14T02:04:26Z) - Counterfactual Influence in Markov Decision Processes [6.108525913338264]
対実的および介入的分布の比較に基づく影響の形式的特徴化を導入する。
我々は、与えられた報酬構造に最適であるだけでなく、観察された経路に合わせて調整された反事実政策を導出する。
論文 参考訳（メタデータ） (2024-02-13T15:10:30Z) - TIC-TAC: A Framework for Improved Covariance Estimation in Deep Heteroscedastic Regression [109.69084997173196]
奥行き回帰は、予測分布の平均と共分散を負の対数類似度を用いて共同最適化する。
近年の研究では, 共分散推定に伴う課題により, 準最適収束が生じる可能性が示唆されている。
1)予測共分散は予測平均のランダム性を真に捉えているか?
その結果, TICは共分散を正確に学習するだけでなく, 負の対数類似性の収束性の向上も促進することがわかった。
論文 参考訳（メタデータ） (2023-10-29T09:54:03Z) - Optimal Off-Policy Evaluation from Multiple Logging Policies [77.62012545592233]
我々は,複数のロギングポリシからオフ政治評価を行い,それぞれが一定のサイズ,すなわち階層化サンプリングのデータセットを生成する。
複数ロガーのOPE推定器は,任意のインスタンス,すなわち効率のよいインスタンスに対して最小分散である。
論文 参考訳（メタデータ） (2020-10-21T13:43:48Z) - Exploiting Submodular Value Functions For Scaling Up Active Perception [60.81276437097671]
アクティブな知覚タスクでは、エージェントは1つ以上の隠れ変数の不確実性を減少させる感覚行動を選択することを目的としている。
部分的に観測可能なマルコフ決定過程(POMDP)は、そのような問題に対する自然なモデルを提供する。
エージェントが利用できるセンサーの数が増えるにつれて、POMDP計画の計算コストは指数関数的に増加する。
論文 参考訳（メタデータ） (2020-09-21T09:11:36Z) - Foreseeing the Benefits of Incidental Supervision [83.08441990812636]
本稿では,実験を行なわずに,特定の目標タスクに対して,様々な種類の偶発信号の利点を定量化できるかどうかを考察する。
本稿では,PABI(PAC-Bayesian motivated informativeness measure)を提案する。
論文 参考訳（メタデータ） (2020-06-09T20:59:42Z) - Generalization Bounds in the Presence of Outliers: a Median-of-Means
Study [8.905677748354364]
Median-of-Means (MoM) は平方可積分 r.v.$Z$ の平均$theta$ の推定量である。
ヘビーテールのデータに対する高い信頼性のおかげで、MoMは機械学習に様々な応用を見出した。
新たな作業ラインは、MoMが破損したデータに対処する能力を特徴付け、活用しようとしている。
論文 参考訳（メタデータ） (2020-06-09T13:21:39Z) - Maximizing Information Gain in Partially Observable Environments via
Prediction Reward [64.24528565312463]
本稿では,深いRLエージェントに対する信念に基づく報酬の活用という課題に取り組む。
負のエントロピーと予測される予測報酬の正確な誤差を導出する。
この洞察は、予測報酬を用いたいくつかの分野の理論的動機を与える。
論文 参考訳（メタデータ） (2020-05-11T08:13:49Z) - The Counterfactual $\chi$-GAN [20.42556178617068]
因果推論は、しばしば、治療の割り当てが結果から独立していることを要求する反ファクト的枠組みに依存する。
本研究は,CGAN(Counterfactual $chi$-GAN)と呼ばれるGAN(Generative Adversarial Network)に基づくモデルを提案する。
論文 参考訳（メタデータ） (2020-01-09T17:23:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。