論文の概要: What Information Buys in Active Inference

• arxiv url: http://arxiv.org/abs/2610.19046v1
• Date: Tue, 13 Oct 2026 18:40:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.760791
• Title: What Information Buys in Active Inference
• Title（参考訳）: アクティブ推論で得られる情報
• Abstract要約: 本研究では, アクティブ推論 (AIF) とベイズ-UCBVI の手法を等価な足場上で検討した。 AIFの情報取得は、信頼幅として機能するには速すぎる。 Bayes-UCBVI の値固有幅はロックアウトされるが、AIF は $sqrt S$ を支払う。
• 参考スコア（独自算出の注目度）: 12.464990405442322
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Information-theoretic exploration is of primary interest in methodological studies of reinforcement learning (RL) and computational cognitive neuroscience, while the established RL theory builds regret guarantees on confidence sets. This situation leaves open the conditions under which the information-driven exploration found in nature is more advantageous than the exploration of the established RL theory. We put the state-of-the-art methods of these two paradigms, Active Inference (AIF) and Bayes-UCBVI, on an equal footing: both act through the same state abstraction of a tabular MDP with $S$ states, and their greedy forms differ only in the exploration term. We find that AIF's information gain decays too fast to serve as a confidence width, locking greedy agents that explore by it out of the optimal action. Calibrating the information gain by a square root yields calibrated AIF, which attains regret of order $\sqrt T$ for an exact abstraction, but no better guarantee than Bayes-UCBVI for a fixed reward. When an adversary chooses rewards from the agent's data, Bayes-UCBVI's value-specific widths lock out, whereas calibrated AIF pays a factor $\sqrt S$, which no goal-memoryless agent avoids on some MDP whose start states the adversary also chooses. Calibrated information gain thus acts as a reward-agnostic $\ell_1$ confidence set, preferable to value-specific widths when rewards are chosen from the agent's data, not when they are fixed.
• Abstract（参考訳）: 情報理論探索は、強化学習(RL)と計算認知神経科学の方法論研究に主に関心を持ち、確立されたRL理論は信頼セットに後悔の保証を構築する。 この状況は、自然界で見いだされた情報駆動探査が確立されたRL理論の探索よりも有利な条件を残している。 我々はこれらの2つのパラダイムの最先端の手法であるアクティブ推論(AIF)とベイズUCBVIを同等の足場に配置した。 AIFの情報は、信頼幅として機能するにはあまりにも早く崩壊し、最適な行動から探索する欲求エージェントをロックする。 正方根による情報ゲインの校正は、正確な抽象化のために$$\sqrt T$を後悔するが、固定された報酬に対してBayes-UCBVIよりは保証されない、校正されたAIFが得られる。 相手がエージェントのデータから報酬を選択すると、ベイズ・UCBVIの値固有の幅はロックアウトされるが、校正されたAIFは$\sqrt S$を支払う。 これにより、キャリブレーションされた情報ゲインは、報酬に依存しない$\ell_1$信頼セットとして機能する。

関連論文リスト

• Expected Free Energy as Belief-Dependent Utility for rho-POMDPs [6.628401122676601]
  期待される自由エネルギーの最小化は、期待される情報を得るユーティリティーである$-POMDPの解決と全く同じである。 アクティブ推論は、このチューニングを完全に取り除くことを示す。 障害検出や医療スクリーニングといったアプリケーションでは、すべてのテストに価格があり、失敗したすべての障害にコストがかかる場合、EFEはチューニングではなく、信頼に依存したユーティリティを提供する。
  論文  参考訳（メタデータ） (2026-07-18T22:08:24Z)
• Utilizing and Calibrating Hindsight Process Rewards via Reinforcement with Mutual Information Self-Evaluation [50.696688705287755]
  我々は、強化学習におけるスパース報酬課題を克服するために、相互情報自己評価を提案する。 MISEにより、エージェントは、疎外的信号を補う高密度な内部報酬から自律的に学習することができる。 我々は、後見自己評価報酬を利用することは、政策と代行報酬政策の間のKL分散項と相互情報を組み合わせた目的を最小化することと等価であることを示す。
  論文  参考訳（メタデータ） (2026-04-13T15:18:51Z)
• Mitigating Hallucination in Financial Retrieval-Augmented Generation via Fine-Grained Knowledge Verification [12.60919194719529]
  きめ細かい知識の検証により強化された強化学習フレームワークを提案する。 本手法は,財務対応を原子知識単位に分解し,各単位の正しさを評価し,忠実な報酬を計算する。 新たに提案したFDD-ANTデータセットとファイナンシャルデータ記述タスクを用いた実験により,一貫した改善が示された。
  論文  参考訳（メタデータ） (2026-02-05T14:49:05Z)
• Information-Theoretic Reward Modeling for Stable RLHF: Detecting and Mitigating Reward Hacking [78.69179041551014]
  本稿では,インフォメーション・ボトルネックの原理に基づく情報理論報酬モデリングフレームワークを提案する。 InfoRMは、報酬の一般化を緩和するために、嗜好に無関係な情報をフィルタリングする。 IBLは分散レベルの正規化であり、そのような偏差を罰し、最適化の展望を効果的に拡張する。
  論文  参考訳（メタデータ） (2025-10-15T15:51:59Z)
• Conservative Prediction via Data-Driven Confidence Minimization [70.93946578046003]
  機械学習の安全性クリティカルな応用においては、モデルが保守的であることが望ましいことが多い。 本研究では,不確実性データセットに対する信頼性を最小化するデータ駆動信頼性最小化フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-06-08T07:05:36Z)
• Risk-limiting Financial Audits via Weighted Sampling without Replacement [47.189919138260066]
  $N$の取引が与えられた場合、目標は、不正な通貨の合計分を所定の精度で見積もることである。 重み付き平均値が未知の値に対して新しい信頼シーケンスを構築することでこれを行う。 側情報が十分に予測可能な場合には,直接サンプリングを行うことができることを示す。
  論文  参考訳（メタデータ） (2023-05-08T17:34:06Z)
• STEERING: Stein Information Directed Exploration for Model-Based Reinforcement Learning [111.75423966239092]
  遷移モデルの現在の推定値と未知の最適値との間の積分確率距離(IPM)の観点から探索インセンティブを提案する。 KSDに基づく新しいアルゴリズムを開発した。 textbfSTEin information dirtextbfEcted Explor for model-based textbfReinforcement Learntextbfing。
  論文  参考訳（メタデータ） (2023-01-28T00:49:28Z)
• Combining Differential Privacy and Byzantine Resilience in Distributed SGD [9.14589517827682]
  本稿では,分散SGDアルゴリズムが標準パラメータサーバアーキテクチャにおいて,どの程度正確なモデルを学習できるかについて検討する。 特に$(alpha,f)$-Byzantineのレジリエンスに依存しているものは、正直な労働者がDPを強制すると無効となる。
  論文  参考訳（メタデータ） (2021-10-08T09:23:03Z)
• A Bayesian Framework for Information-Theoretic Probing [51.98576673620385]
  我々は、探索は相互情報を近似するものとみなすべきであると論じる。 これは、表現が元の文とターゲットタスクに関する全く同じ情報をエンコードしているというかなり直感的な結論を導いた。 本稿では,ベイズ的相互情報(Bayesian mutual information)と呼ぶものを測定するための新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2021-09-08T18:08:36Z)
• Maximizing Information Gain in Partially Observable Environments via Prediction Reward [64.24528565312463]
  本稿では,深いRLエージェントに対する信念に基づく報酬の活用という課題に取り組む。 負のエントロピーと予測される予測報酬の正確な誤差を導出する。 この洞察は、予測報酬を用いたいくつかの分野の理論的動機を与える。
  論文  参考訳（メタデータ） (2020-05-11T08:13:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。