論文の概要: Rationalizing Boltzmann Rationality: An Axiomatic Characterization of Entropy-Regularized Policies
- arxiv url: http://arxiv.org/abs/2607.17316v1
- Date: Sun, 19 Jul 2026 16:01:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-21 18:48:37.425708
- Title: Rationalizing Boltzmann Rationality: An Axiomatic Characterization of Entropy-Regularized Policies
- Title（参考訳）: ボルツマンの合理化 : エントロピー規則化政策の公理的評価
- Abstract要約: ソフトマックスポリシー $(a mid s) propto exp(Q(s,a)$ は強化学習におけるデフォルトモデルである。
非関連な代替(IIA)の独立性や選択ノードにおけるポリシーと値関数の単調性はボルツマンのポリシーを一意に決定することを示す。
- 参考スコア（独自算出の注目度）: 8.01598801453185
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The softmax policy $π(a \mid s) \propto \exp(βQ(s,a))$ is the default model of stochastic choice in reinforcement learning (RL). Various justifications based on robustness, exploration, and optimization have been offered in the RL literature, but none uniquely derives the softmax form from first principles. This leaves a basic tension unresolved: the entropy bonus in the soft Bellman equation violates the Independence axiom that underwrites the Markov decision process (MDP) reward structure. We dissolve this tension by distinguishing two kinds of randomness: chance and choice. By restricting von Neumann-Morgenstern (VNM) Independence to environmental lotteries over base prospects, we show that imposing independence of irrelevant alternatives (IIA) and monotonicity on the policy and value functions at choice nodes uniquely determines the Boltzmann policy, the entropy-regularized representation, and the soft Bellman equation. The choice between the soft and hard Bellman equations thus reduces to a design decision: whether the agent values its own ability to choose. We develop RL-specific consequences, including return monotonicity and convergence under generalized discounting, and synthesize the independent lines from economics and information theory that arrive at the same structure, offering a normative assessment of when IIA is appropriate for agent design.
- Abstract（参考訳）: ソフトマックスポリシー $π(a \mid s) \propto \exp(βQ(s,a))$ は強化学習における確率的選択のデフォルトモデルである。
堅牢性、探索、最適化に基づく様々な正当化がRLの文献で提案されているが、第一原理からソフトマックス形式を導出するものはない。
ソフトベルマン方程式のエントロピーボーナスは、マルコフ決定過程(MDP)の報酬構造を下記した独立公理に違反している。
我々はこの緊張を、チャンスと選択という2つの種類のランダム性を区別することで解消する。
フォン・ノイマン=モーゲンステルン(VNM)独立性(英語版)を基本予想よりも環境宝くじに制限することにより、選択ノードにおけるポリシーと値関数に対する無関係な選択肢(IIA)と単調性(英語版)がボルツマンポリシー、エントロピー正規化表現、ソフトベルマン方程式を一意に決定することを示す。
したがって、ソフトとハードのベルマン方程式の選択は、エージェントが自身の選択能力を評価するかどうかという設計上の決定に還元される。
一般ディスカウント下でのリターン単調性や収束性を含むRL特異的な結果を開発し、同一構造に到達する経済や情報理論から独立系を合成し、エージェント設計にIIAが適した時期の規範的評価を提供する。
関連論文リスト
- Robust Average-Reward Markov Decision Processes: Minimax-Optimal Learning via Plug-in Reductions [51.50375419691955]
分布的に堅牢なマルコフ決定プロセスは、モデルの不確実性の下でのシーケンシャルな意思決定のための原則化されたフレームワークを提供する。
我々は,平均回帰基準の下で,$varepsilon$-Optimal robust policyを学習するのに必要なサンプル数と十分なサンプル数について検討した。
論文 参考訳（メタデータ） (2026-08-06T19:49:48Z) - Maximum Entropy Inverse Reinforcement Learning for Mean-Field Games with Average Reward [0.0]
本研究では,平均逆条件下での平均フィールドゲーム(MFG)の逆強化学習について検討する。
我々は,専門的平均場項と長期的特徴期待との整合性を持たせることで,逆問題を定式化する。
マルウェア拡散型MFGとRKHSベースの消費者選択モデルという2つの数値例は、回復されたポリシーが専門家の行動と密接に一致していることを示している。
論文 参考訳（メタデータ） (2026-06-15T14:13:16Z) - Central Limit Theorem for Two-Time-Scale Approximate Distributionally Robust RL [8.809468023364703]
堅牢な強化学習アルゴリズムの設計は根本的な課題を生んでいる。
本稿では、関連するロバスト関数の1次展開に基づく近似DRRLフレームワークを提案する。
この近似方程式の定点を学習するために,平均変数近似(MVSA)を提案する。
論文 参考訳（メタデータ） (2026-05-08T19:24:28Z) - Contextual Distributionally Robust Optimization with Causal and Continuous Structure: An Interpretable and Tractable Approach [2.8445258546547625]
文脈分布ロバスト最適化(DRO)のためのフレームワークを提案する。
まず, エントロピー規則化因果距離であるSinkhorn discrepancy (CSD) を導入する。
コーサルシンクホーンDRO(Causal-SDRO)と呼ばれる,CSDに基づく曖昧性集合を持つ文脈的DROモデルを導出する。
本稿では,任意の可測関数空間内の最適ポリシを近似するソフトフォレスト回帰(SRF)決定則を提案する。
論文 参考訳（メタデータ） (2026-01-16T06:18:22Z) - The Two-Stage Decision-Sampling Hypothesis: Understanding the Emergence of Self-Reflection in RL-Trained LLMs [8.563321259359244]
我々は、報酬勾配が政策コンポーネント間でどのように分散するかを特徴付けるために、グラディエント属性(Gradient Attribution Property)を導入する。
また,SFTとKLの罰則はバランスの取れたグラディエント属性を示すのに対し,サロゲート報酬はバランスの取れたグラディエント属性を示すことが証明された。
また、算術的推論に関する理論的予測を実証的に検証する。
論文 参考訳（メタデータ） (2026-01-04T15:59:15Z) - A Theory of $θ$-Expectations [2.1756081703276]
我々は、ドライバーがポイントワイズ幾何学である微分方程式のクラスのためのフレームワークを開発する。
システムのトラクタビリティは、世界的なユニークかつグローバルな存在を前提としている。
ドライバー関数に対するリプシッツ最大値写像。
論文 参考訳（メタデータ） (2025-07-27T16:56:01Z) - Model-Based Epistemic Variance of Values for Risk-Aware Policy Optimization [59.758009422067]
モデルベース強化学習における累積報酬に対する不確実性を定量化する問題を考察する。
我々は、解が値の真後分散に収束する新しい不確実性ベルマン方程式(UBE)を提案する。
本稿では,リスク・サーキングとリスク・アバース・ポリシー最適化のいずれにも適用可能な汎用ポリシー最適化アルゴリズムQ-Uncertainty Soft Actor-Critic (QU-SAC)を導入する。
論文 参考訳（メタデータ） (2023-12-07T15:55:58Z) - Value-Distributional Model-Based Reinforcement Learning [59.758009422067]
政策の長期的業績に関する不確実性の定量化は、シーケンシャルな意思決定タスクを解決するために重要である。
モデルに基づくベイズ強化学習の観点から問題を考察する。
本稿では,値分布関数を学習するモデルに基づくアルゴリズムであるEpicemic Quantile-Regression(EQR)を提案する。
論文 参考訳（メタデータ） (2023-08-12T14:59:19Z) - Efficient Policy Iteration for Robust Markov Decision Processes via
Regularization [49.05403412954533]
ロバストな意思決定プロセス(MDP)は、システムのダイナミクスが変化している、あるいは部分的にしか知られていない決定問題をモデル化するためのフレームワークを提供する。
最近の研究は、長方形長方形の$L_p$頑健なMDPと正規化されたMDPの等価性を確立し、標準MDPと同じレベルの効率を享受する規則化されたポリシー反復スキームを導出した。
本研究では、政策改善のステップに焦点をあて、欲求政策と最適なロバストなベルマン作用素のための具体的な形式を導出する。
論文 参考訳（メタデータ） (2022-05-28T04:05:20Z) - Reinforcement Learning in Linear MDPs: Constant Regret and
Representation Selection [136.4014229319618]
線形構造を持つ有限水平マルコフ決定過程(MDPs)における後悔最小化における状態-作用値関数の表現の役割について検討する。
まず,線形報酬関数を持つ任意のMDPにおいて,一貫した後悔を実現するために,Universally spaning optimal features (UNISOFT) と呼ばれる表現に必要条件を導出する。
論文 参考訳（メタデータ） (2021-10-27T22:07:08Z) - Navigating to the Best Policy in Markov Decision Processes [68.8204255655161]
マルコフ決定過程における純粋探索問題について検討する。
エージェントはアクションを逐次選択し、結果のシステム軌道から可能な限り早くベストを目標とする。
論文 参考訳（メタデータ） (2021-06-05T09:16:28Z) - Bandit Linear Optimization for Sequential Decision Making and
Extensive-Form Games [102.23975166536326]
tree-form sequential decision making (tfsdm) は、エージェントと潜在的に敵対的な環境の間のツリー形式の相互作用をモデル化することで、古典的なワンショット意思決定を拡張する。
これは、各プレイヤーが幅広い形式のゲームで直面するオンライン意思決定問題、およびマルコフ決定プロセス、およびエージェントが観測された履歴を条件とする部分観察可能なマルコフ決定プロセスをキャプチャする。
本稿では, (i) 線形時間損失と (ii) $o(sqrtt)$ cumulative regret の両方を提供する拡張dmのバンディット線形最適化問題に対する最初のアルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-03-08T05:00:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。