論文の概要: Distributional Soft Bellman Operator under the Cramér Geometry
- arxiv url: http://arxiv.org/abs/2607.17897v1
- Date: Mon, 20 Jul 2026 12:44:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-21 18:48:37.618243
- Title: Distributional Soft Bellman Operator under the Cramér Geometry
- Title（参考訳）: クラメール幾何下における分布型軟ベルマン演算子
- Abstract要約: 本稿では,DSPIの政策評価ステップに関連する,クラメール幾何学的ベルマンの不動点について検討する。
これは、DSPIスタイルのアルゴリズムにおいて、近似批評家、評価誤差、および批判損失設計を研究するための基準点を提供する。
- 参考スコア（独自算出の注目度）: 19.762345326138536
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Distributional soft policy iteration (DSPI) provides an important framework for combining distributional reinforcement learning (DRL) with maximum-entropy control, in which the policy evaluation step is governed by a distributional soft Bellman operator acting on entropy-regularised returns. Theoretical analysis of such an evaluation step requires a probability metric under which Bellman updates can be controlled, typically by showing that the operator contracts the distance between any two candidate return-distribution estimates. In this paper, we focus on the Cramér geometry, a cumulative distribution function (CDF)-based metric with an $L^2$ structure, and study whether the fixed-policy distributional soft Bellman operator has this contraction property and hence a unique fixed point under this metric. Working directly on an admissible CDF field domain, we formulate the CDF-level distributional soft Bellman operator, prove that it is a $\sqrtγ$-contraction, and obtain the corresponding unique fixed point together with convergent iterative policy evaluation. The CDF formulation also shows that this finite-Cramér-domain property follows from a uniform first-moment condition on the combined one-step reward entropy shift, rather than from separate uniform boundedness assumptions on the reward and entropy terms. We then transport the same evaluation problem to the spectral domain by conjugation, obtaining an equivalent Hilbert-space representation of the same decision process. Taken together, these results identify the Cramér-geometric Bellman fixed point associated with the policy-evaluation step of DSPI, providing a reference point for studying approximate critics, evaluation error, and critic-loss design in DSPI-style algorithms.
- Abstract（参考訳）: 分散ソフトポリシー反復(DSPI)は、分布強化学習(DRL)と最大エントロピー制御を組み合わせた重要なフレームワークを提供する。
そのような評価ステップの理論解析では、ベルマンの更新を制御できる確率メートル法が要求される。
本稿では,L^2$構造を持つ累積分布関数(CDF)に基づく計量であるクラメール幾何に着目し,固定分布分布型ベルマン作用素がこの縮退特性を持ち,従ってこの計量の下で一意な固定点を持つかどうかを考察する。
許容可能なCDF場領域上で直接作業し、CDFレベルの分布分布ベルマン作用素を定式化し、$\sqrtγ$- Contract であることが証明し、収束反復ポリシー評価とともに対応する一意的な固定点を得る。
CDF の定式化は、この有限クラメル領域の性質が、報酬項とエントロピー項の別の一段階の有界性仮定からではなく、結合した一段階の報酬エントロピーシフトにおける一様の第一モーメント条件から従うことも示している。
次に、同じ評価問題を共役によりスペクトル領域に移動し、同じ決定過程のヒルベルト空間表現を得る。
これらの結果は、DSPIのポリシー評価ステップに関連するクラメール幾何学的ベルマン固定点を同定し、DSPIスタイルのアルゴリズムにおける近似的批評家、評価誤差、評論家-ロス設計の基準点を提供する。
関連論文リスト
- Scalable Policy Optimization for Networked Multi-Agent Reinforcement Learning with Continuous State-Action Spaces [16.43184149906767]
本研究では,連続状態と行動空間を有するネットワーク決定過程における協調的強化学習のためのアルゴリズムを開発する。
各エージェントは、グラフ近傍に局所的なアクターを保持し、局所化された時間差評価批評家は、切り捨てられた作用値関数を評価する。
論文 参考訳（メタデータ） (2026-07-20T22:41:43Z) - Fitted Occupancy-Ratio Evaluation without Bellman Completeness [40.322273308230606]
職業比は、オフライン強化学習における分布シフトを正す。
本稿では, 占有率の低下を特徴付ける固定点配置法である, 占有率評価 (FORE) を提案する。
経験的再帰について、KL における収束を対数比近似誤差に導く有限サンプル後悔境界を確立する。
論文 参考訳（メタデータ） (2026-07-06T17:53:32Z) - Central Limit Theorem for Two-Time-Scale Approximate Distributionally Robust RL [8.809468023364703]
堅牢な強化学習アルゴリズムの設計は根本的な課題を生んでいる。
本稿では、関連するロバスト関数の1次展開に基づく近似DRRLフレームワークを提案する。
この近似方程式の定点を学習するために,平均変数近似(MVSA)を提案する。
論文 参考訳（メタデータ） (2026-05-08T19:24:28Z) - A Spectral Revisit of the Distributional Bellman Operator under the Cramér Metric [19.762345326138536]
分布強化学習(DRL)はベルマン更新の下での完全回帰分布の進化を研究する。
古典的な結果は、分布ベルマン作用素がクラメール計量の下で収縮的であることである。
我々は分布ベルマン力学をCDFのレベルで直接解析し、クラメル幾何学を本質的な解析的設定として扱う。
論文 参考訳（メタデータ） (2026-03-13T02:21:54Z) - Finite-Sample Analysis of Policy Evaluation for Robust Average Reward Reinforcement Learning [50.81240969750462]
我々は、ロバスト平均マルコフ決定過程(PMD)における政策評価の第1次有限サンプル解析を提案する。
頑健なベルマン作用素は、慎重に構築された半ノルムの下で収縮し、制御バイアスを持つフレームワークを開発することを示す。
本手法は,ロバストな政策評価とロバストな平均報酬推定のために,$tildemathcalO(epsilon-2)$のオーダー最適サンプル複雑性を実現する。
論文 参考訳（メタデータ） (2025-02-24T03:55:09Z) - To bootstrap or to rollout? An optimal and adaptive interpolation [4.755935781862859]
本稿では,ブートストラップ法とロールアウト法を補間するベルマン演算子のクラスを紹介する。
我々の推定器は、ブートストラップに基づく時間差(TD)推定器とロールアウトに基づくモンテカルロ(MC)手法の強度を組み合わせる。
論文 参考訳（メタデータ） (2024-11-14T19:00:00Z) - Optimal variance-reduced stochastic approximation in Banach spaces [114.8734960258221]
可分バナッハ空間上で定義された収縮作用素の定点を推定する問題について検討する。
演算子欠陥と推定誤差の両方に対して漸近的でない境界を確立する。
論文 参考訳（メタデータ） (2022-01-21T02:46:57Z) - Robust and Adaptive Temporal-Difference Learning Using An Ensemble of
Gaussian Processes [70.80716221080118]
本稿では、時間差学習(TD)による政策評価の世代的視点について考察する。
OS-GPTDアプローチは、状態-逆ペアのシーケンスを観測することにより、与えられたポリシーの値関数を推定するために開発された。
1つの固定カーネルに関連する限られた表現性を緩和するために、GP前の重み付けアンサンブル(E)を用いて代替のスキームを生成する。
論文 参考訳（メタデータ） (2021-12-01T23:15:09Z) - Optimal policy evaluation using kernel-based temporal difference methods [78.83926562536791]
カーネルヒルベルト空間を用いて、無限水平割引マルコフ報酬過程の値関数を推定する。
我々は、関連するカーネル演算子の固有値に明示的に依存した誤差の非漸近上界を導出する。
MRP のサブクラスに対する minimax の下位境界を証明する。
論文 参考訳（メタデータ） (2021-09-24T14:48:20Z) - Implicit Distributional Reinforcement Learning [61.166030238490634]
2つのディープジェネレータネットワーク(DGN)上に構築された暗黙の分布型アクター批判(IDAC)
半単純アクター (SIA) は、フレキシブルなポリシー分布を利用する。
我々は,代表的OpenAI Gym環境において,IDACが最先端のアルゴリズムより優れていることを観察する。
論文 参考訳（メタデータ） (2020-07-13T02:52:18Z) - A Distributional Analysis of Sampling-Based Reinforcement Learning
Algorithms [67.67377846416106]
定常ステップサイズに対する強化学習アルゴリズムの理論解析に対する分布的アプローチを提案する。
本稿では,TD($lambda$)や$Q$-Learningのような値ベースの手法が,関数の分布空間で制約のある更新ルールを持つことを示す。
論文 参考訳（メタデータ） (2020-03-27T05:13:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。