論文の概要: Sub-optimality bounds for certainty equivalent policies in partially observed systems

• arxiv url: http://arxiv.org/abs/2602.02814v1
• Date: Mon, 02 Feb 2026 21:12:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-23 08:17:41.107731
• Title: Sub-optimality bounds for certainty equivalent policies in partially observed systems
• Title（参考訳）: 部分観測系における確実性等価ポリシーに対する準最適境界
• Authors: Berk Bozkurt, Aditya Mahajan, Ashutosh Nayyar, Yi Ouyang,
• Abstract要約: 一般(非線形)部分観測系に対する確実な等価ポリシーを考える。 コストと力学が適切な意味で滑らかなモデルに対しては、一定の等価ポリシーの準最適性に関する上限を導出する。
• 参考スコア（独自算出の注目度）: 4.878146276461177
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we present a generalization of the certainty equivalence principle of stochastic control. One interpretation of the classical certainty equivalence principle for linear systems with output feedback and quadratic costs is as follows: the optimal action at each time is obtained by evaluating the optimal state-feedback policy of the stochastic linear system at the minimum mean square error (MMSE) estimate of the state. Motivated by this interpretation, we consider certainty equivalent policies for general (non-linear) partially observed stochastic systems that allow for any state estimate rather than restricting to MMSE estimates. In such settings, the certainty equivalent policy is not optimal. For models where the cost and the dynamics are smooth in an appropriate sense, we derive upper bounds on the sub-optimality of certainty equivalent policies. We present several examples to illustrate the results.
• Abstract（参考訳）: 本稿では,確率制御の確率同値原理の一般化について述べる。 出力フィードバックと二次コストを伴う線形系の古典的確実性等価原理の1つの解釈は、状態の最小平均二乗誤差(MMSE)推定において確率線形系の最適状態フィードバックポリシーを評価することによって、各時点の最適動作を求めることである。 この解釈により、MMSE推定に制限されるのではなく、任意の状態推定を可能にする一般(非線形)部分観測確率系に対する確実な等価ポリシーを考える。 このような設定では、確実な等価ポリシーは最適ではない。 コストと力学が適切な意味で滑らかなモデルに対しては、一定の等価ポリシーの準最適性に関する上限を導出する。 結果を説明するためにいくつかの例を挙げる。

関連論文リスト

• Convergence of Policy Mirror Descent Beyond Compatible Function Approximation [66.4260157478436]
  我々は,より弱い変動支配を前提とした理論的PMD一般政策クラスを開発し,最良クラス政策への収束を得る。 我々の主観念は、占有度-勾配測度によって誘導される局所ノルムによって誘導される新しい概念を活用する。
  論文  参考訳（メタデータ） (2025-02-16T08:05:46Z)
• Achieving $\widetilde{\mathcal{O}}(\sqrt{T})$ Regret in Average-Reward POMDPs with Known Observation Models [69.1820058966619]
  平均逆無限水平POMDPを未知の遷移モデルで扱う。 この障壁を克服する斬新でシンプルな推定器を提示する。
  論文  参考訳（メタデータ） (2025-01-30T22:29:41Z)
• Strongly-polynomial time and validation analysis of policy gradient methods [3.722665817361884]
  本稿では,有限状態および行動マルコフ決定過程(MDP)と強化学習(RL)のための,優位ギャップ関数と呼ばれる新しい終了基準を提案する。 この利点ギャップ関数をステップサイズルールの設計に組み込むことで、最適ポリシーの定常状態分布に依存しない新しい線形収束率を導出する。 政策勾配法に対してそのような強い収束特性が確立されたのはこれが初めてである。
  論文  参考訳（メタデータ） (2024-09-28T18:56:48Z)
• Importance-Weighted Offline Learning Done Right [16.4989952150404]
  文脈的帯域幅問題におけるオフラインポリシー最適化の問題について検討する。 目標は、準最適行動ポリシーによって収集された決定データのデータセットに基づいて、ほぼ最適ポリシーを学ぶことである。 我々は、citet2015の「単純探索」推定に基づく単純な代替手法が、過去の全ての結果よりもほぼ全ての可能な条件で優れた性能保証を与えることを示した。
  論文  参考訳（メタデータ） (2023-09-27T16:42:10Z)
• $K$-Nearest-Neighbor Resampling for Off-Policy Evaluation in Stochastic Control [0.6906005491572401]
  歴史的データからポリシーの性能を推定するための,新規な$K$-nearest 隣人パラメトリック手法を提案する。 私たちの分析は、ほとんどのアプリケーションで一般的なプラクティスであるように、エピソード全体のサンプリングを可能にします。 他のOPE手法と比較して、我々のアルゴリズムは最適化を必要とせず、木に基づく近接探索と並列化によって効率的に実装することができ、環境のダイナミクスのパラメトリックモデルを明示的に仮定することはない。
  論文  参考訳（メタデータ） (2023-06-07T23:55:12Z)
• Conformal Off-Policy Prediction in Contextual Bandits [54.67508891852636]
  コンフォーマルなオフ政治予測は、新しい目標ポリシーの下で、結果に対する信頼できる予測間隔を出力することができる。 理論上の有限サンプル保証は、標準的な文脈的バンディットの設定を超える追加の仮定をすることなく提供する。
  論文  参考訳（メタデータ） (2022-06-09T10:39:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。