論文の概要: Performance Gaps Between Open-Loop, Certainty-Equivalent, and Optimal Control Under Action-Dependent Observations
- arxiv url: http://arxiv.org/abs/2610.33412v1
- Date: Sat, 24 Oct 2026 03:00:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-27 22:27:13.322841
- Title: Performance Gaps Between Open-Loop, Certainty-Equivalent, and Optimal Control Under Action-Dependent Observations
- Title（参考訳）: 行動依存観察における開ループ・不均等・最適制御間の性能ギャップ
- Abstract要約: 動的システムでは、フィードバックは、優先順位を設計されるのではなく、過去の観察に依存する決定を行うことによって、パフォーマンスを改善することができる。
この相互作用は、推定状態が真の状態であるかのように状態フィードバックポリシーを適用する広く使われている戦略であるCE制御を無効にすることができる。
本稿では, 最適方針, 一定の等価制御, 最適オープンループ (OL) ポリシーを比較して, 双線形観測を用いた線形二乗法を用いてこの問題を考察する。
- 参考スコア（独自算出の注目度）: 20.029974938994663
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In dynamical systems, feedback can improve performance by allowing decisions to depend on past observations, rather than being designed a priori. Under full observation, the current state is sufficient for decision-making; under partial observation, the controller must instead estimate the state from measurements. When actions also affect observations, control can have a dual role: actions influence both the state and the information available for future decisions. This interaction can invalidate certainty-equivalent (CE) control, a widely used strategy that applies state feedback policies as if the estimated state were the true state. We ask when this suboptimality leads to a quantitative performance gap that grows with the horizon. We study this question in a linear-quadratic system with bilinear observations by comparing the optimal policy, certainty-equivalent control, and the optimal open-loop (OL) policy. We identify an instance-dependent information-strength parameter $q$ and establish distinct performance regimes as $q$ varies. When $q$ is sufficiently small, we show that no policy can improve over OL control by more than $O(1)$ cumulative cost. For large values of $q$, we find that CE achieves an $Ω(T)$ advantage over OL control. Our main finding is that for intermediate values of $q$, we can construct a policy that occasionally probes for information and achieves an $Ω(T)$ advantage over OL control while CE only achieves an $O(1)$ advantage, establishing an $Ω(T)$ gap between CE and optimal control. Our analysis relies on a regret decomposition that captures the tradeoff between the immediate cost of gathering information and its future benefit.
- Abstract（参考訳）: 動的システムでは、フィードバックは、優先順位を設計されるのではなく、過去の観察に依存する決定を行うことによって、パフォーマンスを改善することができる。
完全な観察の下では、現在の状態は意思決定に十分であり、部分的な観察では、コントローラは代わりに測定から状態を見積もる必要がある。
アクションが観察にも影響を与える場合、コントロールは二重の役割を持つ:アクションは状態と将来の決定に利用可能な情報の両方に影響を与える。
この相互作用は、推定状態が真の状態であるかのように状態フィードバックポリシーを適用する広く使われている戦略であるCE制御を無効にすることができる。
この亜最適性が、地平線に沿って成長する定量的なパフォーマンスギャップにつながるかどうかを問う。
本稿では, 最適方針, 一定の等価制御, 最適オープンループ (OL) ポリシーを比較して, 双線形観測を用いた線形二乗法を用いてこの問題を考察する。
インスタンス依存の情報強度パラメータ$q$を特定し、$q$の変化として異なるパフォーマンスレシシを確立する。
q$が十分小さい場合、OL制御よりも$O(1)$累積コストで改善できるポリシーは存在しない。
大きな$q$の場合、CE は OL 制御よりも $Ω(T)$ の優位性が得られる。
主要な発見は、$q$の中間値に対して、情報を求めて時折探索し、OL制御に対して$Ω(T)$の優位性を達成するポリシーを構築することができ、CEは$O(1)$の優位性しか達成せず、CEと最適制御の間に$Ω(T)$のギャップを確立することができるということである。
我々の分析は、情報収集の即時コストと今後の利益との間のトレードオフを捉えた後悔の分解に依存します。
関連論文リスト
- Learning Not to Optimize: Physics-Informed Action-Space Reshaping for Intent-Based Network Control [50.46501177871741]
LNOQRD は小物候補を75.9% で削減し、90.8% でニアオラクルのカバレッジを維持している。
実験の結果、LNOQRDは実用性と意図の満足度が最も高く、かつ、法律違反が最低で、世代後レイテンシが低いことがわかった。
論文 参考訳（メタデータ） (2026-08-02T00:27:01Z) - Optimising Entanglement Distillation Policies [0.0]
エンタングルメント蒸留は量子情報処理の基本的な操作である。
我々はこのタスクをマルコフ決定問題として定式化し解析する。
対象の忠実度に到達するのに必要な待ち時間を最小化する最適決定性ポリシーを得る。
論文 参考訳（メタデータ） (2026-06-12T19:27:58Z) - Scaling Laws for Agent Harnesses via Effective Feedback Compute [53.68149869349268]
emphEffective Feedback Compute (EFC)は、情報的、有効、非冗長な場合にのみフィードバックを信用し、その後の決定のために保持するトレースレベルのスケーリング座標である。
EFCベースの座標は、生の計算ベースラインよりも失敗率を常に予測する。
論文 参考訳（メタデータ） (2026-05-28T09:45:47Z) - Fast Convergence of Policy Regret in Learning Stochastic Optimal Control [7.896895563709477]
最適制御における政策学習, 最適作用値関数$Q*$の推定によって引き起こされる欲求政策について検討する。
連続作用空間において、高速ポリシー学習は、成長指数$p$、マージン質量指数$m$、行動ワイド正規性指数$q$の3つの幾何学構造によって誘導されることを示す。
論文 参考訳（メタデータ） (2026-05-25T22:07:24Z) - On the Sample Complexity of Discounted Reinforcement Learning with Optimized Certainty Equivalents [2.4145441422386464]
有限割引MDPにおけるリスク感応性強化学習について検討した。
我々は、最適化確実性等価(OCE)と呼ばれる家族またはリスク対策を考える。
論文 参考訳（メタデータ） (2026-05-20T21:53:51Z) - Dual Control of Linear Systems from Bilinear Observations with Belief Space Model Predictive Control [7.892445336753526]
線形系の有限水平2次制御と双線型観測について検討する。
我々は、$textttB-MPC$が分離原理制御とMPC変異の両方を好適なレシエーションで上回ることを示す。
論文 参考訳（メタデータ） (2026-04-27T16:25:55Z) - $V_0$: A Generalist Value Model for Any Policy at State Zero [80.7505802128501]
ポリシーメソッドは、アクションの相対的な利点を測定するためにベースラインに依存します。
このベースラインは一般的に、政策モデルそのものと同じくらい大きな価値モデル(Critic)によって推定される。
未知のプロンプト上での任意のモデルの期待性能を推定できるジェネリスト値モデルを提案する。
論文 参考訳（メタデータ） (2026-02-03T14:35:23Z) - MDPs with a State Sensing Cost [3.673994921516517]
予測割引コストマルコフ決定プロセス(MDP)を定式化する。
最適値関数の下位境界を導出し、任意のポリシーの最適値以下のギャップを埋めることを可能にする。
また,政策改善に基づく計算効率のよいアルゴリズムSPIを提案する。
論文 参考訳（メタデータ） (2025-05-06T08:06:45Z) - Efficient Reinforcement Learning with Impaired Observability: Learning
to Act with Delayed and Missing State Observations [92.25604137490168]
本稿では,制御系における効率的な強化学習に関する理論的研究を紹介する。
遅延および欠落した観測条件において,RL に対して $tildemathcalO(sqrtrm poly(H) SAK)$ という形でアルゴリズムを提示し,その上限と下限をほぼ最適に設定する。
論文 参考訳（メタデータ） (2023-06-02T02:46:39Z) - Provably Good Batch Reinforcement Learning Without Great Exploration [51.51462608429621]
バッチ強化学習(RL)は、RLアルゴリズムを多くの高利得タスクに適用するために重要である。
最近のアルゴリズムは将来性を示しているが、期待された結果に対して過度に楽観的である。
より保守的な更新を行うため、ベルマンの最適性と評価のバックアップに小さな修正を加えることで、はるかに強力な保証が得られることを示す。
論文 参考訳（メタデータ） (2020-07-16T09:25:54Z) - Provably Efficient Safe Exploration via Primal-Dual Policy Optimization [105.7510838453122]
制約付きマルコフ決定過程(CMDP)を用いた安全強化学習(SRL)問題について検討する。
本稿では,関数近似設定において,安全な探索を行うCMDPの効率の良いオンラインポリシー最適化アルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-03-01T17:47:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。