論文の概要: Learning Suffers More Than the Policy Class Under Partial Observability: A Closed-Form Analysis
- arxiv url: http://arxiv.org/abs/2608.07228v1
- Date: Fri, 07 Aug 2026 13:42:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-10 16:21:25.522841
- Title: Learning Suffers More Than the Policy Class Under Partial Observability: A Closed-Form Analysis
- Title（参考訳）: 部分的可観測性の下での政策クラス以上の学習:クローズドフォーム分析
- Abstract要約: 解決可能なケースでは、もっと大きな問題が他にあることが示されます。
得られたポリシー、そのコスト、および問題を除去する1つの設計選択に対して、クローズドフォーム表現を導出する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: When a reinforcement learning agent cannot observe the full state, we usually blame its policies: it cannot see enough to represent a good one. We show that in a solvable case the bigger problem lies elsewhere. Even when a good policy is available and the agent's value function is expressive enough to describe it exactly, learning still ends up somewhere far worse. We study a partially observed linear-quadratic problem in which a standard actor-critic learner can be solved in closed form. At our default setting the best policy the agent can represent is already close to optimal, costing 10.4% more than the ideal controller that observes everything. Learning does not find it. The algorithm instead comes to rest at a policy that is 35% worse than the best one available to it, and we can say exactly where and why. The cause is a bias in what the critic learns rather than a limit on what the actor can express. Because the agent cannot attribute what it sees to the part of the state it cannot observe, the critic misreads that unexplained variation as sharp curvature in its own value estimates, and the actor follows that error away from the optimum. We derive closed-form expressions for the resulting policy, for its cost, and for the one design choice that removes the problem, which is how far the learner looks ahead before trusting its own value estimates. Deep reinforcement learning experiments follow these predictions closely. Notably, giving the agent memory of past observations does not help, while changing how far it looks ahead does.
- Abstract（参考訳）: 強化学習エージェントが完全な状態を観察できない場合、私たちは通常、そのポリシーを非難します。
解決可能なケースでは、もっと大きな問題が他にあることが示されます。
優れたポリシーが利用可能で、エージェントの値関数がそれを正確に記述するのに十分な表現性があるとしても、学習はもっとひどい結果に終わる。
本研究では,標準的なアクター・クリティック・ラーニングヤをクローズドな形で解けるような,部分的に観察された線形四分法問題について検討する。
デフォルト設定では、エージェントが表現できる最良のポリシーはすでに最適に近く、すべてを観察する理想的なコントローラよりも10.4%高いコストがかかる。
学習は見つからない。
その代わりにアルゴリズムは、最高のものよりも35%悪いポリシーで休息する。
原因は、俳優が表現できることの限界ではなく、批評家が学ぶことのバイアスである。
エージェントは観察できない状態の一部に見えているものを属性付けできないため、批評家は、説明されていない変動が自身の値の推定値におけるシャープな曲率であると誤解し、アクターはそのエラーを最適値から遠ざかる。
得られた政策のクローズドフォーム表現,コスト,および問題を除去する1つの設計選択を導出する。
深層強化学習実験はこれらの予測に密接に従う。
特に、過去の観測をエージェントに記憶させることは役に立たない。
関連論文リスト
- Learning to Answer from Correct Demonstrations [26.367368795756903]
質問(あるいはプロンプト)に対する回答(あるいは完了)を生成するための学習の課題について,複数の正しい回答が存在する可能性について検討する。
我々は,この問題を文脈的包帯におけるオフライン模倣学習として定式化し,いくつかの最適推定から実演する。
私たちの仕事は、正しいデモから学ぶとき、可能性以上のものを探します。
論文 参考訳（メタデータ） (2025-10-17T09:20:17Z) - Efficient and Sharp Off-Policy Learning under Unobserved Confounding [25.068617118126824]
本研究では,未観測のコンファウンディングを伴うシナリオにおいて,個人化された非政治学習のための新しい手法を開発する。
本手法は,未観測のコンバウンディングが問題となるような意思決定に極めて有用である。
論文 参考訳（メタデータ） (2025-02-18T16:42:24Z) - Bandit Social Learning: Exploration under Myopic Behavior [54.767961587919075]
オンラインプラットフォーム上でのレビューによって動機付けられた社会学習のダイナミクスについて検討する。
エージェントはまとめて単純なマルチアームのバンディットプロトコルに従うが、各エージェントは探索を伴わずにミオプティカルに振る舞う。
このような振る舞いに対して,スターク学習の失敗を導出し,好意的な結果を提供する。
論文 参考訳（メタデータ） (2023-02-15T01:57:57Z) - Revisiting Estimation Bias in Policy Gradients for Deep Reinforcement
Learning [0.0]
我々は、Deep Reinforcement Learningの観点から、割引されたエピソードマルコフ決定プロセス(MDP)の政策勾配の推定バイアスを再考する。
主要な政策バイアスの1つは、州の分散シフトである。
このような状態分布シフトにもかかわらず、政策勾配推定バイアスは以下の3つの方法で低減できることを示す。
論文 参考訳（メタデータ） (2023-01-20T06:46:43Z) - Deconfounding Imitation Learning with Variational Inference [19.99248795957195]
標準的な模倣学習は、スペシャリストが模倣剤とは異なる感覚入力を持つ場合、失敗する可能性がある。
これは、部分的な可観測性によって、因果グラフに隠された共同創設者が生まれるためである。
本稿では,専門家の潜伏情報を推測するために変分推論モデルを訓練し,それを用いて潜伏条件ポリシーを訓練することを提案する。
論文 参考訳（メタデータ） (2022-11-04T18:00:02Z) - Sayer: Using Implicit Feedback to Optimize System Policies [63.992191765269396]
我々は、暗黙のフィードバックを活用して、新しいシステムポリシーを評価し、訓練する方法論を開発する。
Sayerは、強化学習の2つのアイデアに基づいて、既存のポリシーで収集されたデータを活用する。
Sayer氏は任意のポリシーを正確に評価し、生産ポリシーを上回るような新しいポリシーをトレーニングできることを示します。
論文 参考訳（メタデータ） (2021-10-28T04:16:56Z) - Provably Good Batch Reinforcement Learning Without Great Exploration [51.51462608429621]
バッチ強化学習(RL)は、RLアルゴリズムを多くの高利得タスクに適用するために重要である。
最近のアルゴリズムは将来性を示しているが、期待された結果に対して過度に楽観的である。
より保守的な更新を行うため、ベルマンの最適性と評価のバックアップに小さな修正を加えることで、はるかに強力な保証が得られることを示す。
論文 参考訳（メタデータ） (2020-07-16T09:25:54Z) - The Value-Improvement Path: Towards Better Representations for
Reinforcement Learning [46.70945548475075]
我々は、RLエージェントが直面する値予測問題は、独立して対処すべきではなく、単一の、全体論的、予測問題として扱うべきだと論じる。
RLアルゴリズムは、少なくとも概ね最適なポリシーに向けて改善される一連のポリシーを生成する。
我々は、過去の価値改善パスにまたがる表現が、将来の政策改善に正確な価値評価をもたらすことを実証する。
論文 参考訳（メタデータ） (2020-06-03T12:51:30Z) - DisCor: Corrective Feedback in Reinforcement Learning via Distribution
Correction [96.90215318875859]
ブートストラップに基づくQ-ラーニングアルゴリズムは必ずしも修正フィードバックの恩恵を受けないことを示す。
本稿では,この最適分布に対する近似を計算し,トレーニングに使用する遷移の重み付けに使用する新しいアルゴリズムであるDisCorを提案する。
論文 参考訳（メタデータ） (2020-03-16T16:18:52Z) - Minimax-Optimal Off-Policy Evaluation with Linear Function Approximation [49.502277468627035]
本稿では,関数近似を用いたバッチデータ強化学習の統計的理論について検討する。
記録履歴から新たな対象政策の累積値を推定するオフ・ポリティクス評価問題を考察する。
論文 参考訳（メタデータ） (2020-02-21T19:20:57Z) - Value-driven Hindsight Modelling [68.658900923595]
値推定は強化学習(RL)パラダイムの重要な構成要素である。
モデル学習は、観測系列に存在する豊富な遷移構造を利用することができるが、このアプローチは通常、報酬関数に敏感ではない。
この2つの極点の間に位置するRLにおける表現学習のアプローチを開発する。
これにより、タスクに直接関連し、値関数の学習を加速できる、抽出可能な予測ターゲットが提供される。
論文 参考訳（メタデータ） (2020-02-19T18:10:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。