論文の概要: When Do Options Help? Policy Necrosis and Redundant Coverage in Option-Critic
- arxiv url: http://arxiv.org/abs/2609.05508v1
- Date: Sun, 30 Aug 2026 17:02:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-10 19:44:08.073021
- Title: When Do Options Help? Policy Necrosis and Redundant Coverage in Option-Critic
- Title（参考訳）: オプションはいつ役に立つのか? 政策のネクロシスとオプション批判の冗長なカバー
- Abstract要約: 選択肢批判(Option-critic)は選択肢を学習する。
その結果を理論と実験で説明します。
- 参考スコア（独自算出の注目度）: 3.805976359799901
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Option-critic learns options: sub-policies together with a learned rule for when each one hands control back. Its headline result is that performance improves as options are added. We explain that result, with theory and experiment. First, the termination rule option-critic learns by maximising return contributes nothing. When the termination test and the policy that picks options read the same values, the test fires at every step, so the learned rule is identical to always terminating. When that policy explores and the test does not, as in option-critic itself, the rule can block the exploration; there are instances where it suffers $Ω(T)$ regret while always terminating holds to $O(\log T)$. Forcing termination at every step leaves the option-count curve intact. Second, the policy inside an option barely explores at all, so a state locks onto the first action that looked good and never updates again. We name this policy necrosis, give a state-level test for it, and find three fifths of states necrotic in a typical option. Restoring exploration repairs those states, and one option then solves the task. Third, extra options improve no option; what falls is the chance that all of them fail in the same state, from $59\\%$ to $4\\%$, and performance follows that joint quantity.
- Abstract（参考訳）: 選択肢批判(Option-critic)は選択肢を学習する。
その結果、オプションが追加されるにつれてパフォーマンスが向上する。
その結果を理論と実験で説明します。
第一に、終了規則のオプション批判は、戻りを最大化することによって学習するが、何も寄与しない。
終了テストとオプションを選択するポリシーが同じ値を読み取ると、テストはすべてのステップで発火するので、学習されたルールは常に終了する。
このポリシーが探索され、テスト自体がオプションクリティカルな場合のように、このルールは探索をブロックする可能性がある。
各ステップで終了を強制することは、オプションカウント曲線をそのまま残す。
第二に、オプション内のポリシーは、ほとんど調査されないため、状態は、良いように見える最初のアクションにロックされ、二度と更新されない。
このポリシーをネクロシスと名付け、ステートレベルのテストを与え、典型的なオプションで3つの5分の3のステートネクロシスを見つけます。
探索の復元はこれらの状態を修復し、1つの選択肢がタスクを解決します。
第3に、追加オプションは選択肢を改善せず、すべてのオプションが59\\%$から4\\%$まで同じ状態に失敗する可能性があり、パフォーマンスはそのジョイント量に続く。
関連論文リスト
- Learning Not to Optimize: Physics-Informed Action-Space Reshaping for Intent-Based Network Control [50.46501177871741]
LNOQRD は小物候補を75.9% で削減し、90.8% でニアオラクルのカバレッジを維持している。
実験の結果、LNOQRDは実用性と意図の満足度が最も高く、かつ、法律違反が最低で、世代後レイテンシが低いことがわかった。
論文 参考訳（メタデータ） (2026-08-02T00:27:01Z) - Learning When to Stop: Selective Imitation Learning Under Arbitrary Dynamics Shift [15.576538384279708]
振る舞いのクローン化は、トレーニングとテスト環境が同じダイナミクスを共有するときに、強力な模倣学習を保証する。
多くのデプロイメント環境では、テスト環境の遷移はトレーニングとは異なる。
これは選択的な模倣の研究を動機付けており、学習者は確実に行動できないときに停止することを選択できる。
論文 参考訳（メタデータ） (2026-05-09T21:48:04Z) - Decoupled Q-Chunking [63.864222078287575]
チャンクされた批評家は、個々のアクションではなく、短いアクションシーケンス("チャンク")の価値を見積もって、価値のバックアップをスピードアップします。
私たちの重要な洞察は、批判者のチャンクの長さをポリシーのチャンクの長さから切り離すことで、ポリシーがより短いアクションチャンクを乗り越えることを可能にすることです。
この設計は、オープンループのサブ最適化と長いアクションチャンクに対するアクションチャンクポリシーの学習の難しさを両立させながら、マルチステップ値伝搬の利点を保っている。
論文 参考訳（メタデータ） (2025-12-11T18:52:51Z) - Multi-parameter Control for the $(1+(λ,λ))$-GA on OneMax via Deep Reinforcement Learning [4.482691140663255]
我々は、最先端の深層強化学習技術がいかに優れた制御ポリシーを近似できるかを示す。
我々は、既定理論推奨設定を一貫して上回る単純な制御ポリシーを導出する。
論文 参考訳（メタデータ） (2025-05-19T11:18:41Z) - Near-optimal Regret Using Policy Optimization in Online MDPs with Aggregate Bandit Feedback [49.84060509296641]
オンライン有限水平マルコフ決定過程を逆向きに変化した損失と総括的帯域幅フィードバック(フルバンド幅)を用いて研究する。
この種のフィードバックの下では、エージェントは、軌跡内の各中間段階における個々の損失よりも、軌跡全体に生じる総損失のみを観察する。
この設定のための最初のポリシー最適化アルゴリズムを紹介します。
論文 参考訳（メタデータ） (2025-02-06T12:03:24Z) - Learning to Cover: Online Learning and Optimization with Irreversible Decisions [50.5775508521174]
我々は,個別かつ不可逆な意思決定を対象とするオンライン学習と最適化の問題を定義した。
各期間において、意思決定者は、オープンする施設を選択し、それぞれの成功に関する情報を受け取り、将来の決定を導くために分類モデルを更新する。
目的は,多数の施設を対象とする地平線を特徴とし,カバー対象を反映するチャンス制約の下で施設開口を最小化することである。
論文 参考訳（メタデータ） (2024-06-20T23:00:25Z) - Autoregressive Bandits [58.46584210388307]
本稿では,オンライン学習環境であるAutoregressive Banditsを提案する。
報酬プロセスの軽微な仮定の下では、最適ポリシーを便利に計算できることが示される。
次に、新しい楽観的後悔最小化アルゴリズム、すなわちAutoRegressive Upper Confidence Bound (AR-UCB)を考案し、$widetildemathcalO left( frac(k+1)3/2sqrtnT (1-G)のサブ線形後悔を被る。
論文 参考訳（メタデータ） (2022-12-12T21:37:36Z) - General Policy Evaluation and Improvement by Learning to Identify Few
But Crucial States [12.059140532198064]
政策評価と改善の学習は強化学習の中核的な問題である。
最近検討された競合の代替手段は、多くのポリシーで単一の値関数を学ぶことである。
NNポリシを評価するために訓練された値関数も,ポリシアーキテクチャの変更に不変であることを示す。
論文 参考訳（メタデータ） (2022-07-04T16:34:53Z) - Minimal Expected Regret in Linear Quadratic Control [79.81807680370677]
オンライン学習アルゴリズムを考案し、その期待された後悔を保証します。
当時のこの後悔は、$A$と$B$が未知の場合、$widetildeO((d_u+d_x)sqrtd_xT)$によって上界(i)となる。
論文 参考訳（メタデータ） (2021-09-29T14:07:21Z) - Curious Explorer: a provable exploration strategy in Policy Learning [0.0]
我々は,新規かつ簡便な状態空間探索戦略であるCurious Explorerを開発した。
Curious Explorerは$rho$から始まり、不訪問状態のセットに割り当てられた固有の報酬を使用することで、一連のポリシーを生成する。
我々は、Curious Explorerが、挑戦的な探索を行い、MDPの性能を向上させることができることを示す。
論文 参考訳（メタデータ） (2021-06-29T15:31:51Z) - On the Role of Weight Sharing During Deep Option Learning [21.216780543401235]
オプションフレームワークは、強化学習において時間的に拡張されたアクションを構築するための一般的なアプローチである。
過去の研究は、オプションクリティカルの各コンポーネントが独立したパラメータを持つというキーとなる仮定を下している。
我々は、各更新で完全なアーキテクチャを最適化するオプション批判的および階層的オプション批判的トレーニングのより一般的な拡張について検討する。
論文 参考訳（メタデータ） (2019-12-31T16:49:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。