論文の概要: Self-Confirming Superposition Traps in Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2609.32966v1
• Date: Sat, 26 Sep 2026 21:56:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 11:32:23.739135
• Title: Self-Confirming Superposition Traps in Reinforcement Learning
• Title（参考訳）: 強化学習における自己確認的重ね合わせ
• Abstract要約: 強化学習はエージェントのポリシーによって選択されたデータに基づいて表現し、その結果のリターンを使って次の選択を導く。 これらのデータに対して表現フィッティングがグローバルに最適である場合でも,このループは低リターンポリシーを維持可能であることを示す。
• 参考スコア（独自算出の注目度）: 62.71685993550818
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reinforcement learning (RL) trains representations on data selected by the agent's policy, which then uses the resulting returns to guide its next choices. We show that this loop can sustain a lower-return policy even when representation fitting is globally optimal on those data. In a self-confirming superposition trap, every optimal code assigns overlapping directions to features that rarely occur together under the current policy. An alternative action brings them together, causing interference that lowers its return and reinforces avoidance, although refitting to that action would yield more return at the same capacity. We characterize the dimensions admitting a trap in a tied two-step model and show separately that equal feature frequencies, continued visitation, and independent controller learning need not prevent it. Because fitting weights errors by visitation, an avoided action can lose its return advantage at little cost to the objective. In a finite-action model, we bound this distortion and derive a replay condition: sufficient training weight on the best separately adapted action preserves its ranking despite residual error. Neural PPO experiments show how the feedback develops during learning: agents initialized toward different actions develop different interference patterns, opposite mean return rankings, and different final policies at the same capacity. We therefore test whether retaining access to neglected states can improve control. Keeping these states in training reduces measured interference and improves sequential return, with gains even when the encoder is frozen. Related interventions on state access, replay weights, and feature overlap improve control on MiniGrid and DMControl. For agents that learn through a world model, protected fitting improves DreamerV3--Crafter's cumulative training scores at unchanged capacity.
• Abstract（参考訳）: 強化学習(Reinforcement Learning, RL)は、エージェントのポリシーによって選択されたデータの表現を訓練し、その結果のリターンを使って次の選択を導く。 これらのデータに対して表現フィッティングがグローバルに最適である場合でも,このループは低リターンポリシーを維持可能であることを示す。 自己確認的な重ね合わせトラップでは、すべての最適なコードは、現在のポリシーの下ではめったに起こらない特徴に重複する方向を割り当てる。 代替のアクションはそれらをまとめ、そのリターンを低下させ回避を強化する干渉を引き起こすが、そのアクションに適合すると、同じ能力でより多くのリターンをもたらす。 我々は,トラップを連結した2段階モデルで許容する次元を特徴付けるとともに,同じ特徴周波数,連続訪問,独立制御学習がそれを防ぐ必要はないことを別々に示す。 訪問によって重み付けがエラーを重み付けするので、回避された行動は目的に対してほとんどコストをかけずにリターンの優位性を失う可能性がある。 有限作用モデルでは、この歪みを束縛してリプレイ条件を導出する。 ニューラルPPO実験は、学習中にフィードバックがどのように発達するかを示す: 異なるアクションに向けて初期化されたエージェントは、異なる干渉パターン、反対の平均戻りランク、そして同じ能力で異なる最終ポリシーを発達させる。 したがって、無視された状態へのアクセスを維持することは、制御を改善することができるかどうかをテストする。 トレーニング中の状態を維持することで、測定された干渉を低減し、エンコーダが凍結された場合でも、逐次リターンを改善することができる。 状態アクセス、リプレイウェイト、機能のオーバーラップに関する関連する介入により、MiniGridとDMControlのコントロールが改善される。 世界モデルを通して学習するエージェントにとって、プロテクトフィッティングはDreamerV3--Crafterの累積トレーニングスコアを一定の能力で改善する。

関連論文リスト

• Reliable Replay through Spatial Coherence in Online Continual Learning [36.157385602644474]
  本研究では,幅広い学習環境に適用可能な汎用リプレイアロケーション手法であるSPHERE(SPatial Coherent Risk Control for REplay)を提案する。 移動目標の感度から元の損失変化に対するリプレイ係数を導出し、ベースラインリハーサルを維持するためにそれらを均一なリプレイとブレンドする。 実験により、SPHEREは精度を向上し、ノイズラベルビジョンタスク、連続言語モデル調律、不完全なテスト報酬を伴うコード生成強化学習における忘れを少なくすることが示された。
  論文  参考訳（メタデータ） (2026-09-27T16:27:53Z)
• Recommendation World Models for Future-State Control [53.191633845200876]
  我々は、訓練されたランク付け者が将来の結果についての意思決定を支援する方法について研究する。 UA-TWM(UA-TWM)は,近傍のスレート動作を構成するユーティリティアンコールなワールドモデルインタフェースである。 本研究は,MovieLens-25MとKuaiRand-Pureにおける12の逐次バックボーン間の移動と,KuaiSimにおけるターゲット指向インタラクションの繰り返しを評価する。
  論文  参考訳（メタデータ） (2026-09-25T02:37:48Z)
• Harness Continual Learning: Continual Adaptation Beyond Model Parameters [9.54786133734043]
  我々は、凍結基盤モデルを中心にハーネスが進化する新しい連続学習パラダイムを定式化する。 候補者は、現在の改善、履歴保持、有効性を確認した後にのみハーネスをコミットする。 実験では、複数の設定で対応するベースラインに対して、相対的なゲインが10%を超える能力の蓄積と障害回復が示されている。
  論文  参考訳（メタデータ） (2026-08-19T15:12:31Z)
• Adaptive Negative Reinforcement for LLM Reasoning:Dynamically Balancing Correction and Diversity in RLVR [6.291433683451589]
  検証可能な報酬(RLVR)を用いた強化学習は,大規模言語モデル(LLM)の推論能力向上に有効な方法となっている。 最近の研究では、NSR(Negative Sample Reinforcement)がPPOやGRPOのようなより複雑なフレームワークのパフォーマンスに適合または超えることが示されている。 我々は,NSRフレームワークの拡張として,適応型負のサンプル強化と信頼度重み付き負の強化の2つを提案する。
  論文  参考訳（メタデータ） (2026-05-08T02:13:33Z)
• Conservative Offline Robot Policy Learning via Posterior-Transition Reweighting [36.23660195981511]
  PTR(Posterior-Transition Reweighting)は、報酬のない、保守的なポストトレーニング手法である。 各トレーニングサンプルが管理された更新にどの程度影響するかを決定する。 PTRは、各サンプルの反応後の結果が現在の表現の下にあるかに応じてクレジットを再配置する。
  論文  参考訳（メタデータ） (2026-03-17T14:05:35Z)
• Boosting Offline Reinforcement Learning via Data Rebalancing [104.3767045977716]
  オフライン強化学習(RL)は、学習ポリシーとデータセットの分散シフトによって問題となる。 本稿では,データセットの再サンプリングが分散サポートを一定に保っているという観察に基づいて,オフラインRLアルゴリズムをシンプルかつ効果的に向上させる手法を提案する。 ReD(Return-based Data Re Balance)メソッドをダブします。これは10行未満のコード変更で実装でき、無視できる実行時間を追加します。
  論文  参考訳（メタデータ） (2022-10-17T16:34:01Z)
• Offline Reinforcement Learning with Implicit Q-Learning [85.62618088890787]
  現行のオフライン強化学習手法では、トレーニング中に見つからない行動の価値を問い合わせて、ポリシーを改善する必要がある。 本稿では,データセット外の動作を評価する必要のないオフラインRL手法を提案する。 この方法により、学習したポリシーは、一般化によってデータの最良の振る舞いを大幅に改善することができる。
  論文  参考訳（メタデータ） (2021-10-12T17:05:05Z)
• Simplifying Deep Reinforcement Learning via Self-Supervision [51.2400839966489]
  自己改善強化学習(Self-Supervised Reinforcement Learning, SSRL)は、純粋に監督された損失を伴うポリシーを最適化する単純なアルゴリズムである。 SSRLは、より安定した性能と実行時間の少ない現代アルゴリズムと驚くほど競合することを示す。
  論文  参考訳（メタデータ） (2021-06-10T06:29:59Z)
• DisCor: Corrective Feedback in Reinforcement Learning via Distribution Correction [96.90215318875859]
  ブートストラップに基づくQ-ラーニングアルゴリズムは必ずしも修正フィードバックの恩恵を受けないことを示す。 本稿では,この最適分布に対する近似を計算し,トレーニングに使用する遷移の重み付けに使用する新しいアルゴリズムであるDisCorを提案する。
  論文  参考訳（メタデータ） (2020-03-16T16:18:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。