論文の概要: Permanent and Transient Representations for Continual Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2611.07327v1
• Date: Thu, 05 Nov 2026 02:11:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 21:50:50.491563
• Title: Permanent and Transient Representations for Continual Reinforcement Learning
• Title（参考訳）: 連続的強化学習のための永続的・過渡的表現
• Abstract要約: CRL(Continuous Reinforcement Learning)エージェントは、事前知識を維持しながら新しい状況に適応するのに苦労し、安定性と塑性のトレードオフにつながる。 この問題を解決するための1つのアプローチは、補完的な学習システムを使用することである。
• 参考スコア（独自算出の注目度）: 29.85127990568442
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Continual Reinforcement Learning (CRL) agents struggle to adapt to new situations while retaining prior knowledge, leading to a stability-plasticity trade-off. One approach to solving this problem is by using complementary learning systems: one for slow, long-term learning and another for quick, transient adaptation. Anand & Precup (2023) instantiated this idea using permanent and transient value functions, but used the same features in both systems. Intuitively, long-term learning should rely more on parametric representations for broad generalization, while transient learning would be best served by non-parametric representations for situation-specific adaptation. In this paper, we explore this idea both theoretically and empirically. By introducing a novel non-parametric approximation for estimating the transient value function in complex tasks, we demonstrate that our method enables online learning and outperforms competitive baselines on image-based tasks and Craftax-Classic, underscoring the effectiveness of our system-level decomposition.
• Abstract（参考訳）: CRL(Continuous Reinforcement Learning)エージェントは、事前知識を維持しながら新しい状況に適応するのに苦労し、安定性と塑性のトレードオフにつながる。 この問題を解決するための1つのアプローチは、補完的な学習システムを使用することである。 Anand & Precup (2023) は、このアイデアを恒久的な値関数と過渡的な値関数を使ってインスタンス化したが、両方のシステムで同じ機能を使用した。 直観的には、長期学習はより広い一般化のためにパラメトリック表現に依存するべきであり、一方過渡学習は状況特化のための非パラメトリック表現が最適である。 本稿では,この概念を理論的にも実証的にも探求する。 複雑なタスクにおける過渡値関数を推定するための新しい非パラメトリック近似を導入することにより、本手法がオンライン学習を可能にし、画像ベースタスクとCraftax-Classicの競争ベースラインを上回り、システムレベルの分解の有効性を評価できることを示す。

関連論文リスト

• Online Matching via Reinforcement Learning: An Expert Policy Orchestration Strategy [5.913458789333235]
  本稿では,そのような専門家政策の集合を組織化する強化学習(RL)手法を提案する。 我々は、期待と高確率の後悔の保証を確立し、時間差学習のための新しい有限時間バイアスを導出する。 その結果、構造化された適応型学習が複雑な資源配分と意思決定プロセスのモデリングと管理をいかに改善するかを強調した。
  論文  参考訳（メタデータ） (2025-10-07T23:26:16Z)
• Normalization and effective learning rates in reinforcement learning [52.59508428613934]
  正規化層は近年,深層強化学習と連続学習文学においてルネッサンスを経験している。 正規化は、ネットワークパラメータのノルムにおける成長と効果的な学習速度における崩壊の間の等価性という、微妙だが重要な副作用をもたらすことを示す。 そこで本研究では,正規化・プロジェクトと呼ぶ単純な再パラメータ化により,学習率を明示的にする手法を提案する。
  論文  参考訳（メタデータ） (2024-07-01T20:58:01Z)
• Learning Continually by Spectral Regularization [45.55508032009977]
  連続学習アルゴリズムは、ネットワークのトレーニング性を維持しながら、良好な性能を維持することにより、可塑性の損失を軽減する。 我々は,初期化時のニューラルネットワークパラメータの特異値が学習の初期段階におけるトレーニング容易性の重要な要因であることから着想を得た,継続学習を改善するための新しい手法を開発した。 提案するスペクトル正規化器は,連続的な教師付きおよび強化学習環境において,様々なモデルアーキテクチャの訓練性と性能を維持可能であることを示す実験的検討を行った。
  論文  参考訳（メタデータ） (2024-06-10T21:34:43Z)
• Prediction and Control in Continual Reinforcement Learning [39.30411018922005]
  時間差(TD)学習は、RLエージェントが有用なポリシーを抽出するために使用する値関数の見積を更新するためにしばしば使用される。 本稿では,値関数を異なる時間スケールで更新する2つのコンポーネントに分解する。
  論文  参考訳（メタデータ） (2023-12-18T19:23:42Z)
• Resilient Constrained Learning [94.27081585149836]
  本稿では,学習課題を同時に解決しながら,要求に適応する制約付き学習手法を提案する。 我々はこの手法を、その操作を変更することで破壊に適応する生態システムを記述する用語に因んで、レジリエントな制約付き学習と呼ぶ。
  論文  参考訳（メタデータ） (2023-06-04T18:14:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。