論文の概要: How to Find and Reuse Policies for Continuous Adaptation in Lifelong Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2610.03119v1
• Date: Fri, 02 Oct 2026 10:37:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 00:14:30.333107
• Title: How to Find and Reuse Policies for Continuous Adaptation in Lifelong Reinforcement Learning
• Title（参考訳）: 生涯強化学習における継続的適応のための政策の発見と再利用方法
• Abstract要約: 生涯の強化学習では、学習済みのポリシーを維持することは、新しいタスクに効果的に移行するのに十分ではない。 1つの仮説は、タスクの類似性を連続的な学習環境で効果的に利用して、以前に学習したポリシーを見つけ、組み合わせることができる、というものである。 Adaptive Mask Selection and Composition (AMSC) は、オンライン体験から類似性を推定するために設計された。
• 参考スコア（独自算出の注目度）: 12.877496297593078
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In lifelong reinforcement learning, retaining previously learned policies is not sufficient for effective transfer to a new task. Useful knowledge may be distributed across several prior policies, and its relevance may change as the learner acquires experience. One hypothesis is that task similarity can be effectively used in a continual learning setting to find and combine previously learned policies. To test it, Adaptive Mask Selection and Composition (AMSC) is designed to estimate similarity from online experience via non-parametric Wasserstein task embeddings from state-action-reward samples. The z-score-normalized sparsemax of the similarity scores are used to derive a variable-size support to periodically choose and weight policies to form a prior when learning a new task. On CT-graph and MiniGrid, AMSC achieves higher mean performance and forward transfer than the evaluated modular composition baselines while exhibiting no forgetting. Results on Continual World suggest that identifying relevant prior knowledge and determining its layer-specific composition may require additional layer-specific tuning. Ablations show that selecting relevant sources and determining how strongly to reuse them are central to these gains. Independently measured pairwise transfer is also positively associated with task-embedding similarity. These results indicate that task similarity can be an effective criterion to select and weight specific knowledge for reuse in lifelong reinforcement learning.
• Abstract（参考訳）: 生涯の強化学習では、学習済みのポリシーを維持することは、新しいタスクに効果的に移行するのに十分ではない。 有用な知識は、いくつかの以前のポリシーに分散され、学習者が経験を得るにつれて、その関連性は変化する可能性がある。 1つの仮説は、タスクの類似性を連続的な学習環境で効果的に利用して、以前に学習したポリシーを見つけ、組み合わせることができる、というものである。 これをテストするために、Adaptive Mask Selection and Composition (AMSC)は、状態-アクション-リワードサンプルからの非パラメトリックなWassersteinタスクの埋め込みを通じて、オンラインエクスペリエンスから類似性を推定するように設計されている。 類似度スコアのzスコア正規化スパースマックスは、新しいタスクを学ぶ際に、周期的に選択および重み付けを行う可変サイズサポートを導出するために使用される。 CTグラフとMiniGridでは、AMSCは、評価されたモジュラー合成ベースラインよりも高い平均性能と転送を実現し、忘れることもない。 連続世界における結果は、関連する事前知識を特定し、その層固有の構成を決定するには、追加の層固有のチューニングが必要であることを示唆している。 アブレーションは、関連するソースを選択し、どのように再利用するかを判断することが、これらの利益の中心であることを示している。 独立に測定されたペアワイズ転送は、タスク埋め込み類似性にも正の関連がある。 これらの結果から,タスク類似性は,生涯強化学習における再利用のための特定の知識の選択および重み付けに有効な基準であることが示唆された。

関連論文リスト

• PATH-Bench: Path-Dependent Evaluation of Lifelong Agents [27.837334107109786]
  PATH-Benchは、生涯エージェントのパス依存評価のためのベンチマークである。 SEU(Selective Experience Use)は,経路蓄積経験が各タスクにどのように影響するかを制御するエージェントハーネスである。
  論文  参考訳（メタデータ） (2026-08-02T11:00:04Z)
• Continual Model Merging with Test-Time Adaptation for Whole-Slide Image Analysis [4.934678371009237]
  モデルマージは、従来の連続学習に代わる実践的な代替手段を提供する。 近年の最先端モデルマージ手法では, 分散シフトに対処するため, テスト時間適応(TTA誘導マージ)を採用している。 本稿では,この手法をリハーサルのない連続的な全スライド画像分類にマッピングするベンチマーク研究を提案する。
  論文  参考訳（メタデータ） (2026-07-06T07:48:00Z)
• Statistical Context Detection for Deep Lifelong Reinforcement Learning [7.912786690714232]
  オンライン体験からタスクラベルを推測することは難しい問題だ。 本稿では、オンラインの深層強化学習環境において、ポリシーとラベルの両方を学習するためのアプローチを提案する。
  論文  参考訳（メタデータ） (2024-05-29T12:44:41Z)
• Similarity-based Knowledge Transfer for Cross-Domain Reinforcement Learning [3.3148826359547523]
  我々は,エンコーダ・デコーダのセットを用いて,異なる空間に適合する半教師付きアライメント損失を開発する。 従来の手法と比較して、我々の手法は専門家のポリシーによって整列、ペア化、あるいは収集されるデータを必要としない。
  論文  参考訳（メタデータ） (2023-12-05T19:26:01Z)
• Mitigating Catastrophic Forgetting in Task-Incremental Continual Learning with Adaptive Classification Criterion [50.03041373044267]
  本稿では,継続的学習のための適応型分類基準を用いた教師付きコントラスト学習フレームワークを提案する。 実験により, CFLは最先端の性能を達成し, 分類基準に比べて克服する能力が強いことが示された。
  論文  参考訳（メタデータ） (2023-05-20T19:22:40Z)
• Transferability Estimation Based On Principal Gradient Expectation [68.97403769157117]
  クロスタスク転送性は、自己整合性を維持しながら転送結果と互換性がある。 既存の転送可能性メトリクスは、ソースとターゲットタスクを会話することで、特定のモデルに基づいて推定される。 本稿では,タスク間の転送可能性を評価するための簡易かつ効果的な手法であるPGEを提案する。
  論文  参考訳（メタデータ） (2022-11-29T15:33:02Z)
• A Taxonomy of Similarity Metrics for Markov Decision Processes [62.997667081978825]
  近年、伝達学習は強化学習(RL)アルゴリズムをより効率的にすることに成功した。 本稿では,これらの指標を分類し,これまでに提案されている類似性の定義を分析する。
  論文  参考訳（メタデータ） (2021-03-08T12:36:42Z)
• Uniform Priors for Data-Efficient Transfer [65.086680950871]
  もっとも移動可能な特徴は埋め込み空間において高い均一性を有することを示す。 我々は、未確認のタスクやデータへの適応を容易にする能力の正規化を評価する。
  論文  参考訳（メタデータ） (2020-06-30T04:39:36Z)
• Meta-Reinforcement Learning Robust to Distributional Shift via Model Identification and Experience Relabeling [126.69933134648541]
  本稿では,テスト時にアウト・オブ・ディストリビューション・タスクに直面した場合に,効率よく外挿できるメタ強化学習アルゴリズムを提案する。 我々の手法は単純な洞察に基づいており、動的モデルが非政治データに効率的かつ一貫して適応可能であることを認識している。
  論文  参考訳（メタデータ） (2020-06-12T13:34:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。