論文の概要: Continual Test-Time Learning with Evolution Strategies

• arxiv url: http://arxiv.org/abs/2610.24137v1
• Date: Fri, 16 Oct 2026 19:07:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-26 10:46:05.857399
• Title: Continual Test-Time Learning with Evolution Strategies
• Title（参考訳）: 進化戦略による連続的テスト時間学習
• Abstract要約: 既存の継続的な学習アプローチは、ラベル付きデータ、デモ、報酬信号などの外部監視に依存している。 我々は,政策の集団から自己生成的な監督を引き出す連続的なテスト時間学習フレームワークであるtextbfEvolution Strategy Reinforcement Learning (ESRL)を提案する。 ESRLは破滅的な忘れを著しく減らし、継続的な学習において最強の最終的なパフォーマンスを達成する。
• 参考スコア（独自算出の注目度）: 44.30541424698254
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models increasingly operate in open-ended environments, where they are expected to continually adapt to evolving tasks and distributions, often without access to external supervision. Existing continual learning approaches rely on external supervision, such as labeled data, demonstrations, or reward signals, which can be costly or unavailable in practice. Test-time adaptation removes this dependence by learning from self-generated supervision, but existing methods derive that supervision from the single policy being updated, so once the policy drifts, its own learning signal drifts with it, leading to policy collapse, degraded reasoning, and catastrophic forgetting. In this paper, we propose \textbf{Evolution Strategy Reinforcement Learning (ESRL)}, a continual test-time learning framework that draws its self-generated supervision from a population of policies instead of the single policy being trained. ESRL perturbs an anchor policy in parameter space to form a population of nearby policies, samples one trajectory from each, and aggregates their answers into label-free group-relative learning signals for the central student. The anchor is held fixed within each block and refreshed from the student at block boundaries, so the population stays centered on a stable yet current policy and continues to supply diverse and reliable supervision as the student moves. In single-task test-time adaptation across mathematical reasoning, general knowledge, and medical domains, ESRL improves average accuracy by up to 31.7% relative to the base model and 16.6% relative to the strongest test-time adaptation baseline. Notably, ESRL substantially reduces catastrophic forgetting and achieves the strongest final performance in continual learning.
• Abstract（参考訳）: 大規模言語モデルは、しばしば外部の監督を受けることなく、進化するタスクや配布に継続的に適応することが期待されるオープンエンド環境で、ますます運用される。 既存の継続的な学習アプローチは、ラベル付きデータ、デモ、報酬信号などの外部の監督に依存しており、実際には費用がかかるか利用できない。 テストタイム適応は、自己生成的な監督から学習によってこの依存を取り除くが、既存の方法は、単一のポリシーが更新されると、ポリシーがドリフトすると、独自の学習信号がそれと共にドリフトし、政策の崩壊、劣化した推論、破滅的な忘れが生じる。 本稿では,個別の政策ではなく,政策の集団から自己生成的管理を引き出す連続的なテスト時間学習フレームワークである,ESRL(textbf{Evolution Strategy Reinforcement Learning)を提案する。 ESRLは、パラメータ空間のアンカーポリシーを摂動し、近隣のポリシーの集団を形成し、それぞれから1つの軌道をサンプリングし、その回答をラベルのないグループ関係学習信号に集約する。 アンカーは各ブロック内で固定され、ブロック境界で学生からリフレッシュされるため、人口は安定しているが現在の政策に集中し続け、学生が移動するにつれて、多様な信頼性の高い監督を提供し続けている。 数学的推論、一般知識、医学領域にまたがるシングルタスクのテストタイム適応では、ESRLはベースモデルに対して31.7%、最強のテストタイム適応ベースラインに対して16.6%の平均精度を向上する。 特に、ESRLは破滅的な忘れを著しく減らし、連続学習における最強の最終性能を達成する。

関連論文リスト

• SEED: Self-Evolving On-Policy Distillation for Agentic Reinforcement Learning [38.54413500261524]
  アウトカムベース強化学習(RL)は、実用的な最適化パラダイムを提供するが、その疎度な軌道レベルの報酬は、中間決定に関する限られたガイダンスを提供する。 筆者らは,自己進化型フレームワークSEED(Self-Evolving On-Policy Distillation)を提案する。
  論文  参考訳（メタデータ） (2026-07-16T09:57:18Z)
• Test-Time Gradient Guidance of Flow Policies in Reinforcement Learning [50.738952715864116]
  表現的連続制御ポリシは、シミュレーションされた実ロボット制御のための模倣学習のスケーリングにおける進歩のバックボーンを形成する。 テスト時に完全にポリシー最適化を行うRLアルゴリズムであるQGF(Q-Guided Flow)を提案する。 実証的には、QGFはシングルタスクおよびゴール条件のオフラインRLベンチマークにおいて、以前のテスト時間RLメソッドよりも優れている。
  論文  参考訳（メタデータ） (2026-06-09T16:45:57Z)
• Self-evolving LLM agents with in-distribution Optimization [60.05867547965365]
  大規模言語モデル(LLM)は最近、複雑な環境で対話的なエージェントのための強力なコントローラとして登場した。 本稿では,自動プロセス・リワードラベリングとポリシー学習を統一するLDMエージェントの自己進化フレームワークであるQ-Evolveを提案する。 我々は,AlfWorld,WebShop,ScienceWorldの手法を評価し,Q-Evolveがサンプル効率,堅牢性,全体的なタスク性能において高いベースラインを達成していることを示す。
  論文  参考訳（メタデータ） (2026-06-05T15:09:52Z)
• Random Policy Enables In-Context Reinforcement Learning within Trust Horizons [2.52299400625445]
  State-Action Distillation (SAD) は、ランダムポリシーのみによってガイドされる効果的な事前学習データセットを生成する。 SADはオフライン評価では236.3%、オンライン評価では135.2%で最高のベースラインを上回っている。
  論文  参考訳（メタデータ） (2024-10-25T21:46:25Z)
• Projected Off-Policy Q-Learning (POP-QL) for Stabilizing Offline Reinforcement Learning [57.83919813698673]
  Projected Off-Policy Q-Learning (POP-QL) は、政治外のサンプルを同時に重み付け、分散を防止し、価値近似誤差を減らすためにポリシーを制約する新しいアクタ批判アルゴリズムである。 我々の実験では、POP-QLは標準ベンチマーク上での競合性能を示すだけでなく、データ収集ポリシーがかなり最適化されていないタスクにおいて競合するメソッドよりも優れています。
  論文  参考訳（メタデータ） (2023-11-25T00:30:58Z)
• A State-Distribution Matching Approach to Non-Episodic Reinforcement Learning [61.406020873047794]
  現実世界の応用への大きなハードルは、エピソード的な環境でのアルゴリズムの開発である。 提案手法は,提案する実証実験における状態分布に一致するように後方方針を訓練する手法である。 実験の結果,MEDALは3つのスパース・リワード連続制御タスクにおいて先行手法と一致し,性能が向上することがわかった。
  論文  参考訳（メタデータ） (2022-05-11T00:06:29Z)
• Simplifying Deep Reinforcement Learning via Self-Supervision [51.2400839966489]
  自己改善強化学習(Self-Supervised Reinforcement Learning, SSRL)は、純粋に監督された損失を伴うポリシーを最適化する単純なアルゴリズムである。 SSRLは、より安定した性能と実行時間の少ない現代アルゴリズムと驚くほど競合することを示す。
  論文  参考訳（メタデータ） (2021-06-10T06:29:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。