論文の概要: Trust Region Continual Learning as an Implicit Meta-Learner

• arxiv url: http://arxiv.org/abs/2602.02417v1
• Date: Mon, 02 Feb 2026 18:19:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-03 19:28:34.353149
• Title: Trust Region Continual Learning as an Implicit Meta-Learner
• Title（参考訳）: 暗黙のメタラーナーとしての信頼領域連続学習
• Authors: Zekun Wang, Anant Gupta, Christopher J. MacLellan,
• Abstract要約: 我々は,生産的リプレイとフィッシャー計量信頼領域制約を併用した,エフェトラスト領域連続学習のハイブリッド視点について検討する。 局所近似では,MAMLスタイルの解釈を単一の暗黙的な内部ステップで行うことができた。 これにより、連続学習における創発的なメタラーニング特性が得られる。
• 参考スコア（独自算出の注目度）: 3.705371747297478
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Continual learning aims to acquire tasks sequentially without catastrophic forgetting, yet standard strategies face a core tradeoff: regularization-based methods (e.g., EWC) can overconstrain updates when task optima are weakly overlapping, while replay-based methods can retain performance but drift due to imperfect replay. We study a hybrid perspective: \emph{trust region continual learning} that combines generative replay with a Fisher-metric trust region constraint. We show that, under local approximations, the resulting update admits a MAML-style interpretation with a single implicit inner step: replay supplies an old-task gradient signal (query-like), while the Fisher-weighted penalty provides an efficient offline curvature shaping (support-like). This yields an emergent meta-learning property in continual learning: the model becomes an initialization that rapidly \emph{re-converges} to prior task optima after each task transition, without explicitly optimizing a bilevel objective. Empirically, on task-incremental diffusion image generation and continual diffusion-policy control, trust region continual learning achieves the best final performance and retention, and consistently recovers early-task performance faster than EWC, replay, and continual meta-learning baselines.
• Abstract（参考訳）: 定期化ベースのメソッド(例:EWC)は、タスクの最適性が弱いときに更新を過剰に制限し、リプレイベースのメソッドはパフォーマンスを維持するが、不完全なリプレイのためにドリフトする。 生成的リプレイとフィッシャー計量信頼領域制約を組み合わせた「emph{trust region continual learning」というハイブリッド視点について検討する。 リプレイは古いタスク勾配信号(クエリライク)を供給し、フィッシャー重み付きペナルティは効率的なオフライン曲率整形(サポートライク)を提供する。 これにより、連続学習における創発的なメタラーニング特性が得られ、このモデルは、二段階の目的を明示的に最適化することなく、各タスク遷移後のタスクのオプティマに迅速に \emph{re-converges} を割り当てる初期化となる。 実験的に、タスク増分拡散画像生成と連続拡散ポリチ制御において、信頼領域連続学習は最高の最終性能と維持を達成するとともに、EWC、リプレイ、連続メタラーニングベースラインよりも高速に早期タスク性能を回復する。

関連論文リスト

• Learning with Preserving for Continual Multitask Learning [4.847042727427382]
  タスク出力の保存から共有表現空間の維持に焦点を移す新しいフレームワークであるLawP(Learning with Preserving)を紹介した。 LwPは破滅的な忘れを緩和するだけでなく、CMTLタスクにおける最先端のベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2025-11-11T22:23:20Z)
• Train with Perturbation, Infer after Merging: A Two-Stage Framework for Continual Learning [57.514786046966265]
  textbfPerturb-and-Merge(P&M)は,モデルマージをCLパラダイムに統合し,忘れを緩和する新しい連続学習フレームワークである。 提案手法は,複数の連続学習ベンチマークデータセット上での最先端性能を実現する。
  論文  参考訳（メタデータ） (2025-05-28T14:14:19Z)
• Scalable Strategies for Continual Learning with Replay [0.0]
  リプレイは継続学習において基礎的な役割を担い、モデルが過去の知識と新しい情報を一致させることができることを示す。 しかし実際には、リプレイは極めて難解であり、ナイーティブな適用では継続学習のコストが2倍になる。 コンソリデーション(consolidation)は、特定のパフォーマンスターゲットに必要なリプレイサンプルを最大55%削減する、リプレイのためのファシックなアプローチである。 次に、連続的な学習環境に合わせたタスク演算のオフシュートであるシーケンシャルマージを提案し、リプレイと組み合わせてうまく動作することを示す。
  論文  参考訳（メタデータ） (2025-05-18T18:23:50Z)
• LiNeS: Post-training Layer Scaling Prevents Forgetting and Enhances Model Merging [80.17238673443127]
  LiNeSは、微調整タスク性能を向上しつつ、事前訓練された一般化を維持するために設計されたポストトレーニング編集技術である。 LiNeSは、視覚と自然言語処理のさまざまなベンチマークにおいて、シングルタスクとマルチタスクの両方で大幅に改善されている。
  論文  参考訳（メタデータ） (2024-10-22T16:26:05Z)
• Scrutinize What We Ignore: Reining In Task Representation Shift Of Context-Based Offline Meta Reinforcement Learning [10.792687309720169]
  オフラインメタ強化学習(OMRL)は、相互作用回避と強力な一般化性能のための有望なアプローチとして登場した。 従来のコンテキストベースのアプローチは、コンテキストエンコーダとポリシーの最適化がパフォーマンス改善につながるという直感に依存しています。 我々はこの問題をタスク表現シフトと呼び、適切なコンテキストエンコーダ更新によってモノトニック性能の改善が保証できることを理論的に証明する。
  論文  参考訳（メタデータ） (2024-05-20T13:14:26Z)
• Towards Continual Learning Desiderata via HSIC-Bottleneck Orthogonalization and Equiangular Embedding [55.107555305760954]
  本稿では,レイヤワイドパラメータのオーバーライトや決定境界の歪みに起因する,概念的にシンプルで効果的な手法を提案する。 提案手法は,ゼロの指数バッファと1.02倍の差が絶対的に優れていても,競争精度が向上する。
  論文  参考訳（メタデータ） (2024-01-17T09:01:29Z)
• Towards Robust Continual Learning with Bayesian Adaptive Moment Regularization [51.34904967046097]
  継続的な学習は、モデルが以前に学習した情報を忘れてしまう破滅的な忘れ込みの課題を克服しようとする。 本稿では,パラメータ成長の制約を緩和し,破滅的な忘れを減らし,新しい事前手法を提案する。 以上の結果から, BAdamは, 単頭クラスインクリメンタル実験に挑戦する先行手法に対して, 最先端の性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2023-09-15T17:10:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。