論文の概要: PMF-CL: Pareto-Minimal-Forgetting Continual Learner for Conflicting Tasks

• arxiv url: http://arxiv.org/abs/2605.19145v1
• Date: Mon, 18 May 2026 21:53:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-20 15:03:09.007071
• Title: PMF-CL: Pareto-Minimal-Forgetting Continual Learner for Conflicting Tasks
• Title（参考訳）: PMF-CL:Pareto-Minimal-Forgetting Continual Learner for Conflicting Tasks
• Authors: Srijith Nair, Atilla Eryilmaz, Jia, Liu,
• Abstract要約: 連続学習(CL)アルゴリズムは、MLモデルにおける破滅的な忘れの問題に対処するために提案されている。 本稿では,マルチタスク学習(MTL)の観点から,矛盾するタスクの原則的かつ体系的なCLの基礎的枠組みを提案する。
• 参考スコア（独自算出の注目度）: 11.665068021346412
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In the literature, many continual learning (CL) algorithms have been proposed to address the issue of catastrophic forgetting in ML models (i.e., learning new tasks leads to the loss of performance on previously learned tasks). Although all CL approaches use some form of memory to retain information about past tasks, a grounded understanding of what information needs to be stored to minimize catastrophic forgetting remains elusive. Recently, it has been recognized that under the strong assumption of the existence of a common global minimizer over all tasks, catastrophic forgetting can be completely avoided. However, in practice, tasks rarely have a common global minimizer, and a certain amount of forgetting is inevitable. In this paper, we propose a foundational framework for principled and systematic CL of conflicting tasks using a multi-task learning (MTL) perspective. The approach is based on finding Pareto-optimal solutions, i.e., the solutions which, by definition, minimally forget the previous tasks in the Pareto sense. We derive Pareto-minimal-forgetting CL algorithms for linear and basis-function regression, and general loss functions which have a quadratic upper bound, e.g., logistic regression. For quadratic problems, PMF-CL uses memory-efficient iterative updates with a static memory footage of $\mathcal{O}(d^2)$ for models with $d$ parameters.
• Abstract（参考訳）: 文献では、MLモデルにおける破滅的な忘れの問題に対処するために、多くの連続学習(CL)アルゴリズムが提案されている(すなわち、新しいタスクを学習することで、以前に学習したタスクのパフォーマンスが失われる)。 すべてのCLアプローチは、過去のタスクに関する情報を保持するために何らかの形でメモリを使用するが、破滅的な忘れ込みを最小限に抑えるために、どんな情報を格納する必要があるかという基礎的な理解はいまだ残されている。 近年,全タスクに共通世界最小化器が存在するという強い仮定の下では,破滅的な忘れが完全に避けられることが認識されている。 しかし、実際には、タスクが共通のグローバル最小化器を持つことは滅多になく、ある量の忘れは避けられない。 本稿では、マルチタスク学習(MTL)の観点から、矛盾するタスクの原則的かつ体系的なCLの基礎的枠組みを提案する。 このアプローチはパレート最適解(Pareto-Optimal Solution)、すなわちパレート感覚の以前のタスクを最小限に忘れる解を見つけることに基づいている。 線形および基底関数回帰のためのパレート最小鍛造CLアルゴリズムと2次上界を持つ一般損失関数、例えばロジスティック回帰を導出する。 二次問題に対してPMF-CLは、$d$パラメータを持つモデルに対して$\mathcal{O}(d^2)$の静的メモリ映像を伴うメモリ効率の反復更新を使用する。

関連論文リスト

• MemSifter: Offloading LLM Memory Retrieval via Outcome-Driven Proxy Reasoning [78.46301394559903]
  大きな言語モデル(LLM)は、長期化タスクにますます使われています。 現在の手法はコストと精度のトレードオフに直面している。 MemSifterは、メモリ検索プロセスを小さなプロキシモデルにオフロードする新しいフレームワークである。
  論文  参考訳（メタデータ） (2026-03-03T02:57:38Z)
• Train with Perturbation, Infer after Merging: A Two-Stage Framework for Continual Learning [57.514786046966265]
  textbfPerturb-and-Merge(P&M)は,モデルマージをCLパラダイムに統合し,忘れを緩和する新しい連続学習フレームワークである。 提案手法は,複数の連続学習ベンチマークデータセット上での最先端性能を実現する。
  論文  参考訳（メタデータ） (2025-05-28T14:14:19Z)
• LoRanPAC: Low-rank Random Features and Pre-trained Models for Bridging Theory and Practice in Continual Learning [103.45785408116146]
  連続学習(CL)は、連続的に提示される複数のタスクを解決できるモデルを訓練することを目的としている。 最近のCLアプローチは、ダウンストリームタスクをうまく一般化する大規模な事前学習モデルを活用することで、強力なパフォーマンスを実現している。 しかし、これらの手法には理論的保証がなく、予期せぬ失敗をしがちである。 理論的に健全で高性能な単純なCL法を設計することで,このギャップを埋めることを目指している。
  論文  参考訳（メタデータ） (2024-10-01T12:58:37Z)
• Provable Continual Learning via Sketched Jacobian Approximations [17.381658875470638]
  忘れを克服するための一般的なアプローチは、以前のタスクで不十分なモデルをペナルティ化することで損失関数を正規化することである。 理想的条件下であっても、対角行列が以前のタスクのヘッセン行列の近似が貧弱であれば、破滅的な忘れを被る可能性があることを示す。 過去のデータのヤコビ行列をスケッチした新しいタスクの正規化トレーニング。
  論文  参考訳（メタデータ） (2021-12-09T18:36:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。