論文の概要: Fine-Tuning Regimes Define Distinct Continual Learning Problems

• arxiv url: http://arxiv.org/abs/2604.21927v2
• Date: Mon, 27 Apr 2026 12:25:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-28 17:12:06.944779
• Title: Fine-Tuning Regimes Define Distinct Continual Learning Problems
• Title（参考訳）: 個別学習課題を規定するファインチューニングレジーム
• Authors: Paul-Tiberiu Iordache, Elena Burceanu,
• Abstract要約: トレーニング可能なパラメータ部分空間によって定義される微調整規則は、それ自体が重要な評価変数である、と我々は主張する。 トレーニング可能な深さを変更することで、現在のタスクフィッティングと知識保存の両方が動作する効果的な更新信号が変化することを示す。
• 参考スコア（独自算出の注目度）: 1.5755923640031844
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Continual learning (CL) studies how models acquire tasks sequentially while retaining previously learned knowledge. Despite substantial progress in benchmarking CL methods, comparative evaluations typically keep the fine-tuning regime fixed. In this paper, we argue that the fine-tuning regime, defined by the trainable parameter subspace, is itself a key evaluation variable. We formalize adaptation regimes as projected optimization over fixed trainable subspaces, showing that changing the trainable depth alters the effective update signal through which both current task fitting and knowledge preservation operate. This analysis motivates the hypothesis that method comparisons need not be invariant across regimes. We test this hypothesis in task incremental CL, five trainable depth regimes, and four standard methods: online EWC, LwF, SI, and GEM. Across five benchmark datasets, namely MNIST, Fashion MNIST, KMNIST, QMNIST, and CIFAR-100, and across 11 task orders per dataset, we find that the relative ranking of methods is not consistently preserved across regimes. We further show that deeper adaptation regimes are associated with larger update magnitudes, higher forgetting, and a stronger relationship between the two. These results show that comparative conclusions in CL can depend strongly on the chosen fine-tuning regime, motivating regime-aware evaluation protocols that treat trainable depth as an explicit experimental factor.
• Abstract（参考訳）: 連続学習(CL)は、モデルが以前学習した知識を維持しながらタスクを逐次取得する方法を研究する。 CL手法のベンチマークの大幅な進歩にもかかわらず、比較評価は典型的には微調整方式を固定し続ける。 本稿では、トレーニング可能なパラメータ部分空間によって定義される微調整規則が、それ自体が重要な評価変数であると主張する。 トレーニング可能な部分空間に対する予測最適化として適応規則を定式化し、トレーニング可能な深さを変更することで、現在のタスクフィッティングと知識保存の両方が動作する効果的な更新信号を変化させることを示す。 この分析は、方法の比較はレジーム間で不変ではないという仮説を動機付けている。 オンラインEWC, LwF, SI, GEMの4つの標準手法を用いて, この仮説をタスクインクリメンタルCL, 5つのトレーニング可能な深さレジームで検証した。 MNIST、Fashion MNIST、KMNIST、QMNIST、CIFAR-100の5つのベンチマークデータセットと、データセット1つ当たりのタスクオーダーの合計で、相対的なメソッドのランク付けは、レシシスタンス全体で一貫して維持されていないことが判明した。 さらに、より深い適応体制は、より大きな更新規模、より高い忘れ込み、そして両者のより強い関係に結びついていることが示される。 これらの結果から,CLにおける比較結論は選択された微調整体制に強く依存し,訓練可能な深度を明示的な実験因子として扱える状態認識評価プロトコルを動機付けていることが示唆された。

関連論文リスト

• Class Confidence Aware Reweighting for Long Tailed Learning [0.8297806372438926]
  本稿では,長期学習のためのクラスの設計と信頼性を考慮した再重み付け手法を提案する。 我々は、(p_t,f_c)関数を用いて、予測の信頼性値に基づいて、トレーニングタスクに対するコントリビューションの変調を可能にする。
  論文  参考訳（メタデータ） (2026-01-22T12:58:05Z)
• Exploring Structural Degradation in Dense Representations for Self-supervised Learning [84.52554180480037]
  自己教師付き学習(SSL)における直感的な現象を観察する。 我々は、この現象を自己教師付きDense Degradation(SDD)と呼び、16の最先端SSLメソッドに一貫した存在を示す。 本稿では,クラス関連尺度と有効次元尺度からなるDense Expression Structure Estimator (DSE)を紹介する。
  論文  参考訳（メタデータ） (2025-10-20T08:40:16Z)
• Supervised Fine-Tuning or Contrastive Learning? Towards Better Multimodal LLM Reranking [56.46309219272326]
  大型言語モデル(LLM)では、教師付き微調整(SFT)による分類は、関連する(非関連)ペアに対して'yes' (resp. ''no')トークンを予測する。 この分散は中心的な疑問を提起する:どの目的がLLMベースのリランクに本質的に適しているか、どのメカニズムが違いの根底にあるのか? 我々はCLとSFTの総合的な比較と分析を行い、ユニバーサルマルチモーダル検索(UMR)を実験場とした。
  論文  参考訳（メタデータ） (2025-10-16T16:02:27Z)
• Adaptive Rank, Reduced Forgetting: Knowledge Retention in Continual Learning Vision-Language Models with Dynamic Rank-Selective LoRA [26.079123341965687]
  低ランク学習を研究し,LoRAのランクや配置が学習や忘れにどのように影響するかを分析した。 上位のLoRAはタスク学習(塑性)を改善するが、下位のLoRAは安定性を高めるが適応を制限する。 そこで我々は,適応的に最適化されたLoRAアダプタを用いてPTMを継続的に更新する連続動的ランク選択LoRA(CoDyRA)を提案する。
  論文  参考訳（メタデータ） (2024-12-01T23:41:42Z)
• Adaptive Retention & Correction: Test-Time Training for Continual Learning [114.5656325514408]
  連続学習における一般的な問題は、最新のタスクに対する分類層のバイアスである。 アダプティブ・リテンション・アンド・コレクション (ARC) のアプローチを例に挙げる。 ARCはCIFAR-100とImagenet-Rのデータセットで平均2.7%と2.6%のパフォーマンス向上を達成した。
  論文  参考訳（メタデータ） (2024-05-23T08:43:09Z)
• Statistically Efficient Variance Reduction with Double Policy Estimation for Off-Policy Evaluation in Sequence-Modeled Reinforcement Learning [53.97273491846883]
  本稿では、オフラインシーケンスモデリングとオフライン強化学習をダブルポリシー推定と組み合わせたRLアルゴリズムDPEを提案する。 D4RLベンチマークを用いて,OpenAI Gymの複数のタスクで本手法を検証した。
  論文  参考訳（メタデータ） (2023-08-28T20:46:07Z)
• Mitigating Catastrophic Forgetting in Task-Incremental Continual Learning with Adaptive Classification Criterion [50.03041373044267]
  本稿では,継続的学習のための適応型分類基準を用いた教師付きコントラスト学習フレームワークを提案する。 実験により, CFLは最先端の性能を達成し, 分類基準に比べて克服する能力が強いことが示された。
  論文  参考訳（メタデータ） (2023-05-20T19:22:40Z)
• Data Augmentation through Expert-guided Symmetry Detection to Improve Performance in Offline Reinforcement Learning [0.0]
  マルコフ決定過程(MDP)の動的モデルのオフライン推定は非自明な作業である。 近年の研究では、密度推定法に依存する専門家誘導パイプラインが、決定論的環境において、この構造を効果的に検出できることが示されている。 学習したMDPを解き、実際の環境に最適化されたポリシーを適用すると、前者の結果が性能改善につながることを示す。
  論文  参考訳（メタデータ） (2021-12-18T14:32:32Z)
• AdaS: Adaptive Scheduling of Stochastic Gradients [50.80697760166045]
  我々は、textit "knowledge gain" と textit "mapping condition" の概念を導入し、Adaptive Scheduling (AdaS) と呼ばれる新しいアルゴリズムを提案する。 実験によると、AdaSは派生した指標を用いて、既存の適応学習手法よりも高速な収束と優れた一般化、そして(b)いつトレーニングを中止するかを決定するための検証セットへの依存の欠如を示す。
  論文  参考訳（メタデータ） (2020-06-11T16:36:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。