論文の概要: Forward-Only Continual Learning

• arxiv url: http://arxiv.org/abs/2509.01533v1
• Date: Mon, 01 Sep 2025 15:10:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-04 15:17:03.741819
• Title: Forward-Only Continual Learning
• Title（参考訳）: フォワードオンリー学習
• Authors: Jiao Chen, Jiayi He, Fangfang Chen, Zuohong Lv, Jianhua Tang,
• Abstract要約: 破滅的な忘れ物は、継続的な学習における中心的な課題である。 本稿では,フォロ(FoRo)を提案する。 実験により、FoRoは平均的な忘れを著しく減らし、精度を向上することが示された。
• 参考スコア（独自算出の注目度）: 8.873948519614244
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Catastrophic forgetting remains a central challenge in continual learning (CL) with pre-trained models. While existing approaches typically freeze the backbone and fine-tune a small number of parameters to mitigate forgetting, they still rely on iterative error backpropagation and gradient-based optimization, which can be computationally intensive and less suitable for resource-constrained environments. To address this, we propose FoRo, a forward-only, gradient-free continual learning method. FoRo consists of a lightweight prompt tuning strategy and a novel knowledge encoding mechanism, both designed without modifying the pre-trained model. Specifically, prompt embeddings are inserted at the input layer and optimized using the Covariance Matrix Adaptation Evolution Strategy (CMA-ES), which mitigates distribution shifts and extracts high-quality task representations. Subsequently, task-specific knowledge is encoded into a knowledge encoding matrix via nonlinear random projection and recursive least squares, enabling incremental updates to the classifier without revisiting prior data. Experiments show that FoRo significantly reduces average forgetting and improves accuracy. Thanks to forward-only learning, FoRo reduces memory usage and run time while maintaining high knowledge retention across long task sequences. These results suggest that FoRo could serve as a promising direction for exploring continual learning with pre-trained models, especially in real-world multimedia applications where both efficiency and effectiveness are critical.
• Abstract（参考訳）: 破滅的な忘れは、訓練済みのモデルによる継続学習(CL)において、依然として中心的な課題である。 既存のアプローチは通常、バックボーンを凍結し、少数のパラメータを微調整して忘れを緩和するが、それでも反復的なエラーバックプロパゲーションと勾配に基づく最適化に頼っている。 これを解決するために,フォロ (FoRo) を提案する。 FoRoは軽量なプロンプトチューニング戦略と新しい知識符号化機構で構成されており、どちらも事前訓練されたモデルを変更することなく設計されている。 具体的には、入力層に迅速な埋め込みを挿入し、分散シフトを緩和し、高品質なタスク表現を抽出するCovariance Matrix Adaptation Evolution Strategy (CMA-ES)を用いて最適化する。 その後、タスク固有の知識は、非線形ランダムプロジェクションと再帰的最小二乗を通して、知識を符号化するマトリックスに符号化され、事前データを再考することなく、分類器への漸進的な更新を可能にする。 実験により、FoRoは平均的な忘れを著しく減らし、精度を向上することが示された。 前方のみの学習のおかげで、FoRoはメモリ使用量と実行時間を削減し、長いタスクシーケンスにわたって高い知識保持を維持している。 これらの結果から、FoRoは、特に効率と有効性の両方が重要である実世界のマルチメディアアプリケーションにおいて、事前訓練されたモデルを用いて連続学習を探索するための有望な方向として機能する可能性が示唆された。

関連論文リスト

• LifelongPR: Lifelong point cloud place recognition based on sample replay and prompt learning [15.464706470200337]
  本稿では,PCPRのための新しい連続学習フレームワークであるLifelongPRを提案する。 LifelongPRは、シーケンシャルポイントクラウドデータから知識を効果的に抽出し、融合する。 提案手法はmIR@1の6.50%,mR@1の7.96%,Fの8.95%削減を実現する。
  論文  参考訳（メタデータ） (2025-07-14T08:13:33Z)
• Sculpting Subspaces: Constrained Full Fine-Tuning in LLMs for Continual Learning [19.27175827358111]
  大規模言語モデル(LLM)における継続的な学習は破滅的な忘れがちである。 適応特異値分解(SVD)を利用した連続的完全微調整手法を提案する。 我々は,Encoder-decoder (T5-Large) モデルとdecoder-only (LLaMA-2 7B) モデルの両方を用いて,標準連続学習ベンチマークを広範囲に評価した。
  論文  参考訳（メタデータ） (2025-04-09T17:59:42Z)
• Enhancing Robustness of Vision-Language Models through Orthogonality Learning and Self-Regularization [77.62516752323207]
  そこで本研究では,事前訓練した重みを効率よく微調整する直交微調整法を導入し,頑健さと一般化の強化を実現した。 自己正規化戦略は、OrthSRと呼ばれるVLMのゼロショット一般化の観点から安定性を維持するためにさらに活用される。 筆者らはCLIPとCoOpを再検討し,少数の画像のクラスフィシエーションシナリオにおけるモデルの改善を効果的に行う。
  論文  参考訳（メタデータ） (2024-07-11T10:35:53Z)
• SHERL: Synthesizing High Accuracy and Efficient Memory for Resource-Limited Transfer Learning [63.93193829913252]
  本稿では,リソース制限シナリオに対するSHERLと呼ばれる革新的なMETL戦略を提案する。 初期経路では、中間出力は反冗長動作によって統合される。 遅延ルートでは、最小限の遅延事前トレーニングされたレイヤを利用することで、メモリオーバーヘッドのピーク需要を軽減できる。
  論文  参考訳（メタデータ） (2024-07-10T10:22:35Z)
• Towards Robust Continual Learning with Bayesian Adaptive Moment Regularization [51.34904967046097]
  継続的な学習は、モデルが以前に学習した情報を忘れてしまう破滅的な忘れ込みの課題を克服しようとする。 本稿では,パラメータ成長の制約を緩和し,破滅的な忘れを減らし,新しい事前手法を提案する。 以上の結果から, BAdamは, 単頭クラスインクリメンタル実験に挑戦する先行手法に対して, 最先端の性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2023-09-15T17:10:51Z)
• RanPAC: Random Projections and Pre-trained Models for Continual Learning [59.07316955610658]
  継続学習(CL)は、古いタスクを忘れずに、非定常データストリームで異なるタスク(分類など)を学習することを目的としている。 本稿では,事前学習モデルを用いたCLの簡潔かつ効果的なアプローチを提案する。
  論文  参考訳（メタデータ） (2023-07-05T12:49:02Z)
• Complementary Learning Subnetworks for Parameter-Efficient Class-Incremental Learning [40.13416912075668]
  本稿では,2つの補完学習サブネットワークス間のシナジーを通じて連続的に学習するリハーサルフリーなCILアプローチを提案する。 提案手法は, 精度向上, メモリコスト, トレーニング効率, タスク順序など, 最先端手法と競合する結果が得られる。
  論文  参考訳（メタデータ） (2023-06-21T01:43:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。