論文の概要: Gradient-free Continual Learning

• arxiv url: http://arxiv.org/abs/2504.01219v1
• Date: Tue, 01 Apr 2025 22:18:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-03 13:20:12.257779
• Title: Gradient-free Continual Learning
• Title（参考訳）: グラディエントフリー連続学習
• Authors: Grzegorz Rypeść,
• Abstract要約: 連続学習(CL)は、破滅的な忘れを経験することなく、シーケンシャルなタスクでニューラルネットワークを訓練する上で、根本的な課題となる。 伝統的に、CLの主要なアプローチは勾配に基づく最適化であり、ネットワークパラメータの更新は勾配降下(SGD)またはその変種を用いて行われる。 このような場合、過去のデータには勾配情報がないため、制御されていないパラメータが変化し、その結果、以前に学習したタスクをひどく忘れてしまう。 我々は、勾配のない最適化手法が、従来の勾配に基づく連続学習手法に代わる堅牢な代替手段を提供することができるという仮説を探求する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Continual learning (CL) presents a fundamental challenge in training neural networks on sequential tasks without experiencing catastrophic forgetting. Traditionally, the dominant approach in CL has been gradient-based optimization, where updates to the network parameters are performed using stochastic gradient descent (SGD) or its variants. However, a major limitation arises when previous data is no longer accessible, as is often assumed in CL settings. In such cases, there is no gradient information available for past data, leading to uncontrolled parameter changes and consequently severe forgetting of previously learned tasks. By shifting focus from data availability to gradient availability, this work opens up new avenues for addressing forgetting in CL. We explore the hypothesis that gradient-free optimization methods can provide a robust alternative to conventional gradient-based continual learning approaches. We discuss the theoretical underpinnings of such method, analyze their potential advantages and limitations, and present empirical evidence supporting their effectiveness. By reconsidering the fundamental cause of forgetting, this work aims to contribute a fresh perspective to the field of continual learning and inspire novel research directions.
• Abstract（参考訳）: 連続学習(CL)は、破滅的な忘れを経験することなく、シーケンシャルなタスクでニューラルネットワークを訓練する上で、根本的な課題となる。 伝統的に、CLの主要なアプローチは勾配に基づく最適化であり、ネットワークパラメータの更新は確率勾配降下(SGD)またはその変種を用いて行われる。 しかし、CL設定でしばしば想定されるように、以前のデータがもはやアクセスできない場合に、大きな制限が発生する。 このような場合、過去のデータには勾配情報がないため、制御されていないパラメータが変化し、その結果、以前に学習したタスクをひどく忘れてしまう。 データアベイラビリティーから勾配アベイラビリティーへの移行によって、この作業はCLの忘れに対処するための新しい道を開く。 我々は、勾配のない最適化手法が、従来の勾配に基づく連続学習手法に代わる堅牢な代替手段を提供することができるという仮説を探求する。 提案手法の理論的基盤について考察し,その可能性と限界を解析し,有効性を示す実証的証拠を提示する。 本研究は,忘れることの根本的な原因を再考することによって,継続的な学習分野に新たな視点を与え,新たな研究方向性を刺激することを目的としている。

関連論文リスト

• Temporal-Difference Variational Continual Learning [89.32940051152782]
  現実世界のアプリケーションにおける機械学習モデルの重要な機能は、新しいタスクを継続的に学習する能力である。 継続的な学習設定では、モデルは以前の知識を保持することで新しいタスクの学習のバランスをとるのに苦労することが多い。 複数の先行推定の正則化効果を統合する新たな学習目標を提案する。
  論文  参考訳（メタデータ） (2024-10-10T10:58:41Z)
• SLCA++: Unleash the Power of Sequential Fine-tuning for Continual Learning with Pre-training [68.7896349660824]
  本稿では,Seq FTのレンズからの進行オーバーフィッティング問題を詳細に解析する。 過度に高速な表現学習と偏りのある分類層がこの問題を構成することを考慮し、先進的なSlow Learner with Alignment(S++)フレームワークを導入する。 提案手法は,バックボーンパラメータの学習率を選択的に減少させるスローラーナーと,ポストホック方式で不規則な分類層を整列させるアライメントを含む。
  論文  参考訳（メタデータ） (2024-08-15T17:50:07Z)
• An Effective Dynamic Gradient Calibration Method for Continual Learning [11.555822066922508]
  継続的学習(CL)は機械学習の基本的なトピックであり、目標は連続的なデータとタスクでモデルをトレーニングすることだ。 メモリ制限のため、すべての履歴データを保存できないため、破滅的な忘れの問題に直面します。 モデルの各更新ステップの勾配をキャリブレーションする有効なアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2024-07-30T16:30:09Z)
• Towards Robust Continual Learning with Bayesian Adaptive Moment Regularization [51.34904967046097]
  継続的な学習は、モデルが以前に学習した情報を忘れてしまう破滅的な忘れ込みの課題を克服しようとする。 本稿では,パラメータ成長の制約を緩和し,破滅的な忘れを減らし,新しい事前手法を提案する。 以上の結果から, BAdamは, 単頭クラスインクリメンタル実験に挑戦する先行手法に対して, 最先端の性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2023-09-15T17:10:51Z)
• On a continuous time model of gradient descent dynamics and instability in deep learning [12.20253214080485]
  そこで本研究では,勾配降下力学を近似した連続時間流として主流れ(PF)を提案する。 PFは、ディープラーニングにおいて最近観測された安定性現象の端に光を放つ。 不安定性に対する新たな理解を用いて,トレーニング安定性とテストセット評価性能のトレードオフを制御できる学習率適応法を提案する。
  論文  参考訳（メタデータ） (2023-02-03T19:03:10Z)
• Restricted Orthogonal Gradient Projection for Continual Learning [17.89324741805405]
  勾配予測手法は、干渉を最小限に抑えるために、新しいタスクのための最適化空間に厳しい制約を課す。 最近の手法では、成長するネットワークで凍結パラメータを再利用し、計算コストが高い。 本稿では,制約直交勾配法(ROGO)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-01-28T08:50:48Z)
• Old can be Gold: Better Gradient Flow can Make Vanilla-GCNs Great Again [96.4999517230259]
  我々は,深いGCNの準標準性能を理解するために,勾配流の新しい視点を提供する。 スキップ接続を用いたバニラGCNの勾配誘導動的スイッチングを提案する。 我々の手法は、彼らのパフォーマンスを大幅に向上させ、快適に競争し、多くの最先端の手法より優れています。
  論文  参考訳（メタデータ） (2022-10-14T21:30:25Z)
• Natural continual learning: success is a journey, not (just) a destination [9.462808515258464]
  自然継続学習(NCL)は、重み付け正規化と射影勾配降下を統一する新しい手法である。 提案手法は,RNNにおける連続学習問題に適用した場合,標準重み付け正規化手法とプロジェクションベースアプローチの両方に優れる。 トレーニングされたネットワークは、生体回路の実験的な発見と同様に、新しいタスクが学習されると強く保存されるタスク固有ダイナミクスを進化させる。
  論文  参考訳（メタデータ） (2021-06-15T12:24:53Z)
• AdaS: Adaptive Scheduling of Stochastic Gradients [50.80697760166045]
  我々は、textit "knowledge gain" と textit "mapping condition" の概念を導入し、Adaptive Scheduling (AdaS) と呼ばれる新しいアルゴリズムを提案する。 実験によると、AdaSは派生した指標を用いて、既存の適応学習手法よりも高速な収束と優れた一般化、そして(b)いつトレーニングを中止するかを決定するための検証セットへの依存の欠如を示す。
  論文  参考訳（メタデータ） (2020-06-11T16:36:31Z)
• The Break-Even Point on Optimization Trajectories of Deep Neural Networks [64.7563588124004]
  この軌道上の「破滅的な」点の存在を論じる。 トレーニングの初期段階での大きな学習率を用いることで、勾配のばらつきが軽減されることを示す。 また, バッチ正規化層を有するニューラルネットワークにおいても, 低学習率を用いることで損失面の条件が悪くなることを示す。
  論文  参考訳（メタデータ） (2020-02-21T22:55:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。