論文の概要: ZeroFlow: Overcoming Catastrophic Forgetting is Easier than You Think

• arxiv url: http://arxiv.org/abs/2501.01045v4
• Date: Fri, 06 Jun 2025 07:00:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-09 17:28:42.780778
• Title: ZeroFlow: Overcoming Catastrophic Forgetting is Easier than You Think
• Title（参考訳）: ZeroFlow: 破滅的な予測を克服するのは、あなたが考えるよりも簡単
• Authors: Tao Feng, Wei Li, Didi Zhu, Hangjie Yuan, Wendi Zheng, Dan Zhang, Jie Tang,
• Abstract要約: 我々はZeroFlowを紹介した。ZeroFlowはグラデーションのない最適化アルゴリズムを設計した最初のベンチマークである。 以上の結果から,フォワードパスだけでは,忘れを軽減できる可能性が示唆された。 本稿では,フォワードパスのみを用いて,抵抗の忘れ方を改善する新しい拡張を提案する。
• 参考スコア（独自算出の注目度）: 22.333776599402754
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Backpropagation provides a generalized configuration for overcoming catastrophic forgetting. Optimizers such as SGD and Adam are commonly used for weight updates in continual learning and continual pre-training. However, access to gradient information is not always feasible in practice due to black-box APIs, hardware constraints, or non-differentiable systems, a challenge we refer to as the gradient bans. To bridge this gap, we introduce ZeroFlow, the first benchmark designed to evaluate gradient-free optimization algorithms for overcoming forgetting. ZeroFlow examines a suite of forward pass-based methods across various algorithms, forgetting scenarios, and datasets. Our results show that forward passes alone can be sufficient to mitigate forgetting. We uncover novel optimization principles that highlight the potential of forward pass-based methods in mitigating forgetting, managing task conflicts, and reducing memory demands. Additionally, we propose new enhancements that further improve forgetting resistance using only forward passes. This work provides essential tools and insights to advance the development of forward-pass-based methods for continual learning.
• Abstract（参考訳）: バックプロパゲーションは破滅的な忘れを克服するための一般的な構成を提供する。 SGDやAdamのようなオプティマイザは、連続的な学習や連続的な事前学習における重み付け更新に一般的に使用される。 しかしながら,ブラックボックスAPIやハードウェア制約,あるいは差別化不可能なシステムなどによって,勾配情報へのアクセスが現実的に実現可能であるとは限りません。 このギャップを埋めるために、私たちはZeroFlowを紹介します。 ZeroFlowは、さまざまなアルゴリズム、シナリオの忘れ、データセットにわたって、フォワードパスベースの一連のメソッドを調べている。 以上の結果から,フォワードパスだけでは,忘れを軽減できる可能性が示唆された。 我々は、忘れを軽減し、タスクの競合を管理し、メモリ要求を減らし、フォワードパスベースのメソッドの可能性を強調する新しい最適化原則を明らかにする。 さらに,フォワードパスのみを用いて,抵抗の忘れ方を改善する新たな拡張を提案する。 この研究は、継続学習のためのフォワードパスベースの手法の開発を進めるために必要なツールと洞察を提供する。

関連論文リスト

• Restoring Forgotten Knowledge in Non-Exemplar Class Incremental Learning through Test-Time Semantic Evolution [11.50324946279326]
  NECIL(Non-exemplar Class Incremental Learning)では、古いクラスがアクセスできないため、忘れることが発生する。 テスト時セマンティックドリフト補償フレームワークであるRoSEを提案する。 CIFAR-100, TinyImageNet, ImageNet100データセット上のRoSEを, コールドスタートとウォームスタートの両方の設定で評価した。
  論文  参考訳（メタデータ） (2025-03-21T02:02:35Z)
• Centaur: Robust End-to-End Autonomous Driving with Test-Time Training [84.78837437133234]
  我々は,手作業によるルールやコスト関数に頼ることなく,テストタイムトレーニングを通じてプランナーの行動を更新するCentaurを提案する。 本稿では,クラスタ・エントロピー(Cluster Entropy,クラスタ・エントロピー)と呼ばれる新しい不確実性尺度を開発した。
  論文  参考訳（メタデータ） (2025-03-14T17:59:41Z)
• Sparser Training for On-Device Recommendation Systems [50.74019319100728]
  動的スパーストレーニング(DST)に基づく軽量埋め込み手法であるスパースRecを提案する。 これは、重要なベクトルの部分集合をサンプリングすることによって、バックプロパゲーション中の密度勾配を避ける。
  論文  参考訳（メタデータ） (2024-11-19T03:48:48Z)
• Stepping Forward on the Last Mile [8.756033984943178]
  本稿では,バックプロパゲーションと比較してメモリフットプリントと精度のギャップを低減させるアルゴリズムの一連の拡張を提案する。 その結果、エッジデバイス上でのモデルカスタマイズの最後のマイルでは、固定点前方勾配によるトレーニングが実現可能で実践的なアプローチであることが示されている。
  論文  参考訳（メタデータ） (2024-11-06T16:33:21Z)
• Unified Gradient-Based Machine Unlearning with Remain Geometry Enhancement [29.675650285351768]
  深層ニューラルネットワークのプライバシーと信頼性を高めるために、機械学習(MU)が登場した。 近似MUは大規模モデルの実用的手法である。 本稿では,最新の学習方向を暗黙的に近似する高速スローパラメータ更新手法を提案する。
  論文  参考訳（メタデータ） (2024-09-29T15:17:33Z)
• An Effective Dynamic Gradient Calibration Method for Continual Learning [11.555822066922508]
  継続的学習(CL)は機械学習の基本的なトピックであり、目標は連続的なデータとタスクでモデルをトレーニングすることだ。 メモリ制限のため、すべての履歴データを保存できないため、破滅的な忘れの問題に直面します。 モデルの各更新ステップの勾配をキャリブレーションする有効なアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2024-07-30T16:30:09Z)
• Enhancing Consistency and Mitigating Bias: A Data Replay Approach for Incremental Learning [100.7407460674153]
  ディープラーニングシステムは、一連のタスクから学ぶとき、破滅的な忘れがちだ。 問題を緩和するため、新しいタスクを学ぶ際に経験豊富なタスクのデータを再生する手法が提案されている。 しかし、メモリ制約やデータプライバシーの問題を考慮すると、実際には期待できない。 代替として、分類モデルからサンプルを反転させることにより、データフリーなデータ再生法を提案する。
  論文  参考訳（メタデータ） (2024-01-12T12:51:12Z)
• Rethinking PGD Attack: Is Sign Function Necessary? [131.6894310945647]
  本稿では,このような手話に基づく更新アルゴリズムが段階的攻撃性能にどのように影響するかを理論的に分析する。 本稿では,手話の使用を排除したRGDアルゴリズムを提案する。 提案したRGDアルゴリズムの有効性は実験で広く実証されている。
  論文  参考訳（メタデータ） (2023-12-03T02:26:58Z)
• Learning Large-scale Neural Fields via Context Pruned Meta-Learning [60.93679437452872]
  本稿では,大規模ニューラルネットワーク学習のための最適化に基づくメタラーニング手法を提案する。 メタテスト時間における勾配再スケーリングは、非常に高品質なニューラルネットワークの学習を可能にすることを示す。 我々のフレームワークは、モデルに依存しない、直感的で、実装が容易であり、幅広い信号に対する大幅な再構成改善を示す。
  論文  参考訳（メタデータ） (2023-02-01T17:32:16Z)
• Improving information retention in large scale online continual learning [99.73847522194549]
  オンライン連続学習は、既存の知識を維持しながら、新しいデータに効率的に適応することを目的としている。 最近の研究は、リプレイバッファが無制限であっても、大規模なOCLでは情報保持が問題であり続けていることを示唆している。 非定常目標に対する最適化を改善するため,移動平均の手法群を提案する。
  論文  参考訳（メタデータ） (2022-10-12T16:59:43Z)
• Scaling Forward Gradient With Local Losses [117.22685584919756]
  フォワード学習は、ディープニューラルネットワークを学ぶためのバックプロップに代わる生物学的に妥当な代替手段である。 重みよりも活性化に摂動を適用することにより、前方勾配のばらつきを著しく低減できることを示す。 提案手法はMNIST と CIFAR-10 のバックプロップと一致し,ImageNet 上で提案したバックプロップフリーアルゴリズムよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2022-10-07T03:52:27Z)
• Pre-Train Your Loss: Easy Bayesian Transfer Learning with Informative Priors [59.93972277761501]
  我々は,教師付きあるいは自己指導型アプローチにより,ソースタスクから高い情報的後部を学習できることを実証した。 このシンプルなモジュラーアプローチは、様々な下流の分類とセグメンテーションタスクにおいて、大幅なパフォーマンス向上と、よりデータ効率のよい学習を可能にする。
  論文  参考訳（メタデータ） (2022-05-20T16:19:30Z)
• Deep Equilibrium Optical Flow Estimation [80.80992684796566]
  最近のSOTA(State-of-the-art)光フローモデルでは、従来のアルゴリズムをエミュレートするために有限ステップの更新操作を使用する。 これらのRNNは大きな計算とメモリオーバーヘッドを課し、そのような安定した推定をモデル化するために直接訓練されていない。 暗黙的層の無限レベル固定点として直接流れを解く手法として,Deep equilibrium Flow estimatorを提案する。
  論文  参考訳（メタデータ） (2022-04-18T17:53:44Z)
• Efficient Neural Network Training via Forward and Backward Propagation Sparsification [26.301103403328312]
  本研究では, 完全スパース前方・後方パスを用いた効率的なスパーストレーニング手法を提案する。 私たちのアルゴリズムは、トレーニングプロセスを最大で桁違いに高速化する上で、はるかに効果的です。
  論文  参考訳（メタデータ） (2021-11-10T13:49:47Z)
• Adapting Stepsizes by Momentumized Gradients Improves Optimization and Generalization [89.66571637204012]
  textscAdaMomentum on vision, and achieves state-the-art results on other task including language processing。 textscAdaMomentum on vision, and achieves state-the-art results on other task including language processing。 textscAdaMomentum on vision, and achieves state-the-art results on other task including language processing。
  論文  参考訳（メタデータ） (2021-06-22T03:13:23Z)
• GradInit: Learning to Initialize Neural Networks for Stable and Efficient Training [59.160154997555956]
  ニューラルネットワークを初期化するための自動化およびアーキテクチャ手法であるgradinitを提案する。 各ネットワーク層の分散は、SGDまたはAdamの単一ステップが最小の損失値をもたらすように調整される。 また、学習率のウォームアップを伴わずに、オリジナルのPost-LN Transformerを機械翻訳用にトレーニングすることもできる。
  論文  参考訳（メタデータ） (2021-02-16T11:45:35Z)
• Incremental Object Detection via Meta-Learning [77.55310507917012]
  本稿では,段階的タスク間の情報を最適に共有するように,モデル勾配を再形成するメタラーニング手法を提案する。 既存のメタ学習法と比較して,本手法はタスク非依存であり,オブジェクト検出のための高容量モデルに新たなクラスやスケールを段階的に追加することができる。
  論文  参考訳（メタデータ） (2020-03-17T13:40:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。