論文の概要: Fast and Slow Variational Continual Learning

• arxiv url: http://arxiv.org/abs/2606.24007v1
• Date: Mon, 22 Jun 2026 23:26:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-24 22:16:48.711525
• Title: Fast and Slow Variational Continual Learning
• Title（参考訳）: 高速・低速変分連続学習
• Authors: Subarnaduti Paul, Yohan Jung, Mohammad Emtiyaz Khan, Siddharth Swaroop, Thomas Möllenhoff, Martin Mundt,
• Abstract要約: 学習が進むにつれて知識のドリフトを遅くするために、過去の後部をマージして緩やかな適応を組み込む方法を示す。 これをContinual IVON(CoVON)と呼び、既存のものよりも常に改善されていることを示す。 ドメイン・インクリメンタル・ラーニング、継続的な事前トレーニング、大規模言語モデルの微調整などにわたる重み調整戦略。
• 参考スコア（独自算出の注目度）: 21.280330942948726
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Continual learning remains a major challenge for modern deep networks, partly because commonly used optimizers lack inherent mechanisms for continual adaptation. One such natural mechanism is fast and slow adaptation to balance stability and plasticity. This mechanism has deep roots in neuroscience and biology, but there is no consensus on how to best incorporate it in commonly used optimizers. Here, we show that this can be easily done via the VCL framework, where past posteriors are used as priors in the future. Our key idea is to incorporate slow adaptation via merging of past posteriors to slow down the drift in the knowledge as learning progresses. The merged posterior is then used as the prior in the VCL update to implement the fast-weight updates. These steps can be seamlessly implemented in the IVON optimizer, whose form and costs are nearly identical to that of Adam. We call this new optimizer the Continual IVON (CoVON) optimizer and show that it not only consistently improves over existing VCL optimizers, but also performs better than other weight-regularization strategies across domain-incremental learning, continual pre-training, and fine-tuning of large language models.
• Abstract（参考訳）: 連続学習は現代のディープ・ネットワークにとって大きな課題であり続けているが、その理由の一部は、一般的に使われているオプティマイザが連続的な適応に固有のメカニズムを欠いているためである。 そのような自然なメカニズムの1つは、安定性と可塑性のバランスへの高速で遅い適応である。 このメカニズムは神経科学と生物学の深いルーツを持っているが、よく使われるオプティマイザにどのように組み込むかについては合意がない。 ここでは,過去の後進を先進として将来,VCLフレームワークを通じて容易に行うことができることを示す。 私たちのキーとなるアイデアは、学習が進むにつれて知識のドリフトが遅くなるように、過去の後部をマージすることでゆっくりと適応させることです。 マージ後部は、高速な更新を実装するために、VCLアップデートの前部として使用される。 これらのステップは、フォームとコストがAdamとほぼ同じであるIVONオプティマイザでシームレスに実装できる。 我々は、この新たなオプティマイザをContinual IVON(CoVON)オプティマイザと呼び、既存のVCLオプティマイザよりも一貫して改善されているだけでなく、ドメイン増分学習、継続事前学習、大規模言語モデルの微調整など、他の重み調整戦略よりも優れていることを示す。

関連論文リスト

• Learn2Splat: Extending the Horizon of Learned 3DGS Optimization [53.913063313338874]
  補助機構を使わずに地平線上における劣化を回避できる3DGSの学習手法を提案する。 その結果、長い地平線上で安定しながら、新しいビュークオリティを向上し、ゼロショットの一般化により、見当たらないリコンストラクション設定を実現した。
  論文  参考訳（メタデータ） (2026-05-15T09:21:29Z)
• Spectral Imbalance Causes Forgetting in Low-Rank Continual Adaptation [58.3773038915023]
  継続的な学習は、事前訓練されたモデルを、以前取得した知識を忘れずにシーケンシャルなタスクに適応することを目的としている。 既存のほとんどのアプローチは、現在のタスク固有の更新が以前取得した知識を自然に保存するプロパティを考慮せずに、継続的な学習を過去の更新への干渉を避けるものとして扱う。 本稿では,視覚言語モデルで使用される標準深度ドットと互換性のある一階述語法を用いてこの問題に対処する。
  論文  参考訳（メタデータ） (2026-01-31T13:27:02Z)
• Adaptive Memory Momentum via a Model-Based Framework for Deep Learning Optimization [10.325245543844245]
  定常運動量係数を動的運動量係数に置き換えるテクスチマタテプティブメモリ機構を導入する。 我々はSGDとAdamWの両方の適応型メモリを幅広い学習タスクで実装する。 私たちの仕事は、最適化において適応性を誘導する新しい方法の扉を開く。
  論文  参考訳（メタデータ） (2025-10-06T16:24:57Z)
• Downgrade to Upgrade: Optimizer Simplification Enhances Robustness in LLM Unlearning [25.53799024782883]
  大言語モデル(LLM)は、既存のモデルから望ましくないデータや知識の影響を外科的に除去することを目的としている。 最近の知見は、ウェイト量子化や微調整のような未学習操作が、意図した忘れを迅速に中和できることを示している。
  論文  参考訳（メタデータ） (2025-10-01T10:50:14Z)
• Understanding Optimization in Deep Learning with Central Flows [95.5647720254338]
  複雑な状態における最適化のダイナミクスを記述できる理論を開発する。 この結果から,ディープラーニングの最適化を推論する上で,中央フローが重要な理論ツールとなる可能性が示唆された。
  論文  参考訳（メタデータ） (2024-10-31T17:58:13Z)
• Multiplicative update rules for accelerating deep learning training and increasing robustness [69.90473612073767]
  我々は、幅広い機械学習アルゴリズムに適合し、代替の更新ルールを適用することができる最適化フレームワークを提案する。 提案するフレームワークはトレーニングを加速する一方、従来の追加更新ルールとは対照的に、より堅牢なモデルにつながります。
  論文  参考訳（メタデータ） (2023-07-14T06:44:43Z)
• Learning Fast and Slow for Online Time Series Forecasting [76.50127663309604]
  Fast and Slow Learning Networks (FSNet)は、オンライン時系列予測のための総合的なフレームワークである。 FSNetは、最近の変更への迅速な適応と、同様の古い知識の取得のバランスを取る。 私たちのコードは公開されます。
  論文  参考訳（メタデータ） (2022-02-23T18:23:07Z)
• Improved Adversarial Training via Learned Optimizer [101.38877975769198]
  対戦型トレーニングモデルの堅牢性を改善するための枠組みを提案する。 共学習のパラメータモデルの重み付けにより、提案するフレームワークは、更新方向に対するロバスト性とステップの適応性を一貫して改善する。
  論文  参考訳（メタデータ） (2020-04-25T20:15:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。