論文の概要: FIRE: Frobenius-Isometry Reinitialization for Balancing the Stability-Plasticity Tradeoff

• arxiv url: http://arxiv.org/abs/2602.08040v1
• Date: Sun, 08 Feb 2026 16:17:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-10 20:26:24.945809
• Title: FIRE: Frobenius-Isometry Reinitialization for Balancing the Stability-Plasticity Tradeoff
• Title（参考訳）: FIRE:Frobenius-Isometry Reinitialization for Balancing the stability-Plasticity Tradeoff
• Authors: Isaac Han, Sangyeon Park, Seungwon Oh, Donghu Kim, Hojoon Lee, Kyung-Joong Kim,
• Abstract要約: FIREは、安定性と塑性のトレードオフのバランスをとる、原則化された再初期化法である。 介入なしのナイーブトレーニングと、標準的な再起動方法の両方を一貫して上回ります。
• 参考スコア（独自算出の注目度）: 9.59330905574531
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep neural networks trained on nonstationary data must balance stability (i.e., retaining prior knowledge) and plasticity (i.e., adapting to new tasks). Standard reinitialization methods, which reinitialize weights toward their original values, are widely used but difficult to tune: conservative reinitializations fail to restore plasticity, while aggressive ones erase useful knowledge. We propose FIRE, a principled reinitialization method that explicitly balances the stability-plasticity tradeoff. FIRE quantifies stability through Squared Frobenius Error (SFE), measuring proximity to past weights, and plasticity through Deviation from Isometry (DfI), reflecting weight isotropy. The reinitialization point is obtained by solving a constrained optimization problem, minimizing SFE subject to DfI being zero, which is efficiently approximated by Newton-Schulz iteration. FIRE is evaluated on continual visual learning (CIFAR-10 with ResNet-18), language modeling (OpenWebText with GPT-0.1B), and reinforcement learning (HumanoidBench with SAC and Atari games with DQN). Across all domains, FIRE consistently outperforms both naive training without intervention and standard reinitialization methods, demonstrating effective balancing of the stability-plasticity tradeoff.
• Abstract（参考訳）: 非定常データに基づいてトレーニングされたディープニューラルネットワークは、安定性(すなわち、事前知識を保持する)と可塑性(すなわち、新しいタスクに適応)のバランスをとる必要がある。 重量を元の値に向けて再初期化する標準的な再初期化法は広く使われているが、チューニングが困難である。 本稿では,安定性と塑性のトレードオフを明示的にバランスする原理的再初期化手法であるFIREを提案する。 FIREは、正方形のフロベニウス誤差 (SFE) を通じて安定性を定量化し、過去の重量に近づき、Isometry (DfI) から逸脱して可塑性を計測し、重量等方性を反映している。 再初期化点は、制約付き最適化問題を解き、DfIがゼロとなるSFEを最小化することで得られる。 FIREは連続視覚学習(CIFAR-10 with ResNet-18)、言語モデリング(OpenWebText with GPT-0.1B)、強化学習(HumanoidBench with SAC and Atari Games with DQN)で評価される。 全ての領域において、FIREは、介入なしでの素質的なトレーニングと標準的な再起動方法の両方を一貫して上回り、安定性と塑性のトレードオフの効果的なバランスを示す。

関連論文リスト

• Forget Forgetting: Continual Learning in a World of Abundant Memory [55.64184779530581]
  継続的な学習は伝統的に、模範記憶の最小化に重点を置いてきた。 本稿では、より現実的な体制を探求することによって、このパラダイムに挑戦する。 モデルが以前のタスクに偏り、新しいタスクを学ぶのに苦労するようになるにつれて、中心的な課題が安定性から可塑性へと変化していくことが分かっています。
  論文  参考訳（メタデータ） (2025-02-11T05:40:52Z)
• Large Continual Instruction Assistant [59.585544987096974]
  CIT(Continuous Instruction Tuning)は、大規模モデルにデータによる人間の意図データに従うよう指示するために用いられる。 既存の更新勾配は、CITプロセス中に前のデータセットのパフォーマンスを著しく損なうことになる。 本稿では,この課題に対処する汎用的な連続的命令チューニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-08T11:24:59Z)
• Keep Moving: identifying task-relevant subspaces to maximise plasticity for newly learned tasks [0.22499166814992438]
  継続学習アルゴリズムは、事前情報を保持しながら、新しい知識を獲得しようとする。 これらのアルゴリズムは、しばしば安定性を強調し、新しいタスクを学習する際のネットワーク更新を制限する。 しかし、すべては有害か? 本稿では,ニューラルネットワークの活性化空間を2つの部分空間に分解できることを提案する。
  論文  参考訳（メタデータ） (2023-10-07T08:54:43Z)
• Balancing Stability and Plasticity through Advanced Null Space in Continual Learning [77.94570903726856]
  我々は,従来のタスクの古いデータを格納することなく,安定性と可塑性のバランスをとるために,新しい連続学習手法Advanced Null Space(AdNS)を提案する。 また,現在のタスクの性能向上を図るため,タスク内蒸留を簡便かつ効果的に行う方法を提案する。 実験結果から,提案手法は最先端の連続学習手法よりも優れた性能が得られることが示された。
  論文  参考訳（メタデータ） (2022-07-25T11:04:22Z)
• GradInit: Learning to Initialize Neural Networks for Stable and Efficient Training [59.160154997555956]
  ニューラルネットワークを初期化するための自動化およびアーキテクチャ手法であるgradinitを提案する。 各ネットワーク層の分散は、SGDまたはAdamの単一ステップが最小の損失値をもたらすように調整される。 また、学習率のウォームアップを伴わずに、オリジナルのPost-LN Transformerを機械翻訳用にトレーニングすることもできる。
  論文  参考訳（メタデータ） (2021-02-16T11:45:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。