論文の概要: FIRE: Frobenius-Isometry Reinitialization for Balancing the Stability-Plasticity Tradeoff

• arxiv url: http://arxiv.org/abs/2602.08040v1
• Date: Sun, 08 Feb 2026 16:17:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-10 20:26:24.945809
• Title: FIRE: Frobenius-Isometry Reinitialization for Balancing the Stability-Plasticity Tradeoff
• Title（参考訳）: FIRE:Frobenius-Isometry Reinitialization for Balancing the stability-Plasticity Tradeoff
• Authors: Isaac Han, Sangyeon Park, Seungwon Oh, Donghu Kim, Hojoon Lee, Kyung-Joong Kim,
• Abstract要約: FIREは、安定性と塑性のトレードオフのバランスをとる、原則化された再初期化法である。 介入なしのナイーブトレーニングと、標準的な再起動方法の両方を一貫して上回ります。
• 参考スコア（独自算出の注目度）: 9.59330905574531
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep neural networks trained on nonstationary data must balance stability (i.e., retaining prior knowledge) and plasticity (i.e., adapting to new tasks). Standard reinitialization methods, which reinitialize weights toward their original values, are widely used but difficult to tune: conservative reinitializations fail to restore plasticity, while aggressive ones erase useful knowledge. We propose FIRE, a principled reinitialization method that explicitly balances the stability-plasticity tradeoff. FIRE quantifies stability through Squared Frobenius Error (SFE), measuring proximity to past weights, and plasticity through Deviation from Isometry (DfI), reflecting weight isotropy. The reinitialization point is obtained by solving a constrained optimization problem, minimizing SFE subject to DfI being zero, which is efficiently approximated by Newton-Schulz iteration. FIRE is evaluated on continual visual learning (CIFAR-10 with ResNet-18), language modeling (OpenWebText with GPT-0.1B), and reinforcement learning (HumanoidBench with SAC and Atari games with DQN). Across all domains, FIRE consistently outperforms both naive training without intervention and standard reinitialization methods, demonstrating effective balancing of the stability-plasticity tradeoff.
• Abstract（参考訳）: 非定常データに基づいてトレーニングされたディープニューラルネットワークは、安定性(すなわち、事前知識を保持する)と可塑性(すなわち、新しいタスクに適応)のバランスをとる必要がある。 重量を元の値に向けて再初期化する標準的な再初期化法は広く使われているが、チューニングが困難である。 本稿では,安定性と塑性のトレードオフを明示的にバランスする原理的再初期化手法であるFIREを提案する。 FIREは、正方形のフロベニウス誤差 (SFE) を通じて安定性を定量化し、過去の重量に近づき、Isometry (DfI) から逸脱して可塑性を計測し、重量等方性を反映している。 再初期化点は、制約付き最適化問題を解き、DfIがゼロとなるSFEを最小化することで得られる。 FIREは連続視覚学習(CIFAR-10 with ResNet-18)、言語モデリング(OpenWebText with GPT-0.1B)、強化学習(HumanoidBench with SAC and Atari Games with DQN)で評価される。 全ての領域において、FIREは、介入なしでの素質的なトレーニングと標準的な再起動方法の両方を一貫して上回り、安定性と塑性のトレードオフの効果的なバランスを示す。

関連論文リスト

• Not All Preferences Are Created Equal: Stability-Aware and Gradient-Efficient Alignment for Reasoning Models [52.48582333951919]
  ポリシー更新の信号対雑音比を最大化することにより、アライメントの信頼性を高めるために設計された動的フレームワークを提案する。 SAGE(Stability-Aware Gradient Efficiency)は、モデル能力に基づいて候補プールをリフレッシュする粗いきめ細かいカリキュラムメカニズムを統合する。 複数の数学的推論ベンチマークの実験により、SAGEは収束を著しく加速し、静的ベースラインを上回っていることが示された。
  論文  参考訳（メタデータ） (2026-02-01T12:56:10Z)
• Restoring Forgotten Knowledge in Non-Exemplar Class Incremental Learning through Test-Time Semantic Evolution [11.50324946279326]
  NECIL(Non-exemplar Class Incremental Learning)では、古いクラスがアクセスできないため、忘れることが発生する。 テスト時セマンティックドリフト補償フレームワークであるRoSEを提案する。 CIFAR-100, TinyImageNet, ImageNet100データセット上のRoSEを, コールドスタートとウォームスタートの両方の設定で評価した。
  論文  参考訳（メタデータ） (2025-03-21T02:02:35Z)
• Forget Forgetting: Continual Learning in a World of Abundant Memory [55.64184779530581]
  継続的な学習は伝統的に、模範記憶の最小化に重点を置いてきた。 本稿では、より現実的な体制を探求することによって、このパラダイムに挑戦する。 モデルが以前のタスクに偏り、新しいタスクを学ぶのに苦労するようになるにつれて、中心的な課題が安定性から可塑性へと変化していくことが分かっています。
  論文  参考訳（メタデータ） (2025-02-11T05:40:52Z)
• Large Continual Instruction Assistant [59.585544987096974]
  CIT(Continuous Instruction Tuning)は、大規模モデルにデータによる人間の意図データに従うよう指示するために用いられる。 既存の更新勾配は、CITプロセス中に前のデータセットのパフォーマンスを著しく損なうことになる。 本稿では,この課題に対処する汎用的な連続的命令チューニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-08T11:24:59Z)
• Branch-Tuning: Balancing Stability and Plasticity for Continual Self-Supervised Learning [33.560003528712414]
  自己教師付き学習(SSL)は、膨大な量のラベルのないデータから一般的な表現を導出するための効果的なパラダイムとして登場した。 これは、新しい情報に適応する際の安定性と可塑性のバランスを崩すことに挑戦する。 本稿では,SSLの安定性と可塑性のバランスを両立させる手法であるブランチチューニングを提案する。
  論文  参考訳（メタデータ） (2024-03-27T05:38:48Z)
• Keep Moving: identifying task-relevant subspaces to maximise plasticity for newly learned tasks [0.22499166814992438]
  継続学習アルゴリズムは、事前情報を保持しながら、新しい知識を獲得しようとする。 これらのアルゴリズムは、しばしば安定性を強調し、新しいタスクを学習する際のネットワーク更新を制限する。 しかし、すべては有害か? 本稿では,ニューラルネットワークの活性化空間を2つの部分空間に分解できることを提案する。
  論文  参考訳（メタデータ） (2023-10-07T08:54:43Z)
• New Insights on Relieving Task-Recency Bias for Online Class Incremental Learning [37.888061221999294]
  あらゆる設定において、オンラインクラスインクリメンタルラーニング(OCIL)はより困難であり、現実世界でより頻繁に遭遇する可能性がある。 安定性と塑性のトレードオフに対処するため,Adaptive Focus Shiftingアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-02-16T11:52:00Z)
• Online Hyperparameter Optimization for Class-Incremental Learning [99.70569355681174]
  クラス増分学習(Class-incremental Learning, CIL)は、クラス数がフェーズごとに増加する一方で、分類モデルを訓練することを目的としている。 CILの固有の課題は、安定性と塑性のトレードオフである。すなわち、CILモデルは古い知識を保ち、新しい知識を吸収するためにプラスチックを保たなければならない。 本稿では,事前設定を知らずにトレードオフを適応的に最適化するオンライン学習手法を提案する。
  論文  参考訳（メタデータ） (2023-01-11T17:58:51Z)
• Balancing Stability and Plasticity through Advanced Null Space in Continual Learning [77.94570903726856]
  我々は,従来のタスクの古いデータを格納することなく,安定性と可塑性のバランスをとるために,新しい連続学習手法Advanced Null Space(AdNS)を提案する。 また,現在のタスクの性能向上を図るため,タスク内蒸留を簡便かつ効果的に行う方法を提案する。 実験結果から,提案手法は最先端の連続学習手法よりも優れた性能が得られることが示された。
  論文  参考訳（メタデータ） (2022-07-25T11:04:22Z)
• GradInit: Learning to Initialize Neural Networks for Stable and Efficient Training [59.160154997555956]
  ニューラルネットワークを初期化するための自動化およびアーキテクチャ手法であるgradinitを提案する。 各ネットワーク層の分散は、SGDまたはAdamの単一ステップが最小の損失値をもたらすように調整される。 また、学習率のウォームアップを伴わずに、オリジナルのPost-LN Transformerを機械翻訳用にトレーニングすることもできる。
  論文  参考訳（メタデータ） (2021-02-16T11:45:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。