論文の概要: Attribution-Based Neuron Utility for Plasticity Restoration in Deep Networks

• arxiv url: http://arxiv.org/abs/2605.06834v1
• Date: Thu, 07 May 2026 18:42:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-11 19:43:38.54936
• Title: Attribution-Based Neuron Utility for Plasticity Restoration in Deep Networks
• Title（参考訳）: 深部ネットワークにおける塑性回復のための属性ベースニューロンの有用性
• Authors: Patrick Elisii, Lucas Beauchemin, Dawer Jamshed,
• Abstract要約: 継続的な学習研究は、新しい知識獲得と以前に獲得した知識の保存という2つの基本的な能力を保存しようとする。 近年の研究では、ニューロン飽和、ノルム成長、有用な曲率方向の喪失など、この現象の根底にある複数のメカニズムが特定されている。 適応的リセットに基づく介入は、訓練性を取り戻すための実践的な解決策として現れてきた。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Continual learning research attempts to conserve two fundamental capabilities: new knowledge acquisition and the preservation of previously acquired knowledge. While knowledge in this case can be measured through performance over an implicit or explicit task space, model plasticity generally concerns adaptability as data distributions evolve. Though much of the literature has focused on catastrophic forgetting, deep networks can also suffer from loss of plasticity, becoming progressively harder to update under continued training. Recent research has identified multiple mechanisms underlying this phenomenon, including neuron saturation, parameter norm growth, and loss of useful curvature directions. Adaptive reset-based interventions, which selectively reinitialize low-utility network parameters, have emerged as practical solutions to restore trainability. Existing utility measures used to guide resets, such as activation magnitude, contribution utility, or gradient-based activity, rely on proxy signals that can become misaligned with the intervention they are meant to guide. In this paper, we introduce gradient times difference from reference (GXD), a theoretically motivated utility measure based on reference-based gradient attribution that estimates the first-order functional cost of replacing a unit. Our results show that utility measures aligned with the functional cost of the reset can make interventions more reliable in settings where existing reset criteria degrade. GXD reframes adaptive resetting as an intervention cost estimation problem, providing a practical path toward more robust continual learning systems.
• Abstract（参考訳）: 継続的な学習研究は、新しい知識獲得と以前に獲得した知識の保存という2つの基本的な能力を保存しようとする。 この場合の知識は暗黙的あるいは明示的なタスク空間上でのパフォーマンスを通じて測定できるが、モデル可塑性は一般的に、データの分散が進化するにつれて適応性に関するものである。 多くの文献は破滅的な忘れ物に焦点を当てているが、深層ネットワークは可塑性の喪失に悩まされ、継続的なトレーニングで更新が徐々に困難になる。 近年の研究では、ニューロン飽和、パラメータノルム成長、有用な曲率方向の喪失など、この現象の根底にある複数のメカニズムが特定されている。 低ユーティリティネットワークパラメータを選択的に再起動するアダプティブリセットベースの介入は、トレーニング容易性を回復するための実用的な解決策として現れている。 アクティベーションサイズ、コントリビューションユーティリティ、勾配に基づくアクティビティといった、リセットをガイドするために使用されている既存のユーティリティ対策は、ガイドしようとする介入と不一致となるプロキシ信号に依存している。 本稿では,参照からの勾配時間差(GXD)を導入する。これは,単位を置き換える一階関数コストを推定する参照ベース勾配属性に基づく理論的動機付けされたユーティリティ尺度である。 以上の結果から,既存のリセット基準が低下している環境では,リセットの機能的コストに適合したユーティリティ対策が,介入をより信頼性の高いものにすることが可能であることが示唆された。 GXDは、適応的リセットを介入コスト推定問題として再設定し、より堅牢な連続学習システムへの実践的な経路を提供する。

関連論文リスト

• Rethinking Plasticity in Deep Reinforcement Learning [3.18807491942654]
  本稿では, 深部強化学習(RL)における塑性損失の基本的なメカニズムについて検討する。 本稿では,従来のタスクの最適点が,新しいタスクの局所的最適度に乏しいため,可塑性損失が発生することを示唆する最適化・中心塑性(OCP)仮説を提案する。 複雑なドメインにおけるネットワーク可塑性の理解と復元のための厳密な最適化に基づくフレームワークを提供する。
  論文  参考訳（メタデータ） (2026-03-22T11:27:16Z)
• Value Function Initialization for Knowledge Transfer and Jump-start in Deep Reinforcement Learning [0.0]
  本稿では,価値関数の初期化を深層強化学習に適用するDQInitを紹介する。 DQInitは、以前に解決されたタスクから抽出されたコンパクトQ値を転送可能な知識ベースとして再利用する。 知識に基づくメカニズムを用いて、これらの伝達された値を未探索領域にソフトに統合し、徐々にエージェントの学習された推定値にシフトする。
  論文  参考訳（メタデータ） (2025-08-12T18:32:08Z)
• Preserving Plasticity in Continual Learning with Adaptive Linearity Injection [10.641213440191551]
  ディープニューラルネットワークにおける可塑性の喪失は、漸進的に学習するモデルの能力が徐々に低下することである。 近年の研究では、深い線形ネットワークは可塑性の喪失に対して弾力性があることが示されている。 適応線形化(AdaLin)は,各ニューロンの活性化機能を動的に適応し,可塑性損失を軽減する一般的な手法である。
  論文  参考訳（メタデータ） (2025-05-14T15:36:51Z)
• On the Dynamics Under the Unhinged Loss and Beyond [104.49565602940699]
  我々は、閉形式力学を解析するための数学的機会を提供する、簡潔な損失関数であるアンヒンジド・ロスを導入する。 アンヒンジされた損失は、時間変化学習率や特徴正規化など、より実践的なテクニックを検討することができる。
  論文  参考訳（メタデータ） (2023-12-13T02:11:07Z)
• Revisiting Plasticity in Visual Reinforcement Learning: Data, Modules and Training Stages [56.98243487769916]
  ニューラルネットワークが新しいデータで進化する能力である塑性は、高性能でサンプル効率のよい視覚強化学習に不可欠である。 本稿では,批評家の可塑性レベルに基づいてリプレイ率を動的に調整するAdaptive RRを提案する。
  論文  参考訳（メタデータ） (2023-10-11T12:05:34Z)
• Regression as Classification: Influence of Task Formulation on Neural Network Features [16.239708754973865]
  ニューラルネットワークは、勾配に基づく手法を用いて2乗損失を最小限に抑えることにより、回帰問題を解決するために訓練することができる。 実践者は、しばしば回帰を分類問題として再編成し、クロスエントロピー損失のトレーニングがより良いパフォーマンスをもたらすことを観察する。 2層ReLUネットワークに着目して、勾配に基づく最適化によって引き起こされる暗黙のバイアスが、この現象を部分的に説明できるかを検討する。
  論文  参考訳（メタデータ） (2022-11-10T15:13:23Z)
• Understanding and Preventing Capacity Loss in Reinforcement Learning [28.52122927103544]
  我々は、非定常予測対象が深層RLエージェントの学習進行を阻止できるメカニズムを同定する。 キャパシティ損失は様々なRLエージェントや環境で発生し、特にスパース・リワードタスクのパフォーマンスにダメージを与えている。
  論文  参考訳（メタデータ） (2022-04-20T15:55:15Z)
• Gradient Starvation: A Learning Proclivity in Neural Networks [97.02382916372594]
  グラディエント・スターベーションは、タスクに関連する機能のサブセットのみをキャプチャすることで、クロスエントロピー損失を最小化するときに発生する。 この研究は、ニューラルネットワークにおけるそのような特徴不均衡の出現に関する理論的説明を提供する。
  論文  参考訳（メタデータ） (2020-11-18T18:52:08Z)
• Untangling tradeoffs between recurrence and self-attention in neural networks [81.30894993852813]
  本稿では,再帰的ネットワークにおける自己注意が勾配伝播に与える影響を公式に分析する。 長期的な依存関係を捉えようとするとき、勾配をなくすことの問題を緩和することを証明する。 本稿では,スパース自己アテンションを反復的にスケーラブルに利用するための関連性スクリーニング機構を提案する。
  論文  参考訳（メタデータ） (2020-06-16T19:24:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。