論文の概要: On the Stability of Growth in Structural Plasticity

• arxiv url: http://arxiv.org/abs/2605.15435v1
• Date: Thu, 14 May 2026 21:27:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-18 21:22:26.111885
• Title: On the Stability of Growth in Structural Plasticity
• Title（参考訳）: 構造塑性成長の安定性について
• Authors: Lute Lillo, Nick Cheney,
• Abstract要約: プルーニングは開始からトレーニングに参加したユニットの中から選択する一方、成長は新たなユニットを既に特定された軌道に挿入する。 新生児は前向きに活動することが多いが、後向きに飢えていることが多い。 textscGrowは、構造編集手順中に高い最終的な精度を達成することができる。 textscPruneは、トレーニングの軌道上でパフォーマンスが平均されている場合や、最終的なスパースネットワークがゼロから再トレーニングされた場合、より強くなります。
• 参考スコア（独自算出の注目度）: 1.618563064839635
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Standard deep-learning pipelines usually choose the network architecture before training and keep it fixed throughout optimization. In contrast, a model can also be adapted by editing its structure during training, for example by pruning existing hidden-neuron units or growing new ones. Although growth is appealing for adaptive and continual systems, we show that it is not simply the inverse of pruning. Pruning selects among units that have participated in training from the start, whereas growth inserts new units into an already specialized optimization trajectory. We isolate this insertion problem and show that newborn units are often forward-active but backward-starved: they participate in the forward computation, yet receive much weaker gradient signal than incumbent units. This disadvantage is minor in small MLP benchmarks, but becomes clear in harder image-classification settings with a convolutional trunk. In these settings, \textsc{Grow} can achieve high final accuracy during the structural-editing procedure, while \textsc{Prune} is stronger when performance is averaged over the training trajectory or when the final sparse network is retrained from scratch. Interventions targeting optimizer state, insertion, selection, and trainability show that improving the integration of newborn units can improve adaptive performance, but does not automatically produce better final subnetworks. In continual-learning benchmarks stressing plasticity loss, \textsc{Grow} becomes competitive mainly when new units have enough time to integrate. Together, these results suggest that \textsc{Grow} should be evaluated not only as an architecture-search operator, but as a time-sensitive optimization process whose success depends on insertion stability.
• Abstract（参考訳）: 標準的なディープラーニングパイプラインは通常、トレーニング前にネットワークアーキテクチャを選択し、最適化全体を通じて修正し続ける。 対照的に、モデルはトレーニング中に構造を編集したり、例えば既存の隠れニューロンユニットを刈ったり、新しいものを成長させたりすることで適応することもできる。 成長は適応的かつ連続的なシステムにアピールするが、これは単に刈り込みの逆ではないことを示す。 プルーニングは開始からトレーニングに参加したユニットの中から選択する一方、成長は既存の最適化軌道に新しいユニットを挿入する。 我々は、この挿入問題を分離し、新生児は前向きに活動することが多いが、後向きに飢えていることを示し、前向きの計算に参加するが、既存の単位よりもはるかに弱い勾配信号を受け取る。 この欠点は、小さなMLPベンチマークでは小さいが、畳み込みトランクによる画像分類の難しい設定では明らかになる。 これらの設定では、\textsc{Grow} は構造編集手順中に高い最終的な精度を達成することができるが、\textsc{Prune} はトレーニング軌道上でパフォーマンスが平均化されている場合や、最終的なスパースネットワークがゼロから再トレーニングされた場合、より強くなる。 最適化状態、挿入、選択、および訓練性をターゲットにした介入は、新しく生まれたユニットの統合の改善は適応性を向上させるが、最終的なサブネットを自動生成するわけではないことを示している。 可塑性損失を強調した連続学習ベンチマークでは、新しいユニットが統合するのに十分な時間を持つ場合を中心に、 \textsc{Grow} が競争力を持つようになる。 これらの結果から,<textsc{Grow} はアーキテクチャ探索演算子としてだけでなく,挿入安定性に依存する時間依存性の最適化プロセスとして評価されるべきであることが示唆された。

関連論文リスト

• Power Reinforcement Post-Training of Text-to-Image Models with Super-Linear Advantage Shaping [66.25536973294726]
  テキスト・トゥ・イメージ(T2I)モデルのポストトレーニング手法はハッキングに報いる傾向がある。 SLAS(Super-Linear Advantage Shaping)は、地方政策の分野を再考する。 SLASは、DanceGRPOベースラインを複数のバックボーンとベンチマークで一貫して上回っている。
  論文  参考訳（メタデータ） (2026-05-11T17:59:25Z)
• Balancing Stability and Plasticity in Sequentially Trained Early-Exiting Neural Networks [11.704570155438887]
  早期に出現するニューラルネットワークは、中間分類器で入力を出力することで適応推論を可能にする。 モデルの異なるレベルで動作する2つの代替手法を提案する。 標準ベンチマークの実験は、我々のアプローチが早期終了性能を一貫して改善していることを示している。
  論文  参考訳（メタデータ） (2026-05-06T18:36:32Z)
• AdaExplore: Failure-Driven Adaptation and Diversity-Preserving Search for Efficient Kernel Generation [59.964989458924585]
  AdaExploreは、パフォーマンスクリティカルなカーネルコード生成のための蓄積された実行フィードバックによる自己改善を可能にするエージェントフレームワークである。 適応段階では、エージェントはタスクを合成し、繰り返し発生する障害を有効ルールの再利用可能なメモリに変換する。 探索段階では、候補核を木として整理し、小さな局所精製とより大きな構造再生を交互に行う。
  論文  参考訳（メタデータ） (2026-04-17T18:25:03Z)
• One-cycle Structured Pruning with Stability Driven Structure Search [20.18712941647407]
  既存の構造化プルーニングは、しばしば重い計算を必要とする多段階の訓練手順を必要とする。 モデル性能を損なうことなく, 一サイクル構造化プルーニングのための効率的なフレームワークを提案する。 本手法は, 訓練時間において, 最も効率的な刈り出しフレームワークの1つでありながら, 最先端の精度を実現する。
  論文  参考訳（メタデータ） (2025-01-23T07:46:48Z)
• Exact, Tractable Gauss-Newton Optimization in Deep Reversible Architectures Reveal Poor Generalization [52.16435732772263]
  多くのアプリケーションにおいて、ディープニューラルネットワークのトレーニングを加速する2階最適化が示されている。 しかし、二階法の一般化特性についてはいまだ議論が続いている。 我々は、Gauss-Newton (GN) の正確な更新が、ディープアーキテクチャのクラスにおいて、牽引可能な形式を取ることを初めて示す。
  論文  参考訳（メタデータ） (2024-11-12T17:58:40Z)
• Slimmable Networks for Contrastive Self-supervised Learning [69.9454691873866]
  自己教師付き学習は、大規模なモデルを事前訓練する上で大きな進歩を遂げるが、小さなモデルでは苦労する。 追加の教師を必要とせず、訓練済みの小型モデルを得るための1段階のソリューションも導入する。 スリム化可能なネットワークは、完全なネットワークと、様々なネットワークを得るために一度にトレーニングできるいくつかの重み共有サブネットワークから構成される。
  論文  参考訳（メタデータ） (2022-09-30T15:15:05Z)
• Back to Basics: Efficient Network Compression via IMP [22.586474627159287]
  イテレーティブ・マグニチュード・プルーニング(IMP)は、ネットワーク・プルーニングにおける最も確立されたアプローチの1つである。 IMPは、トレーニングフェーズにスパーシフィケーションを組み込まないことで、最適以下の状態に達するとしばしば主張される。 再学習のためのSLRを用いたIMPは、最先端のプルーニング訓練手法よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2021-11-01T11:23:44Z)
• GradInit: Learning to Initialize Neural Networks for Stable and Efficient Training [59.160154997555956]
  ニューラルネットワークを初期化するための自動化およびアーキテクチャ手法であるgradinitを提案する。 各ネットワーク層の分散は、SGDまたはAdamの単一ステップが最小の損失値をもたらすように調整される。 また、学習率のウォームアップを伴わずに、オリジナルのPost-LN Transformerを機械翻訳用にトレーニングすることもできる。
  論文  参考訳（メタデータ） (2021-02-16T11:45:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。