論文の概要: Bug or Feature$^2$: Weight Drift, Activation Sparsity and Spikes

• arxiv url: http://arxiv.org/abs/2605.17659v2
• Date: Wed, 20 May 2026 20:56:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-22 16:35:41.877546
• Title: Bug or Feature$^2$: Weight Drift, Activation Sparsity and Spikes
• Title（参考訳）: Bug or Feature$2$:Weight Drift, Activation Sparsity, Spikes
• Authors: Egor Shvetsov, Aleksandr Serkov, Shokorov Viacheslav, Redko Dmitry, Vladislav Goloshchapov, Evgeny Burnaev,
• Abstract要約: 標準損失と正に偏りのある活性化関数の相互作用によって引き起こされる負の重みのドリフトを解析する。 79の構成にまたがるスパシティ・精度のトレードオフを特徴付けるとともに、$sim$70%のアクティベーション・スパシティよりも高い精度の崖を識別する。
• 参考スコア（独自算出の注目度）: 53.726365933748134
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The design of modern neural architectures has converged through incremental empirical choices, yet the mechanisms governing their training dynamics remain only partially understood. We identify and analyze a negative weight drift induced by the interaction between standard losses and positively biased activation functions. We prove that under MSE or cross-entropy loss, the gradient with respect to positive pre-activations is non-negative in expectation at initialization, driving downstream weights toward negative values during early training. The drift is intrinsic to optimization rather than data, and persists across architectures (MLP, ResNet, ViT, GPT-nano, MP-SENe) and asymmetric activation functions (ReLU, GELU, SiLU). Coupled with ReLU, weight drift produces activation sparsity reaching up to 90\% in GPT-nano. We characterize the sparsity-accuracy tradeoff across 79 configurations and identify a sharp accuracy cliff above $\sim$70\% activation sparsity. While ReLU$^2$ achieves a good sparsity--accuracy ratio in GPT-nano, it pathologically amplifies identified activation spikes in intermediate transformer layers. Clipping resolves this while preserving the representational benefits of squaring: clipped ReLU$^2$ outperforms its unclipped version, and GELU$^2$ achieves the lowest validation loss on GPT-nano. Code is available at https://github.com/On-Point-RND/BugOrFeature.
• Abstract（参考訳）: 現代のニューラルアーキテクチャの設計は、漸進的な経験的選択を通じて集約されてきたが、それらのトレーニングダイナミクスを管理するメカニズムは、まだ部分的には理解されていない。 標準損失と正の偏りを持つ活性化関数の相互作用によって引き起こされる負の重みのドリフトを同定・解析する。 MSEやクロスエントロピー損失の下では、初期化を期待する場合には、前向きの活性化に対する勾配が非負であることが証明され、早期訓練中に下流の重みを負の値に導いた。 ドリフトはデータよりも最適化に固有のものであり、アーキテクチャ(MLP、ResNet、ViT、GPT-nano、MP-SENe)と非対称活性化関数(ReLU、GELU、SiLU)にまたがる。 ReLUと組み合わせると、重量のドリフトは GPT-nano において最大90% % の活性化間隔を生じる。 79の構成にまたがるスパーシティ・精度のトレードオフを特徴付け、$\sim$70\%のアクティベーション・スパーシティよりも高い精度の崖を識別する。 ReLU$^2$ は GPT-nano において良好な疎度-精度の比を達成するが、この比は中間変圧器層における特定のアクティベーションスパイクを病理学的に増幅する。 クリッピングされたReLU$^2$は非クリッピングバージョンを上回り、GELU$^2$はGPT-nanoの最小のバリデーション損失を達成する。 コードはhttps://github.com/On-Point-RND/BugOrFeature.comで入手できる。

関連論文リスト

• Reinforcement Learning from Multi-Source Imperfect Preferences: Best-of-Both-Regimes Regret [71.69884486156359]
  我々は, 累積的不完全化予算を用いて, エンフルティソースの不完全性選好からエピソードRLを考察した。 我々は,最良な登録行動を示す,後悔$tildeO(sqrtK/M+)$の統一アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2026-03-20T19:34:53Z)
• How Does Fourier Analysis Network Work? A Mechanism Analysis and a New Dual-Activation Layer Proposal [0.0]
  以上の結果より,コサイン活性化は効果に有意な寄与を示す一方,コサイン活性化は有害である傾向が示唆された。 FANは、神経細胞が負の入力を一貫して受け取り、勾配をゼロにし、学習を停止する死のReLU問題を主に緩和する。
  論文  参考訳（メタデータ） (2025-12-16T19:36:56Z)
• Harnessing Optimization Dynamics for Curvature-Informed Model Merging [17.42364575754576]
  教師付き微調整では、複数の機能ベースのSFTチェックポイントを1つのモデルに統合する必要がある。 我々は、最適化トラジェクトリ・アウェア(OTA)マージと高速フィッシャーグラフティング(FFG)を導入する。 OTA+FFGは、強力な重量空間ベースラインよりもマージモデルの品質を改善し、負の転送を低減し、スパーシティレベルにわたって堅牢である。
  論文  参考訳（メタデータ） (2025-09-14T08:59:53Z)
• FedSVD: Adaptive Orthogonalization for Private Federated Learning with LoRA [68.44043212834204]
  Low-Rank Adaptation (LoRA) は、学習における言語モデルの効率的な微調整に広く用いられている。 Low-Rank Adaptation (LoRA) は、学習における言語モデルの効率的な微調整に広く用いられている。
  論文  参考訳（メタデータ） (2025-05-19T07:32:56Z)
• Features that Make a Difference: Leveraging Gradients for Improved Dictionary Learning [4.051777802443125]
  スパースオートエンコーダ(SAE)は、ニューラルネットワーク表現を抽出するための有望なアプローチである。 我々は、TopKアクティベーション関数を増強することにより、$k$-sparseのオートエンコーダアーキテクチャを変更するGradient SAEを紹介する。 g-SAEが任意の文脈でモデルを操る上で平均的に効果的である潜伏者を学ぶ証拠が見つかる。
  論文  参考訳（メタデータ） (2024-11-15T18:03:52Z)
• From PEFT to DEFT: Parameter Efficient Finetuning for Reducing Activation Density in Transformers [52.199303258423306]
  本稿では,事前学習したモデルにおいて,高い活性化空間性を促進する新しい密度損失を提案する。 提案手法である textbfDEFT は,RoBERTa$_mathrmLarge$ で textbf44.94% ,Flan-T5$_mathrmXXL$ で textbf53.19% (エンコーダ密度) と textbf90.60% (デコーダ密度) で常に活性化密度を減少させることができる。
  論文  参考訳（メタデータ） (2024-02-02T21:25:46Z)
• Sparse is Enough in Fine-tuning Pre-trained Large Language Models [98.46493578509039]
  我々はSparse Increment Fine-Tuning (SIFT) という勾配に基づくスパース微調整アルゴリズムを提案する。 GLUE Benchmark や Instruction-tuning などのタスクで有効性を検証する。
  論文  参考訳（メタデータ） (2023-12-19T06:06:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。