論文の概要: SaluNet: Enabling Total Plasticity in Normalization-Free Deep Networks
- arxiv url: http://arxiv.org/abs/2606.02927v1
- Date: Mon, 01 Jun 2026 22:09:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-04 10:57:21.708823
- Title: SaluNet: Enabling Total Plasticity in Normalization-Free Deep Networks
- Title（参考訳）: SaluNet: 正規化不要のディープネットワークで全可塑性を実現する
- Authors: Mourad Zaied,
- Abstract要約: 本稿では,バッチ統計や外部アフィンパラメータに依存することなく,本質的な信号安定化を実現する,有界で学習可能なアクティベーションであるSALUを紹介する。
ResNet-18で、SaluNet-C-18はCIFAR-10で97.35%、CIFAR-100で83.25%を達成し、正規化アーキテクチャが失敗するバッチサイズ1で93.44%、76.23%を維持した。
トランスでは、SaluNet-TはLayerNorm-GELUを90.92%から91.01%に改善し、CIFAR-10では66.54%から68に改善した。
- 参考スコア（独自算出の注目度）: 3.333515185424178
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Normalization layers such as BatchNorm and LayerNorm have long been considered essential for stable training in deep networks. This work demonstrates that they can be fully replaced by a single learnable activation mechanism. We identify a plasticity suppression effect induced by standard normalization: learnable activation parameters rapidly lose adaptability when paired with normalization layers. Motivated by this observation, we introduce SALU (Saturated Adaptive Linear Unit), \[ \operatorname{SALU}(x;a,b) = \frac{a x}{\sqrt{1 + a b x^2}},\quad a>0,\; b>0 \] a bounded, learnable activation that provides intrinsic signal stabilization without relying on batch statistics or external affine parameters. Building on SALU, we propose SaluNet, a paradigm grounded in total plasticity: SALU replaces normalization layers, while SWALU and GALU replace standard activations. With ResNet-18, SaluNet-C-18 achieves 97.35\% on CIFAR-10 and 83.25\% on CIFAR-100 without normalization, maintaining 93.44\% and 76.23\% at batch size 1 where normalized architectures fail. For transformers, SaluNet-T improves over LayerNorm-GELU from 90.92\% to 91.01\% on CIFAR-10 and from 66.54\% to 68.10\% on CIFAR-100. SaluNet-C-50 reaches 78.67\% Top-1 on ImageNet-1K at $224\times224$, and $79.23\%$ at $288\times288$. These results suggest normalization layers suppress total plasticity, a property biological neurons inherently possess, enabling deep networks to learn effectively.
- Abstract（参考訳）: BatchNormやLayerNormのような正規化レイヤは、ディープネットワークにおける安定したトレーニングには長い間不可欠だと考えられてきた。
この研究は、それらは単一の学習可能なアクティベーションメカニズムによって完全に置き換えられることを示した。
標準正規化によって引き起こされる可塑性抑制効果を同定する: 学習可能なアクティベーションパラメータは、正規化層と組み合わせると適応性が急速に低下する。
この観測によって得られたSALU (Saturated Adaptive Linear Unit), \[ \operatorname{SALU}(x;a,b) = \frac{a x}{\sqrt{1 + a b x^2}},\quad a>0,\; b>0 \] は、バッチ統計や外部アフィンパラメータに依存することなく、固有信号安定化を提供する有界で学習可能なアクティベーションである。
SALUは正規化層を置き換えるが、SWALUとGALUは標準活性化層を置き換える。
ResNet-18では、CIFAR-10では97.35倍、CIFAR-100では83.25倍、バッチサイズでは93.44倍、76.23倍となる。
SaluNet-T は CIFAR-10 では 90.92 % から 91.01 % に、CIFAR-100 では 66.54 % から 68.10 % に改善されている。
SaluNet-C-50は、ImageNet-1Kで78.67.%、224.24ドル、79.23.%、288.88ドルに達した。
これらの結果から, 正常化層は自然に有する特性的生物学的ニューロンである全可塑性を抑制することが示唆され, ディープネットワークを効果的に学習することができる。
関連論文リスト
- StableGrad: Backward Scale Control without Batch Normalization [1.1145952934885128]
非常に深いニューラルネットワークを訓練するには、深さにわたる大きさの伝搬を制御する必要がある。
現代のアーキテクチャは、しばしばバッチ正規化、残留接続、その他の正規化レイヤを通じてこの問題を軽減する。
我々は、前方モデルを変更することなく、階層的な重み付け不均衡を補正する別のメカニズムであるStableGradを提案する。
論文 参考訳（メタデータ） (2026-05-19T13:49:30Z) - Bug or Feature$^2$: Weight Drift, Activation Sparsity and Spikes [53.726365933748134]
標準損失と正に偏りのある活性化関数の相互作用によって引き起こされる負の重みのドリフトを解析する。
79の構成にまたがるスパシティ・精度のトレードオフを特徴付けるとともに、$sim$70%のアクティベーション・スパシティよりも高い精度の崖を識別する。
論文 参考訳（メタデータ） (2026-05-17T21:29:20Z) - Parameter-Efficient Architectural Modifications for Translation-Invariant CNNs [2.111646739533638]
畳み込みニューラルネットワーク(CNN)は、翻訳不変であると広く考えられているが、標準的なアーキテクチャは驚くべき脆弱性を示している。
我々は,グローバル平均プール層を様々なネットワーク深度に戦略的に挿入し,軽量な「オンラインアーキテクチャ」戦略を提案する。
この戦略は、トレーニング可能なパラメータ(5.2Mから82Kまで)の98%の大幅な削減と、ネットワークサイズ全体の90%の削減を実現している。
論文 参考訳（メタデータ） (2026-04-30T13:52:42Z) - Weak-SIGReg: Covariance Regularization for Stable Deep Learning [0.0]
この研究は、最近LeJEPAの自己教師型フレームワークで導入されたSketched Isotropic Gaussian Regularization (SIGReg)を採用し、教師付き学習のための一般的な最適化安定化器として再利用している。
SIGRegは表現密度を等方性ガウスに対して制限し、このドリフトを緩和する。
SIGRegはアーキテクチャハックなしで20.73%から72.02%の精度でCIFAR-100上でのViTトレーニングを回復し、純粋なSGDでトレーニングされた深いバニラの収束を大幅に改善する。
論文 参考訳（メタデータ） (2026-03-06T05:32:40Z) - Don't Forget the Nonlinearity: Unlocking Activation Functions in Efficient Fine-Tuning [82.16625951603315]
NoRAは、固定活性化を学習可能な有理関数に置き換え、構造化された低ランク更新を数値化係数と分母係数に適用する。
CIFAR-10とCIFAR-100で訓練された視覚変換器では、NoRAはパラメータのわずか0.4%を更新しながら完全な微調整に適合または超過する。
NoRAは低次元機能部分空間への適応を制約し、暗黙的に更新の規模と方向を規則化する。
論文 参考訳（メタデータ） (2025-09-16T16:47:03Z) - VAULT: Vigilant Adversarial Updates via LLM-Driven Retrieval-Augmented Generation for NLI [15.320553375828045]
VAULTは、NLIモデルの弱点を発見し、改善する完全に自動化された対向的なRAGパイプラインである。
VAULTはデータセット間で、従来よりも最大で2.0%パフォーマンスが向上している。
論文 参考訳（メタデータ） (2025-08-01T14:22:54Z) - Sr-init: An interpretable layer pruning method [11.184351630458265]
再初期化の探索による新しい層刈り法を提案する。
我々のSR-init法は、再初期化による精度低下が様々な層で異なるという発見に着想を得たものである。
特徴可視化によるSR-initの解釈可能性を実験的に検証した。
論文 参考訳（メタデータ） (2023-03-14T07:26:55Z) - Improved techniques for deterministic l2 robustness [63.34032156196848]
畳み込みニューラルネットワーク(CNN)を$l_2$ノルムの下で厳密な1-Lipschitz制約で訓練することは、対向的堅牢性、解釈可能な勾配、安定した訓練に有用である。
我々は,最後の線形層を1重層に置き換えることで,1-Lipschitz CNNのロバスト性を証明する手法を提案する。
我々は,CIFAR-10およびCIFAR-100における標準および証明可能な堅牢な精度の最先端化を図る。
論文 参考訳（メタデータ） (2022-11-15T19:10:12Z) - Differentially private training of residual networks with scale
normalisation [64.60453677988517]
残差ネットワーク(ResNets)におけるバッチ正規化(BN)置換層の最適選択について検討する。
残差ブロックにおけるスケールミキシング現象について検討し、2つの枝の活性化を異なるスケールで行う。
論文 参考訳（メタデータ） (2022-03-01T09:56:55Z) - Self Sparse Generative Adversarial Networks [73.590634413751]
GAN(Generative Adversarial Networks)は、敵対的トレーニングを通じてデータ分布を学習する監視されていない生成モデルである。
本論文では,パラメータ空間を小さくし,ゼロ勾配問題を軽減するSelf Sparse Generative Adversarial Network (Self-Sparse GAN)を提案する。
論文 参考訳（メタデータ） (2021-01-26T04:49:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。