論文の概要: dynActivation: A Trainable Activation Family for Adaptive Nonlinearity
- arxiv url: http://arxiv.org/abs/2603.22154v1
- Date: Mon, 23 Mar 2026 16:18:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-24 19:11:39.778941
- Title: dynActivation: A Trainable Activation Family for Adaptive Nonlinearity
- Title（参考訳）: dynActivation: 適応非線形性のためのトレーニング可能なアクティベーションファミリー
- Abstract要約: dynActivationの変種は、高いパフォーマンスを維持しながらディープレイヤを線形化する傾向がある。
新しく提案されたdynActGLU-variantは5620ステップ (4.047 vs. 4.514) でSwiGLUの相対パープレキシティを10.3%削減するが、ギャップは34300ステップで消滅する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper proposes $\mathrm{dynActivation}$, a per-layer trainable activation defined as $f_i(x) = \mathrm{BaseAct}(x)(α_i - β_i) + β_i x$, where $α_i$ and $β_i$ are lightweight learned scalars that interpolate between the base nonlinearity and a linear path and $\mathrm{BaseAct}(x)$ resembles any ReLU-like function. The static and dynamic ReLU-like variants are then compared across multiple vision tasks, language modeling tasks, and ablation studies. The results suggest that dynActivation variants tend to linearize deep layers while maintaining high performance, which can improve training efficiency by up to $+54\%$ over ReLU. On CIFAR-10, dynActivation(Mish) improves over static Mish by up to $+14.02\%$ on AttentionCNN with an average improvment by $+6.00\%$, with a $24\%$ convergence-AUC reduction relative to Mish (2120 vs. 2785). In a 1-to-75-layer MNIST depth-scaling study, dynActivation never drops below $95\%$ test accuracy ($95.3$--$99.3\%$), while ReLU collapses below $80\%$ at 25 layers. Under FGSM at $\varepsilon{=}0.08$, dynActivation(Mish) incurs a $55.39\%$ accuracy drop versus $62.79\%$ for ReLU ($7.40\%$ advantage). Transferred to language modeling, a new proposed dynActGLU-variant achieves a $10.3\%$ relative perplexity reduction over SwiGLU at 5620 steps (4.047 vs. 4.514), though the gap vanishes at 34300 steps.
- Abstract（参考訳）: 本稿では,f_i(x) = \mathrm{BaseAct}(x)(α_i - β_i) + β_i x$と定義される層ごとのトレーニング可能なアクティベーションである$\mathrm{dynActivation}$を提案する。
静的および動的ReLU様変種は、複数の視覚タスク、言語モデリングタスク、アブレーション研究で比較される。
その結果,DynActivation variants は高い性能を維持しながら深い層を線形化する傾向があり,ReLU よりも 最大で 54 % のトレーニング効率を向上させることが示唆された。
CIFAR-10では、dynActivation(Mish)は静的Mishを最大$+14.02\%、平均$+6.00\%、Mishに対して$24\%(2120対2785)で改善する。
1層から75層までのMNISTディープスケーリング研究において、dynActivationはテスト精度95.3$-99.3$%$以下で、ReLUは25層で80.%以下で崩壊する。
FGSM at $\varepsilon{=}0.08$, dynActivation(Mish) は 5.39 %$ の精度低下と 6.79 %$ for ReLU (7.40 %$) の精度低下を発生させる。
言語モデリングに移行した新しいdynActGLU-variantは、5620ステップ(4.047 vs. 4.514)でSwiGLUに対して10.3\%$の相対的なパープレキシティ低下を達成するが、ギャップは34300ステップで消滅する。
関連論文リスト
- Pruning Deep Neural Networks via the Marchenko--Pastur Distribution [0.0]
提案手法は,超小型の切削後微調整予算を持つ深層ニューラルネットワークにおけるランダム・マトリクス手法である。
主な実用的貢献は、短いキャリブレーションと微調整スケジュールの下での精度維持である。
論文 参考訳（メタデータ） (2026-05-23T19:44:02Z) - Geometric Monomial (GEM): a family of rational 2N-differentiable activation functions [0.0]
本稿では,純粋に合理的な算術演算でReLUのような性能を実現するために,C2N$-smoothアクティベーション関数のファミリーを提案する。
GEM (base family)、E-GEM ($$$Lp$-approximation of ReLU)、SE-GEM ($C2N$ junction smoothness)の3つの変種を紹介する。
論文 参考訳（メタデータ） (2026-04-23T13:42:49Z) - Latent Phase-Shift Rollback: Inference-Time Error Correction via Residual Stream Monitoring and KV-Cache Steering [4.032680910442999]
大規模な言語モデルは、世代中頃の保存不可能な推論エラーを犯す。
我々は、$textbfLatent Phase-Shift Rollback$ (LPSR)を紹介する。
各生成段階において、臨界層リクリットで残留流をモニタリングし、コサイン相似性$+$エントロピー二重ゲートを介して急激な方向逆転(位相シフト)を検出する。
微調整、勾配計算、追加のフォワードパスは不要である。
論文 参考訳（メタデータ） (2026-04-20T17:53:33Z) - Activation Saturation and Floquet Spectrum Collapse in Neural ODEs [0.0]
これはフロケスペクトルの崩壊であり、飽和度が深くなるにつれて、全ての指数は0に駆動される。
二次的な寄与として、飽和スペクトル分解(saturation- spectrum factorization)は、フローレベルで$T$で指数関数的に改善された$widetildeC(U)le C(U)$をもたらす。
論文 参考訳（メタデータ） (2026-04-01T06:39:56Z) - INC: An Indirect Neural Corrector for Auto-Regressive Hybrid PDE Solvers [61.84396402100827]
本稿では,学習した補正を支配方程式に統合する間接ニューラルコレクタ(mathrmINC$)を提案する。
$mathrmINC$は、$t-1 + L$の順番でエラー増幅を減らし、$t$はタイムステップ、$L$はリプシッツ定数である。
大規模なベンチマークで$mathrmINC$をテストし、1Dカオスシステムから3D乱流まで、多くの異なる解法、神経バックボーン、テストケースをカバーした。
論文 参考訳（メタデータ） (2025-11-16T20:14:28Z) - Online Inverse Linear Optimization: Efficient Logarithmic-Regret Algorithm, Robustness to Suboptimality, and Lower Bound [25.50155563108198]
ラウンド単位の複雑さが$T$に依存しない最初の対数-回帰法を提案する。
我々の方法は極めて単純であり、オンラインニュートンステップ(ONS)を適切なexp-concave損失関数に適用する。
また、$Omega(n)$ の下限を示し、$O(nln T)$ 境界が $O(ln T)$ 係数まで固であることを示す。
論文 参考訳（メタデータ） (2025-01-24T09:19:15Z) - The Optimization Landscape of SGD Across the Feature Learning Strength [102.1353410293931]
オンライントレーニング環境で、さまざまなモデルやデータセットに$gamma$をスケーリングする効果について検討する。
最適なオンラインパフォーマンスは、しばしば大きな$gamma$で見られます。
以上の結果から,大容量ガンマ$限界の解析的研究は,実演モデルにおける表現学習のダイナミクスに関する有用な知見をもたらす可能性が示唆された。
論文 参考訳（メタデータ） (2024-10-06T22:30:14Z) - Depth Dependence of $\mu$P Learning Rates in ReLU MLPs [72.14317069090407]
我々は、最大更新(mu$P)学習率の$n$と$L$に依存することを研究する。
我々は、$L3/2.$のように、$L$の非自明な依存があることを発見した。
論文 参考訳（メタデータ） (2023-05-13T01:10:49Z) - Fine-Grained Gap-Dependent Bounds for Tabular MDPs via Adaptive
Multi-Step Bootstrap [84.66885506098724]
本稿では,アダプティブ・マルチステップ・ブートストラップ (AMB) を用いた表層有限水平マルコフ決定過程 (MDP) のモデルフリーアルゴリズムを提案する。
AMBは,部分最適ギャップの逆の和でのみスケールする,ギャップ依存的後悔境界を達成できることを示す。
また、AMB は $frac|Z_mul|Delta_min$ regret という追加の $frac|Z_mul|Delta_min$ を被っていることも示しています。
論文 参考訳（メタデータ） (2021-02-09T07:46:34Z) - Provably Efficient Reinforcement Learning with Linear Function
Approximation Under Adaptivity Constraints [94.76881135901753]
一般的な限定的適応モデルとして,バッチ学習モデルとレアポリシースイッチモデルがある。
提案したLSVI-UCB-Batchアルゴリズムは,$tilde O(sqrtd3H3T + dHT/B)$ regretを実現する。
まれなポリシスイッチモデルでは,提案されたLSVI-UCB-RareSwitchアルゴリズムは,$tilde O(sqrtd3H3T[1+T/(dH)]dH/B)$の後悔を享受する。
論文 参考訳（メタデータ） (2021-01-06T18:56:07Z) - Deep Learning Meets Projective Clustering [66.726500395069]
NLPネットワークを圧縮するための一般的なアプローチは、埋め込み層を行列 $AinmathbbRntimes d$ としてエンコードすることである。
計算幾何学から遠射的クラスタリングに着想を得て、この部分空間を$k$部分空間の集合で置き換えることを提案する。
論文 参考訳（メタデータ） (2020-10-08T22:47:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。