論文の概要: Rethinking Activation Functions: Reducing Bias Can Improve Learning
- arxiv url: http://arxiv.org/abs/2610.14500v1
- Date: Sat, 10 Oct 2026 02:58:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-15 21:06:15.059675
- Title: Rethinking Activation Functions: Reducing Bias Can Improve Learning
- Title（参考訳）: 活性化関数の再考: バイアスを減らすことで学習を改善する
- Abstract要約: アクティベーションバイアスは、初期損失の減少を加速するが、オーバーシューティング、非滑らかな軌道、より急激なロスランドスケープを伴っている。
この一見小さな性質は、学習を実質的にリダイレクトし、将来の活性化関数設計において明確な考慮を保証できる。
- 参考スコア（独自算出の注目度）: 19.793121832144
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Many widely used activation functions, including ReLU, GELU, Swish, and Sigmoid, produce predominantly positive outputs, resulting in a nonzero post-activation mean that we term activation bias. Despite its ubiquity, the effect of activation bias on learning dynamics remains poorly understood. Using controlled models, we show that activation bias accelerates initial loss reduction but is accompanied by overshooting, non-smooth trajectories, and a steeper loss landscape. This early advantage also coincides with the model's use of task-relevant information encoded in the activation bias component. In contrast, reducing activation bias slows initial learning but ultimately yields a lower final loss. Experiments on larger vision and language models exhibit a similar pattern: smaller activation bias is associated with better late-stage performance. Thus, this seemingly minor property can substantially redirect learning and warrants explicit consideration in future activation function design.
- Abstract（参考訳）: ReLU、GELU、Swish、Sigmoidなどの多くの広く使われている活性化関数は、主に正の出力を生成し、結果として非ゼロのポストアクティベーションは、アクティベーションバイアスと呼ばれることを意味する。
その普遍性にも拘わらず、アクティベーションバイアスが学習力学に与える影響はいまだに理解されていない。
制御モデルを用いて、アクティベーションバイアスは初期損失の減少を加速するが、オーバーシューティング、非滑らかな軌道、より急激なロスランドスケープが伴うことを示す。
この初期の利点は、アクティベーションバイアスコンポーネントにエンコードされたタスク関連情報の使用にも一致する。
対照的に、アクティベーションバイアスの低減は初期学習を遅くするが、最終的には最終損失を減少させる。
より大きなビジョンと言語モデルの実験は、同様のパターンを示している。
したがって、この一見小さな性質は、学習を実質的にリダイレクトし、将来の活性化関数設計において明確な考察を保証できる。
関連論文リスト
- Sparsing Law: Towards Large Language Models with Greater Activation Sparsity [64.15238674475619]
活性化空間性は、除去できる活性化出力の中に、かなり弱い分散要素が存在することを表す。
PPL-$p%$ sparsity, a accurate and performance-aware activation sparsity metric。
我々は、SiLUよりも活性化関数としてReLUが効率的であることを示し、より多くのトレーニングデータを利用してアクティベーション空間を改善することができることを示した。
論文 参考訳（メタデータ） (2024-11-04T17:59:04Z) - Hadamard Representations: Augmenting Hyperbolic Tangents in RL [8.647614188619315]
活性化関数は、ディープニューラルネットワークの重要なコンポーネントの1つである。
強化学習では、連続的な微分可能なアクティベーションの性能は、分数次線形関数と比較して低下することが多い。
RLの致死性ニューロン問題はReLUに限った問題ではなく、Tanhのような連続的な分化可能なアクティベーションの場合にさらに問題を引き起こすことが示される。
論文 参考訳（メタデータ） (2024-06-13T13:03:37Z) - ProSparse: Introducing and Enhancing Intrinsic Activation Sparsity within Large Language Models [74.59731375779934]
活性化スパーシリティ(Activation sparsity)とは、活性化出力の間に弱い分散要素が存在することを指す。
本稿では,PLMを高活性化空間にプッシュするために,"ProSparse" という,シンプルで効果的なスペース化手法を提案する。
論文 参考訳（メタデータ） (2024-02-21T03:58:49Z) - Linear Oscillation: A Novel Activation Function for Vision Transformer [0.0]
線形振動(LoC)活性化関数を$f(x) = x times sin(alpha x + beta)$と定義する。
非線型性を主に導入する従来の活性化関数とは違い、LoCは線形軌道と振動偏差をシームレスにブレンドする。
私たちの経験的研究によると、多様なニューラルネットワークに組み込むと、LoCアクティベーション機能は、ReLUやSigmoidといった確立したアーキテクチャよりも一貫して優れています。
論文 参考訳（メタデータ） (2023-08-25T20:59:51Z) - Low Curvature Activations Reduce Overfitting in Adversarial Training [38.53171807664161]
敵の訓練は敵の攻撃に対する最も効果的な防御の1つです。
観測された一般化ギャップは活性化関数の選択と密接に関連していることを示す。
論文 参考訳（メタデータ） (2021-02-15T21:53:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。