論文の概要: Beyond Weighted Summation: Learnable Nonlinear Aggregation Functions for Robust Artificial Neurons

• arxiv url: http://arxiv.org/abs/2603.19344v1
• Date: Thu, 19 Mar 2026 15:32:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-23 19:48:38.819477
• Title: Beyond Weighted Summation: Learnable Nonlinear Aggregation Functions for Robust Artificial Neurons
• Title（参考訳）: Beyond Weighted Summation:学習可能な非線形アグリゲーション関数
• Authors: Berke Deniz Bozyigit,
• Abstract要約: 本稿では, 学習可能な非線形代替品に固定線形アグリゲーションを置き換えることで, トレーニング性を犠牲にすることなく, ニューラルネットワークの堅牢性を向上できるかどうかを考察する。 学習可能なパワーウェイト集約規則に基づくF平均ニューロンと、距離認識親和性重み付けに基づくガウス支援ニューロンの2つの異なるアグリゲーション機構が導入された。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Weighted summation has remained the default input aggregation mechanism in artificial neurons since the earliest neural network models. While computationally efficient, this design implicitly behaves like a mean-based estimator and is therefore sensitive to noisy or extreme inputs. This paper investigates whether replacing fixed linear aggregation with learnable nonlinear alternatives can improve neural network robustness without sacrificing trainability. Two differentiable aggregation mechanisms are introduced: an F-Mean neuron based on a learnable power-weighted aggregation rule, and a Gaussian Support neuron based on distance-aware affinity weighting. To preserve the optimisation stability of standard neurons, hybrid neurons are proposed that interpolate between linear and nonlinear aggregation through a learnable blending parameter. Evaluated in multilayer perceptrons and convolutional neural networks on CIFAR-10 and a noisy CIFAR-10 variant with additive Gaussian corruption, hybrid neurons consistently improve robustness under noise while F-Mean hybrids also yield modest gains on clean data. The three-way hybrid achieves robustness scores of up to 0.991 compared to 0.890 for the standard baseline, and learned parameters converge consistently to sub-linear aggregation (p $\approx$ 0.43--0.50) and high novelty utilisation ($α$ $\approx$ 0.69--0.79). These findings suggest that neuron-level aggregation is a meaningful and underexplored design dimension for building more noise-tolerant neural networks.
• Abstract（参考訳）: 重み付け和は、最初期のニューラルネットワークモデル以来、人工ニューロンのデフォルト入力集約メカニズムのままである。 計算効率は高いが、この設計は平均に基づく推定器のように暗黙的に振る舞うため、ノイズや極端な入力に敏感である。 本稿では, 学習可能な非線形代替品に固定線形アグリゲーションを置き換えることで, トレーニング性を犠牲にすることなく, ニューラルネットワークの堅牢性を向上できるかどうかを考察する。 学習可能なパワーウェイト集約規則に基づくF平均ニューロンと、距離認識親和性重み付けに基づくガウス支援ニューロンの2つの異なるアグリゲーション機構が導入された。 標準ニューロンの最適化安定性を維持するため,学習可能なブレンディングパラメータを通して線形と非線形のアグリゲーションを補間するハイブリッドニューロンを提案する。 CIFAR-10上の多層パーセプトロンと畳み込みニューラルネットワークの評価と、付加的なガウス崩壊を伴う雑音のCIFAR-10変異により、ハイブリッドニューロンはノイズ下でのロバスト性を一貫して改善する一方、F-Meanハイブリッドはクリーンなデータに対して適度な利得を得る。 この3方向ハイブリッドは標準ベースラインの0.890と比較して0.991までの堅牢性スコアを達成し、学習パラメータは一貫してサブ線形アグリゲーション(p$\approx$ 0.43--0.50)と高い新規ユーティリティ(α$$\approx$ 0.69--0.79)に収束する。 これらの結果は、より耐雑音性のあるニューラルネットワークを構築する上で、ニューロンレベルのアグリゲーションが有意義で未探索な設計次元であることを示唆している。

関連論文リスト

• N-ReLU: Zero-Mean Stochastic Extension of ReLU [5.691710068675227]
  N-ReLU (Noise-ReLU) は標準正則線型単位 (ReLU) の零平均拡張である。 負のアクティベーションをガウスノイズに置き換え、同じ期待出力を保っている。 N-ReLUは、ReLU、LeakyReLU、PRELU、GELU、RRELUに匹敵するロバスト性を実現する。
  論文  参考訳（メタデータ） (2025-11-10T19:07:10Z)
• Neuronal Group Communication for Efficient Neural representation [85.36421257648294]
  本稿では, 効率的な, モジュラー, 解釈可能な表現を学習する, 大規模ニューラルシステムの構築方法に関する問題に対処する。 本稿では、ニューラルネットワークを相互作用する神経群の動的システムとして再認識する理論駆動型フレームワークである神経グループ通信(NGC)を提案する。 NGCは、重みを埋め込みのようなニューロン状態間の過渡的な相互作用として扱い、神経計算はニューロン群間の反復的なコミュニケーションを通じて展開する。
  論文  参考訳（メタデータ） (2025-10-19T14:23:35Z)
• The Expressive Leaky Memory Neuron: an Efficient and Expressive Phenomenological Neuron Model Can Solve Long-Horizon Tasks [64.08042492426992]
  本稿では,脳皮質ニューロンの生物学的モデルであるExpressive Memory(ELM)ニューロンモデルを紹介する。 ELMニューロンは、上記の入力-出力関係を1万以下のトレーニング可能なパラメータと正確に一致させることができる。 本稿では,Long Range Arena(LRA)データセットなど,時間構造を必要とするタスクで評価する。
  論文  参考訳（メタデータ） (2023-06-14T13:34:13Z)
• Understanding Neural Coding on Latent Manifolds by Sharing Features and Dividing Ensembles [3.625425081454343]
  システム神経科学は、単一ニューロンのチューニング曲線と集団活動の分析を特徴とする2つの相補的な神経データ観に依存している。 これらの2つの視点は、潜伏変数とニューラルアクティビティの関係を制約するニューラル潜伏変数モデルにおいてエレガントに結合する。 ニューラルチューニング曲線にまたがる機能共有を提案し、性能を大幅に改善し、より良い最適化を実現する。
  論文  参考訳（メタデータ） (2022-10-06T18:37:49Z)
• Bayesian Neural Network Language Modeling for Speech Recognition [59.681758762712754]
  長期記憶リカレントニューラルネットワーク(LSTM-RNN)とトランスフォーマーで表される最先端のニューラルネットワーク言語モデル(NNLM)は非常に複雑になりつつある。 本稿では,LSTM-RNN と Transformer LM の基盤となる不確実性を考慮するために,ベイズ学習フレームワークの全体構造を提案する。
  論文  参考訳（メタデータ） (2022-08-28T17:50:19Z)
• Mean-Field Analysis of Two-Layer Neural Networks: Global Optimality with Linear Convergence Rates [7.094295642076582]
  平均場体制はNTK(lazy training)体制の理論的に魅力的な代替手段である。 平均場状態における連続ノイズ降下により訓練された2層ニューラルネットワークに対する線形収束結果を確立した。
  論文  参考訳（メタデータ） (2022-05-19T21:05:40Z)
• Robust Implicit Networks via Non-Euclidean Contractions [63.91638306025768]
  暗黙のニューラルネットワークは、精度の向上とメモリ消費の大幅な削減を示す。 彼らは不利な姿勢と収束の不安定さに悩まされる。 本論文は,ニューラルネットワークを高機能かつ頑健に設計するための新しい枠組みを提供する。
  論文  参考訳（メタデータ） (2021-06-06T18:05:02Z)
• The Compact Support Neural Network [6.47243430672461]
  本研究では, 標準ドット生成物に基づくニューロンとRBFニューロンを, 形状パラメータの2つの極端な場合として提示する。 トレーニングされた標準ニューラルネットワークから始めて、必要な値まで形状パラメータを徐々に増加させることで、そのようなニューロンによるニューラルネットワークのトレーニングの難しさを回避する方法を示す。
  論文  参考訳（メタデータ） (2021-04-01T06:08:09Z)
• Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
  一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。 線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。 提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
  論文  参考訳（メタデータ） (2020-07-02T17:55:47Z)
• On sparse connectivity, adversarial robustness, and a novel model of the artificial neuron [6.09170287691728]
  本稿では, ハードウェア要件が低く, 対向性摂動に対して固有の頑健性を有する「強いニューロン」という, 人工ニューロンの新しいモデルを提案する。 SVHN および GTSRB ベンチマークを用いて,本手法の有効性を実証する。 また、強いニューロンを構成するブロックが、敵の攻撃に対して完全な安定性を持つ唯一の活性化機能であることも証明した。
  論文  参考訳（メタデータ） (2020-06-16T20:45:08Z)
• Model Fusion via Optimal Transport [64.13185244219353]
  ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。 これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
  論文  参考訳（メタデータ） (2019-10-12T22:07:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。