論文の概要: Neuron with Steady Response Leads to Better Generalization

• arxiv url: http://arxiv.org/abs/2111.15414v1
• Date: Tue, 30 Nov 2021 14:08:29 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-01 15:53:23.854468
• Title: Neuron with Steady Response Leads to Better Generalization
• Title（参考訳）: 定常反応を持つニューロンはより一般化する
• Authors: Qiang Fu, Lun Du, Haitao Mao, Xu Chen, Wei Fang, Shi Han and Dongmei Zhang
• Abstract要約: 本稿では,ニューロン内応答のばらつきを低減するために,ニューロン定常正規化と呼ばれる新しい正規化手法を提案する。 我々は、多層知覚、畳み込みニューラルネットワーク、グラフニューラルネットワークについて、様々なドメインの一般的なベンチマークデータセットを用いて実験を行う。
• 参考スコア（独自算出の注目度）: 31.64957274989468
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Regularization can mitigate the generalization gap between training and inference by introducing inductive bias. Existing works have already proposed various inductive biases from diverse perspectives. However, to the best of our knowledge, none of them explores inductive bias from the perspective of class-dependent response distribution of individual neurons. In this paper, we conduct a substantial analysis of the characteristics of such distribution. Based on the analysis results, we articulate the Neuron Steadiness Hypothesis: the neuron with similar responses to instances of the same class leads to better generalization. Accordingly, we propose a new regularization method called Neuron Steadiness Regularization to reduce neuron intra-class response variance. We conduct extensive experiments on Multilayer Perceptron, Convolutional Neural Network, and Graph Neural Network with popular benchmark datasets of diverse domains, which show that our Neuron Steadiness Regularization consistently outperforms the vanilla version of models with significant gain and low additional overhead.
• Abstract（参考訳）: 正規化は、帰納バイアスを導入することによって、トレーニングと推論の間の一般化ギャップを軽減することができる。 既存の研究はすでに様々な視点から様々な帰納バイアスを提案している。 しかしながら、私たちの知る限りでは、個々のニューロンのクラス依存応答分布の観点から誘導バイアスを探索する者はいない。 本稿では,そのような分布の特性を定量的に解析する。 解析結果に基づき、ニューロンの安定性仮説を定式化し、同じクラスの例に類似した応答を持つニューロンがより一般化する。 そこで本研究では,ニューロン内応答のばらつきを低減するために,ニューロン定常正規化と呼ばれる新しい正規化手法を提案する。 我々は、多層パーセプトロン、畳み込みニューラルネットワーク、グラフニューラルネットワークに関する広範な実験を行い、さまざまなドメインの一般的なベンチマークデータセットを用いて、我々のニューロン定常正規化が、大きなゲインと低いオーバーヘッドでバニラバージョンのモデルより一貫して優れていることを示す。

関連論文リスト

• Confidence Regulation Neurons in Language Models [91.90337752432075]
  本研究では,大規模言語モデルが次世代の予測において不確実性を表現・規制するメカニズムについて検討する。 エントロピーニューロンは異常に高い重量ノルムを特徴とし、最終層正規化(LayerNorm)スケールに影響を与え、ロジットを効果的にスケールダウンさせる。 ここで初めて説明するトークン周波数ニューロンは、各トークンのログをそのログ周波数に比例して増加または抑制することで、出力分布をユニグラム分布から遠ざかる。
  論文  参考訳（メタデータ） (2024-06-24T01:31:03Z)
• Decorrelating neurons using persistence [29.25969187808722]
  2つの正規化項は、クリッドの最小スパンニングツリーの重みから計算される。 ニューロン間の相関関係を最小化することで、正規化条件よりも低い精度が得られることを示す。 正規化の可微分性の証明を含むので、最初の効果的なトポロジカルな永続性に基づく正規化用語を開発することができる。
  論文  参考訳（メタデータ） (2023-08-09T11:09:14Z)
• Learning a Neuron by a Shallow ReLU Network: Dynamics and Implicit Bias for Correlated Inputs [5.7166378791349315]
  我々は、単一ニューロンを学習する基本的な回帰タスクとして、1つの隠れた層ReLUネットワークをトレーニングすると、損失がゼロとなることを証明した。 また、最小ランクの補間ネットワークと最小ユークリッドノルムの補間ネットワークのこの設定において、驚くべき区別を示し、特徴付ける。
  論文  参考訳（メタデータ） (2023-06-10T16:36:22Z)
• Learning Low Dimensional State Spaces with Overparameterized Recurrent Neural Nets [57.06026574261203]
  我々は、長期記憶をモデル化できる低次元状態空間を学習するための理論的証拠を提供する。 実験は、線形RNNと非線形RNNの両方で低次元状態空間を学習することで、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2022-10-25T14:45:15Z)
• Understanding Neural Coding on Latent Manifolds by Sharing Features and Dividing Ensembles [3.625425081454343]
  システム神経科学は、単一ニューロンのチューニング曲線と集団活動の分析を特徴とする2つの相補的な神経データ観に依存している。 これらの2つの視点は、潜伏変数とニューラルアクティビティの関係を制約するニューラル潜伏変数モデルにおいてエレガントに結合する。 ニューラルチューニング曲線にまたがる機能共有を提案し、性能を大幅に改善し、より良い最適化を実現する。
  論文  参考訳（メタデータ） (2022-10-06T18:37:49Z)
• Extrapolation and Spectral Bias of Neural Nets with Hadamard Product: a Polynomial Net Study [55.12108376616355]
  NTKの研究は典型的なニューラルネットワークアーキテクチャに特化しているが、アダマール製品(NNs-Hp)を用いたニューラルネットワークには不完全である。 本研究では,ニューラルネットワークの特別なクラスであるNNs-Hpに対する有限幅Kの定式化を導出する。 我々は,カーネル回帰予測器と関連するNTKとの等価性を証明し,NTKの適用範囲を拡大する。
  論文  参考訳（メタデータ） (2022-09-16T06:36:06Z)
• Debiased Graph Neural Networks with Agnostic Label Selection Bias [59.61301255860836]
  既存のグラフニューラルネットワーク(GNN)のほとんどは、データの選択バイアスを考慮せずに提案されている。 本稿では,デコリレーションレギュレータを区別した新しいデバイアスドグラフニューラルネットワーク(DGNN)を提案する。 DGNNは既存のGNNを強化するフレキシブルなフレームワークである。
  論文  参考訳（メタデータ） (2022-01-19T16:50:29Z)
• Redundant representations help generalization in wide neural networks [71.38860635025907]
  様々な最先端の畳み込みニューラルネットワークの最後に隠された層表現について検討する。 最後に隠された表現が十分に広ければ、そのニューロンは同一の情報を持つグループに分裂し、統計的に独立したノイズによってのみ異なる傾向にある。
  論文  参考訳（メタデータ） (2021-06-07T10:18:54Z)
• Learning with Hyperspherical Uniformity [35.22121127423701]
  L2正規化はニューラルネットワークの標準正規化として機能する。 これに動機づけられた超球面均一性は、関係正規化の新しい族として提案される。
  論文  参考訳（メタデータ） (2021-03-02T11:20:30Z)
• Compositional Explanations of Neurons [52.71742655312625]
  本稿では, 合成論理的概念を同定し, 深部表現におけるニューロンの説明手順について述べる。 本稿では,視覚と自然言語処理のモデルにおける解釈可能性に関するいくつかの疑問に答えるために,この手順を用いる。
  論文  参考訳（メタデータ） (2020-06-24T20:37:05Z)
• A new inference approach for training shallow and deep generalized linear models of noisy interacting neurons [4.899818550820575]
  我々は2段階の推論戦略を開発し、相互作用するニューロンの堅牢な一般化線形モデルを訓練する。 古典的手法と比較して、この方法で訓練されたモデルは性能が向上していることが示される。 この手法は深部畳み込みニューラルネットワークに拡張することができ、ニューロンの発火速度とその相関の予測精度の高いモデルが得られる。
  論文  参考訳（メタデータ） (2020-06-11T15:09:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。