論文の概要: On the special role of class-selective neurons in early training
- arxiv url: http://arxiv.org/abs/2305.17409v1
- Date: Sat, 27 May 2023 08:22:34 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-30 19:36:42.975236
- Title: On the special role of class-selective neurons in early training
- Title（参考訳）: 早期訓練におけるクラス選択ニューロンの役割について
- Authors: Omkar Ranadive, Nikhil Thakurdesai, Ari S Morcos, Matthew Leavitt,
St\'ephane Deny
- Abstract要約: 訓練開始後数回でクラス選択性ニューロンが出現し,その後急速に後退するが完全ではない。
単一ニューロンアブレーション実験により、この訓練の初期段階において、クラス選択性ニューロンがネットワーク機能にとって重要であることが示された。
トレーニングの初期段階において、クラス選択性ニューロンの存在がネットワークのトレーニングの成功に不可欠であることを示す。
- 参考スコア（独自算出の注目度）: 14.069478981641938
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: It is commonly observed that deep networks trained for classification exhibit
class-selective neurons in their early and intermediate layers. Intriguingly,
recent studies have shown that these class-selective neurons can be ablated
without deteriorating network function. But if class-selective neurons are not
necessary, why do they exist? We attempt to answer this question in a series of
experiments on ResNet-50s trained on ImageNet. We first show that
class-selective neurons emerge during the first few epochs of training, before
receding rapidly but not completely; this suggests that class-selective neurons
found in trained networks are in fact vestigial remains of early training. With
single-neuron ablation experiments, we then show that class-selective neurons
are important for network function in this early phase of training. We also
observe that the network is close to a linear regime in this early phase; we
thus speculate that class-selective neurons appear early in training as
quasi-linear shortcut solutions to the classification task. Finally, in causal
experiments where we regularize against class selectivity at different points
in training, we show that the presence of class-selective neurons early in
training is critical to the successful training of the network; in contrast,
class-selective neurons can be suppressed later in training with little effect
on final accuracy. It remains to be understood by which mechanism the presence
of class-selective neurons in the early phase of training contributes to the
successful training of networks.
- Abstract（参考訳）: 分類のために訓練された深層ネットワークは、その初期層と中間層にクラス選択的ニューロンを示すことが一般的である。
興味深いことに、最近の研究では、これらのクラス選択性ニューロンはネットワーク機能を低下させることなく減少させることができることが示されている。
しかし、もしクラス選択ニューロンが必要でなければ、なぜ存在するのか?
我々は、ImageNetでトレーニングされたResNet-50の一連の実験で、この問題に答えようとしている。
まず, クラス選択ニューロンは, トレーニング開始後数年で出現し, 急速に回復するが, 完全ではないことを示し, 学習ネットワークで見られるクラス選択ニューロンは, 早期訓練の既往の遺残であることが示唆された。
単一ニューロンアブレーション実験により,この初期トレーニングにおいて,クラス選択性ニューロンがネットワーク機能にとって重要であることを示した。
また,ネットワークはこの初期段階において線形状態に近いことから,分類タスクの準線形ショートカット解として,クラス選択性ニューロンが訓練の初期段階に現れると推測する。
最後に、訓練の異なる点におけるクラス選択性に対して正則化を行う因果実験において、トレーニングの初期におけるクラス選択性ニューロンの存在がネットワークのトレーニングの成功に重要であることを示す。
トレーニングの初期段階におけるクラス選択的ニューロンの存在のメカニズムがネットワークのトレーニングの成功に寄与するかは、まだ理解されていない。
関連論文リスト
- Simple and Effective Transfer Learning for Neuro-Symbolic Integration [50.592338727912946]
この問題の潜在的な解決策はNeuro-Symbolic Integration (NeSy)であり、ニューラルアプローチとシンボリック推論を組み合わせる。
これらの手法のほとんどは、認識をシンボルにマッピングするニューラルネットワークと、下流タスクの出力を予測する論理的論理的推論を利用する。
それらは、緩やかな収束、複雑な知覚タスクの学習困難、局所的なミニマへの収束など、いくつかの問題に悩まされている。
本稿では,これらの問題を改善するための簡易かつ効果的な方法を提案する。
論文 参考訳（メタデータ） (2024-02-21T15:51:01Z) - Fast gradient-free activation maximization for neurons in spiking neural networks [5.805438104063613]
このようなループのための効率的な設計のフレームワークを提案する。
トレーニング中の人工ニューロンの最適刺激の変化を追跡する。
この洗練された最適刺激の形成は、分類精度の増大と関連している。
論文 参考訳（メタデータ） (2023-12-28T18:30:13Z) - Seeking Next Layer Neurons' Attention for Error-Backpropagation-Like
Training in a Multi-Agent Network Framework [6.446189857311325]
本研究は, ニューロンの局所的な目的として, エラーのバックプロパゲーションと類似性を示すことを提案する。
本研究では,局所的な目的を最大化するために,自律神経系と自律神経系を組み合わせたニューラルネットワークについて検討する。
3つのデータセットの実験を通して、これらのマルチエージェントニューラルネットワークの学習能力を実証する。
論文 参考訳（メタデータ） (2023-10-15T21:07:09Z) - Spike-based computation using classical recurrent neural networks [1.9171404264679484]
スパイキングニューラルネットワーク(英: Spiking Neural Network)は、ニューロン間の通信が、スパイクと呼ばれるイベントのみによって構成される人工ニューラルネットワークである。
我々は、よく知られた、訓練が容易なリカレントニューラルネットワークのダイナミクスを変更して、イベントベースにする。
この新ネットワークは,MNISTベンチマークにおいて,他の種類のスパイクネットワークに匹敵する性能が得られることを示す。
論文 参考訳（メタデータ） (2023-06-06T12:19:12Z) - Spiking neural network for nonlinear regression [68.8204255655161]
スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。
彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。
スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
論文 参考訳（メタデータ） (2022-10-06T13:04:45Z) - Neural Capacitance: A New Perspective of Neural Network Selection via
Edge Dynamics [85.31710759801705]
現在の実践は、性能予測のためのモデルトレーニングにおいて高価な計算コストを必要とする。
本稿では,学習中のシナプス接続(エッジ)上の制御ダイナミクスを解析し,ニューラルネットワーク選択のための新しいフレームワークを提案する。
我々のフレームワークは、ニューラルネットワークトレーニング中のバックプロパゲーションがシナプス接続の動的進化と等価であるという事実に基づいて構築されている。
論文 参考訳（メタデータ） (2022-01-11T20:53:15Z) - Dynamic Neural Diversification: Path to Computationally Sustainable
Neural Networks [68.8204255655161]
訓練可能なパラメータが制限された小さなニューラルネットワークは、多くの単純なタスクに対してリソース効率の高い候補となる。
学習過程において隠れた層内のニューロンの多様性を探索する。
ニューロンの多様性がモデルの予測にどのように影響するかを分析する。
論文 参考訳（メタデータ） (2021-09-20T15:12:16Z) - Redundant representations help generalization in wide neural networks [71.38860635025907]
様々な最先端の畳み込みニューラルネットワークの最後に隠された層表現について検討する。
最後に隠された表現が十分に広ければ、そのニューロンは同一の情報を持つグループに分裂し、統計的に独立したノイズによってのみ異なる傾向にある。
論文 参考訳（メタデータ） (2021-06-07T10:18:54Z) - A Deep Conditioning Treatment of Neural Networks [37.192369308257504]
本研究では,入力データの特定のカーネル行列の条件付けを改善することにより,ニューラルネットワークのトレーニング性を向上させることを示す。
ニューラルネットワークの上位層のみのトレーニングと、ニューラルネットワークのタンジェントカーネルを通じてすべてのレイヤをトレーニングするための学習を行うためのバージョンを提供しています。
論文 参考訳（メタデータ） (2020-02-04T20:21:36Z) - Non-linear Neurons with Human-like Apical Dendrite Activations [81.18416067005538]
XOR論理関数を100%精度で学習し, 標準的なニューロンに後続のアピーカルデンドライト活性化(ADA)が認められた。
コンピュータビジョン,信号処理,自然言語処理の6つのベンチマークデータセットについて実験を行った。
論文 参考訳（メタデータ） (2020-02-02T21:09:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。