論文の概要: On How Iterative Magnitude Pruning Discovers Local Receptive Fields in Fully Connected Neural Networks

• arxiv url: http://arxiv.org/abs/2412.06545v3
• Date: Mon, 10 Mar 2025 20:43:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-12 19:16:34.022835
• Title: On How Iterative Magnitude Pruning Discovers Local Receptive Fields in Fully Connected Neural Networks
• Title（参考訳）: 完全連結ニューラルネットワークにおける局所受容場を再現的マグニチュード・プルーニングがいかに発見するか
• Authors: William T. Redman, Zhangyang Wang, Alessandro Ingrosso, Sebastian Goldt,
• Abstract要約: イテレーティブ・マグニチュード・プルーニング(IMP)は、高性能にトレーニングできるスパース・コンボリューションワークを抽出する一般的な方法となっている。 近年の研究では、IMPを完全連結ニューラルネットワーク(FCN)に適用することで、局所受容野(RF)の出現につながることが示されている。 非ガウス的統計量(例えばシャープエッジ)を用いた合成画像のトレーニングは、FCNにおける局所RFの出現を促進するのに十分であることを示す結果から着想を得て、IMPが非ガウス的統計量のFCN表現を反復的に増加させるという仮説を立てた。
• 参考スコア（独自算出の注目度）: 92.66231524298554
• License:
• Abstract: Since its use in the Lottery Ticket Hypothesis, iterative magnitude pruning (IMP) has become a popular method for extracting sparse subnetworks that can be trained to high performance. Despite its success, the mechanism that drives the success of IMP remains unclear. One possibility is that IMP is capable of extracting subnetworks with good inductive biases that facilitate performance. Supporting this idea, recent work showed that applying IMP to fully connected neural networks (FCNs) leads to the emergence of local receptive fields (RFs), a feature of mammalian visual cortex and convolutional neural networks that facilitates image processing. However, it remains unclear why IMP would uncover localized features in the first place. Inspired by results showing that training on synthetic images with highly non-Gaussian statistics (e.g., sharp edges) is sufficient to drive the emergence of local RFs in FCNs, we hypothesize that IMP iteratively increases the non-Gaussian statistics of FCN representations, creating a feedback loop that enhances localization. Here, we demonstrate first that non-Gaussian input statistics are indeed necessary for IMP to discover localized RFs. We then develop a new method for measuring the effect of individual weights on the statistics of the FCN representations ("cavity method"), which allows us to show that IMP systematically increases the non-Gaussianity of pre-activations, leading to the formation of localized RFs. Our work, which is the first to study the effect of IMP on the statistics of the representations of neural networks, sheds parsimonious light on one way in which IMP can drive the formation of strong inductive biases.
• Abstract（参考訳）: Lottery Ticket仮説での使用以来、イテレーティブ・マグニチュード・プルーニング(IMP)は、高性能にトレーニング可能なスパース・サブネットを抽出する一般的な方法となっている。 その成功にもかかわらず、IMPの成功を促進するメカニズムは未だに不明である。 1つの可能性として、IMPはパフォーマンスを促進する優れた誘導バイアスでサブネットを抽出できる。 このアイデアを支持した最近の研究は、IMPを完全連結ニューラルネットワーク(FCN)に適用することで、哺乳類の視覚野と画像処理を容易にする畳み込みニューラルネットワークの特徴である局所受容野(RF)が出現することを示した。 しかし、なぜIMPが最初にローカライズされた機能を明らかにするのかは不明だ。 非ガウス的統計量(例えば、鋭いエッジ)を用いた合成画像のトレーニングは、FCNにおける局所RFの出現を促進するのに十分であることを示す結果から、IMPはFCN表現の非ガウス的統計量を反復的に増加させ、局所化を高めるフィードバックループを生成すると仮定する。 ここでは、IMPが局所化RFを発見するためには、非ガウス入力統計学が本当に必要であることを示す。 そこで我々は,各重みがFCN表現の統計量に与える影響(キャビティ法)を測定する新しい手法を開発し,IMPが前活性化の非ガウス性を体系的に増加させ,局所化RFの形成をもたらすことを示す。 我々の研究は、IMPがニューラルネットワークの表現の統計に与える影響を初めて研究し、IMPが強い帰納バイアスを生じさせる方法の一つとして、パシモニアス光を隠蔽する。

関連論文リスト

• Expressivity of Neural Networks with Random Weights and Learned Biases [44.02417750529102]
  最近の研究は、任意の関数がパラメータの小さな部分集合をチューニングすることによって同様に学習できることを示し、普遍近似の境界を推し進めている。 ランダムな重みを固定したフィードフォワードニューラルネットワークが、バイアスのみを学習することによって複数のタスクを実行することができることを示す理論的および数値的なエビデンスを提供する。 我々の結果は神経科学に関係しており、シナプスの重みを変えることなく動的に行動に関連のある変化が起こる可能性を実証している。
  論文  参考訳（メタデータ） (2024-07-01T04:25:49Z)
• Beyond IID weights: sparse and low-rank deep Neural Networks are also Gaussian Processes [3.686808512438363]
  我々は Matthews らの証明を、より大きな初期重み分布のクラスに拡張する。 また,PSEUDO-IID分布を用いた完全連結・畳み込みネットワークは,その分散にほぼ等価であることを示す。 この結果を用いて、ニューラルネットワークの幅広いクラスに対してEdge-of-Chaosを識別し、トレーニングを強化するために臨界度で調整することができる。
  論文  参考訳（メタデータ） (2023-10-25T12:38:36Z)
• Why Neural Networks Work [0.32228025627337864]
  完全接続型フィードフォワードニューラルネットワーク(FCNN)の多くの特性は、1対の操作の解析から説明可能であると論じる。 文献で論じられた現象がいかに拡大・スパーシフィケーションが説明できるかを示す。
  論文  参考訳（メタデータ） (2022-11-26T18:15:17Z)
• The Spectral Bias of Polynomial Neural Networks [63.27903166253743]
  PNN(Polynomial Neural Network)は、高頻度情報を重要視する画像生成と顔認識に特に有効であることが示されている。 これまでの研究では、ニューラルネットワークが低周波関数に対して$textitspectral bias$を示しており、トレーニング中に低周波成分のより高速な学習をもたらすことが示されている。 このような研究に触発されて、我々はPNNのTangent Kernel(NTK)のスペクトル分析を行う。 我々は、最近提案されたPNNのパラメトリゼーションである$Pi$-Netファミリがスピードアップすることを発見した。
  論文  参考訳（メタデータ） (2022-02-27T23:12:43Z)
• Why Lottery Ticket Wins? A Theoretical Perspective of Sample Complexity on Pruned Neural Networks [79.74580058178594]
  目的関数の幾何学的構造を解析することにより、刈り取られたニューラルネットワークを訓練する性能を解析する。 本稿では,ニューラルネットワークモデルがプルーニングされるにつれて,一般化が保証された望ましいモデル近傍の凸領域が大きくなることを示す。
  論文  参考訳（メタデータ） (2021-10-12T01:11:07Z)
• Path classification by stochastic linear recurrent neural networks [2.5499055723658097]
  トレーニングや分類作業に利用されるユニークな情報として,RNNが供給される経路の部分的なシグネチャを保持することを示す。 これらのRNNは訓練が容易で堅牢であり、これらの観測を合成データと実データの両方で数値実験で裏付けるものである、と我々は主張する。
  論文  参考訳（メタデータ） (2021-08-06T12:59:12Z)
• FF-NSL: Feed-Forward Neural-Symbolic Learner [70.978007919101]
  本稿では,Feed-Forward Neural-Symbolic Learner (FF-NSL) と呼ばれるニューラルシンボリック学習フレームワークを紹介する。 FF-NSLは、ラベル付き非構造化データから解釈可能な仮説を学習するために、Answer Setセマンティクスに基づく最先端のICPシステムとニューラルネットワークを統合する。
  論文  参考訳（メタデータ） (2021-06-24T15:38:34Z)
• A tensor network representation of path integrals: Implementation and analysis [0.0]
  ファインマン・ヴァーノン効果関数を含む経路積分シミュレーションのテンソルネットワークに基づく新しい分解法を提案する。 影響関数によって導入された有限の一時的な非局所相互作用は、行列積状態表現を用いて非常に効率的に捉えることができる。 AP-TNPIフレームワークの柔軟性により、非平衡量子力学のための経路積分法ファミリーに新たな期待が持てる。
  論文  参考訳（メタデータ） (2021-06-23T16:41:54Z)
• Towards Evaluating and Training Verifiably Robust Neural Networks [81.39994285743555]
  We study the relationship between IBP and CROWN, and prove that CROWN are always tight than IBP when select each bounding lines。 線形結合伝播(LBP) CROWNの緩やかなバージョンを提案する。これは、大きなネットワークを検証して、より低い検証エラーを得るのに使用できる。
  論文  参考訳（メタデータ） (2021-04-01T13:03:48Z)
• How Neural Networks Extrapolate: From Feedforward to Graph Neural Networks [80.55378250013496]
  勾配勾配降下法によりトレーニングされたニューラルネットワークが、トレーニング分布の支持の外で学んだことを外挿する方法について検討する。 グラフニューラルネットワーク(GNN)は、より複雑なタスクでいくつかの成功を収めている。
  論文  参考訳（メタデータ） (2020-09-24T17:48:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。