論文の概要: On How Iterative Magnitude Pruning Discovers Local Receptive Fields in Fully Connected Neural Networks

• arxiv url: http://arxiv.org/abs/2412.06545v1
• Date: Mon, 09 Dec 2024 14:56:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-10 14:53:46.696563
• Title: On How Iterative Magnitude Pruning Discovers Local Receptive Fields in Fully Connected Neural Networks
• Title（参考訳）: 完全連結ニューラルネットワークにおける局所受容場を再現的マグニチュード・プルーニングがいかに発見するか
• Authors: William T. Redman, Zhangyang Wang, Alessandro Ingrosso, Sebastian Goldt,
• Abstract要約: イテレーティブ・マグニチュード・プルーニング(IMP)は、高性能にトレーニング可能なスパースワークを抽出する一般的な方法となっている。 近年の研究では、IMPを完全連結ニューラルネットワーク(FCN)に適用することは、局所受容野(RF)の出現につながることが示されている。 本稿では,非ガウス統計をFCNの表現に反復的に最大化し,局所性を高めるフィードバックループを作成することを提案する。
• 参考スコア（独自算出の注目度）: 92.66231524298554
• License:
• Abstract: Since its use in the Lottery Ticket Hypothesis, iterative magnitude pruning (IMP) has become a popular method for extracting sparse subnetworks that can be trained to high performance. Despite this, the underlying nature of IMP's general success remains unclear. One possibility is that IMP is especially capable of extracting and maintaining strong inductive biases. In support of this, recent work has shown that applying IMP to fully connected neural networks (FCNs) leads to the emergence of local receptive fields (RFs), an architectural feature present in mammalian visual cortex and convolutional neural networks. The question of how IMP is able to do this remains unanswered. Inspired by results showing that training FCNs on synthetic images with highly non-Gaussian statistics (e.g., sharp edges) is sufficient to drive the formation of local RFs, we hypothesize that IMP iteratively maximizes the non-Gaussian statistics present in the representations of FCNs, creating a feedback loop that enhances localization. We develop a new method for measuring the effect of individual weights on the statistics of the FCN representations ("cavity method"), which allows us to find evidence in support of this hypothesis. Our work, which is the first to study the effect IMP has on the representations of neural networks, sheds parsimonious light one way in which IMP can drive the formation of strong inductive biases.
• Abstract（参考訳）: Lottery Ticket仮説での使用以来、イテレーティブ・マグニチュード・プルーニング(IMP)は、高性能にトレーニング可能なスパース・サブネットを抽出する一般的な方法となっている。 それにもかかわらず、IMPの一般的な成功の根底にある性質はいまだ不明である。 1つの可能性として、IMPは特に強い誘導バイアスを抽出し、維持することができる。 近年の研究では、IMPを完全連結ニューラルネットワーク(FCN)に適用すると、哺乳類の視覚野と畳み込みニューラルネットワークに存在するアーキテクチャ的特徴である局所受容野(RF)が出現することを示した。 IMPがこれをどのようにできるのかという疑問は、まだ答えがない。 非ガウス的統計量(例えばシャープエッジ)を持つ合成画像上でのFCNのトレーニングは局所RFの形成を促進するのに十分であることを示す結果から着想を得た結果、IMPはFCNの表現に存在する非ガウス的統計量を反復的に最大化し、局所化を高めるフィードバックループを生成するという仮説を立てた。 本研究では,各重みがFCN表現(キャビティ法)の統計に与える影響を計測する新しい手法を開発した。 我々の研究は、IMPがニューラルネットワークの表現に与える影響を初めて研究し、IMPが強い帰納バイアスの形成を駆動する一つの方法として、同種の光を隠蔽する。

関連論文リスト

• Expressivity of Neural Networks with Random Weights and Learned Biases [44.02417750529102]
  最近の研究は、任意の関数がパラメータの小さな部分集合をチューニングすることによって同様に学習できることを示し、普遍近似の境界を推し進めている。 ランダムな重みを固定したフィードフォワードニューラルネットワークが、バイアスのみを学習することによって複数のタスクを実行することができることを示す理論的および数値的なエビデンスを提供する。 我々の結果は神経科学に関係しており、シナプスの重みを変えることなく動的に行動に関連のある変化が起こる可能性を実証している。
  論文  参考訳（メタデータ） (2024-07-01T04:25:49Z)
• Beyond IID weights: sparse and low-rank deep Neural Networks are also Gaussian Processes [3.686808512438363]
  我々は Matthews らの証明を、より大きな初期重み分布のクラスに拡張する。 また,PSEUDO-IID分布を用いた完全連結・畳み込みネットワークは,その分散にほぼ等価であることを示す。 この結果を用いて、ニューラルネットワークの幅広いクラスに対してEdge-of-Chaosを識別し、トレーニングを強化するために臨界度で調整することができる。
  論文  参考訳（メタデータ） (2023-10-25T12:38:36Z)
• Why Neural Networks Work [0.32228025627337864]
  完全接続型フィードフォワードニューラルネットワーク(FCNN)の多くの特性は、1対の操作の解析から説明可能であると論じる。 文献で論じられた現象がいかに拡大・スパーシフィケーションが説明できるかを示す。
  論文  参考訳（メタデータ） (2022-11-26T18:15:17Z)
• The Spectral Bias of Polynomial Neural Networks [63.27903166253743]
  PNN(Polynomial Neural Network)は、高頻度情報を重要視する画像生成と顔認識に特に有効であることが示されている。 これまでの研究では、ニューラルネットワークが低周波関数に対して$textitspectral bias$を示しており、トレーニング中に低周波成分のより高速な学習をもたらすことが示されている。 このような研究に触発されて、我々はPNNのTangent Kernel(NTK)のスペクトル分析を行う。 我々は、最近提案されたPNNのパラメトリゼーションである$Pi$-Netファミリがスピードアップすることを発見した。
  論文  参考訳（メタデータ） (2022-02-27T23:12:43Z)
• Why Lottery Ticket Wins? A Theoretical Perspective of Sample Complexity on Pruned Neural Networks [79.74580058178594]
  目的関数の幾何学的構造を解析することにより、刈り取られたニューラルネットワークを訓練する性能を解析する。 本稿では,ニューラルネットワークモデルがプルーニングされるにつれて,一般化が保証された望ましいモデル近傍の凸領域が大きくなることを示す。
  論文  参考訳（メタデータ） (2021-10-12T01:11:07Z)
• Path classification by stochastic linear recurrent neural networks [2.5499055723658097]
  トレーニングや分類作業に利用されるユニークな情報として,RNNが供給される経路の部分的なシグネチャを保持することを示す。 これらのRNNは訓練が容易で堅牢であり、これらの観測を合成データと実データの両方で数値実験で裏付けるものである、と我々は主張する。
  論文  参考訳（メタデータ） (2021-08-06T12:59:12Z)
• FF-NSL: Feed-Forward Neural-Symbolic Learner [70.978007919101]
  本稿では,Feed-Forward Neural-Symbolic Learner (FF-NSL) と呼ばれるニューラルシンボリック学習フレームワークを紹介する。 FF-NSLは、ラベル付き非構造化データから解釈可能な仮説を学習するために、Answer Setセマンティクスに基づく最先端のICPシステムとニューラルネットワークを統合する。
  論文  参考訳（メタデータ） (2021-06-24T15:38:34Z)
• A tensor network representation of path integrals: Implementation and analysis [0.0]
  ファインマン・ヴァーノン効果関数を含む経路積分シミュレーションのテンソルネットワークに基づく新しい分解法を提案する。 影響関数によって導入された有限の一時的な非局所相互作用は、行列積状態表現を用いて非常に効率的に捉えることができる。 AP-TNPIフレームワークの柔軟性により、非平衡量子力学のための経路積分法ファミリーに新たな期待が持てる。
  論文  参考訳（メタデータ） (2021-06-23T16:41:54Z)
• Towards Evaluating and Training Verifiably Robust Neural Networks [81.39994285743555]
  We study the relationship between IBP and CROWN, and prove that CROWN are always tight than IBP when select each bounding lines。 線形結合伝播(LBP) CROWNの緩やかなバージョンを提案する。これは、大きなネットワークを検証して、より低い検証エラーを得るのに使用できる。
  論文  参考訳（メタデータ） (2021-04-01T13:03:48Z)
• How Neural Networks Extrapolate: From Feedforward to Graph Neural Networks [80.55378250013496]
  勾配勾配降下法によりトレーニングされたニューラルネットワークが、トレーニング分布の支持の外で学んだことを外挿する方法について検討する。 グラフニューラルネットワーク(GNN)は、より複雑なタスクでいくつかの成功を収めている。
  論文  参考訳（メタデータ） (2020-09-24T17:48:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。