論文の概要: On How Iterative Magnitude Pruning Discovers Local Receptive Fields in Fully Connected Neural Networks
- arxiv url: http://arxiv.org/abs/2412.06545v3
- Date: Mon, 10 Mar 2025 20:43:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-12 18:30:33.051166
- Title: On How Iterative Magnitude Pruning Discovers Local Receptive Fields in Fully Connected Neural Networks
- Title（参考訳）: 完全連結ニューラルネットワークにおける局所受容場を再現的マグニチュード・プルーニングがいかに発見するか
- Authors: William T. Redman, Zhangyang Wang, Alessandro Ingrosso, Sebastian Goldt,
- Abstract要約: イテレーティブ・マグニチュード・プルーニング(IMP)は、高性能にトレーニングできるスパース・コンボリューションワークを抽出する一般的な方法となっている。
近年の研究では、IMPを完全連結ニューラルネットワーク(FCN)に適用することで、局所受容野(RF)の出現につながることが示されている。
非ガウス的統計量(例えばシャープエッジ)を用いた合成画像のトレーニングは、FCNにおける局所RFの出現を促進するのに十分であることを示す結果から着想を得て、IMPが非ガウス的統計量のFCN表現を反復的に増加させるという仮説を立てた。
- 参考スコア（独自算出の注目度）: 92.66231524298554
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Since its use in the Lottery Ticket Hypothesis, iterative magnitude pruning (IMP) has become a popular method for extracting sparse subnetworks that can be trained to high performance. Despite its success, the mechanism that drives the success of IMP remains unclear. One possibility is that IMP is capable of extracting subnetworks with good inductive biases that facilitate performance. Supporting this idea, recent work showed that applying IMP to fully connected neural networks (FCNs) leads to the emergence of local receptive fields (RFs), a feature of mammalian visual cortex and convolutional neural networks that facilitates image processing. However, it remains unclear why IMP would uncover localized features in the first place. Inspired by results showing that training on synthetic images with highly non-Gaussian statistics (e.g., sharp edges) is sufficient to drive the emergence of local RFs in FCNs, we hypothesize that IMP iteratively increases the non-Gaussian statistics of FCN representations, creating a feedback loop that enhances localization. Here, we demonstrate first that non-Gaussian input statistics are indeed necessary for IMP to discover localized RFs. We then develop a new method for measuring the effect of individual weights on the statistics of the FCN representations ("cavity method"), which allows us to show that IMP systematically increases the non-Gaussianity of pre-activations, leading to the formation of localized RFs. Our work, which is the first to study the effect of IMP on the statistics of the representations of neural networks, sheds parsimonious light on one way in which IMP can drive the formation of strong inductive biases.
- Abstract（参考訳）: Lottery Ticket仮説での使用以来、イテレーティブ・マグニチュード・プルーニング(IMP)は、高性能にトレーニング可能なスパース・サブネットを抽出する一般的な方法となっている。
その成功にもかかわらず、IMPの成功を促進するメカニズムは未だに不明である。
1つの可能性として、IMPはパフォーマンスを促進する優れた誘導バイアスでサブネットを抽出できる。
このアイデアを支持した最近の研究は、IMPを完全連結ニューラルネットワーク(FCN)に適用することで、哺乳類の視覚野と画像処理を容易にする畳み込みニューラルネットワークの特徴である局所受容野(RF)が出現することを示した。
しかし、なぜIMPが最初にローカライズされた機能を明らかにするのかは不明だ。
非ガウス的統計量(例えば、鋭いエッジ)を用いた合成画像のトレーニングは、FCNにおける局所RFの出現を促進するのに十分であることを示す結果から、IMPはFCN表現の非ガウス的統計量を反復的に増加させ、局所化を高めるフィードバックループを生成すると仮定する。
ここでは、IMPが局所化RFを発見するためには、非ガウス入力統計学が本当に必要であることを示す。
そこで我々は,各重みがFCN表現の統計量に与える影響(キャビティ法)を測定する新しい手法を開発し,IMPが前活性化の非ガウス性を体系的に増加させ,局所化RFの形成をもたらすことを示す。
我々の研究は、IMPがニューラルネットワークの表現の統計に与える影響を初めて研究し、IMPが強い帰納バイアスを生じさせる方法の一つとして、パシモニアス光を隠蔽する。
関連論文リスト
- Bayesian Reasoning Enabled by Spin-Orbit Torque Magnetic Tunnel Junctions [7.081096702778852]
本稿では,スピン軌道型トルクトンネル接合(SOT-MTJ)のベイジアンネットワーク推論への応用を実証した概念実証実験について述べる。
ネットワークのパラメータは、単純なポイント・バイ・ポイントのトレーニングアルゴリズムによって最適にアプローチすることもできる。
SOT-MTJをランダム数生成器およびサンプリング器として用いた簡易診断システムを開発した。
論文 参考訳（メタデータ） (2025-04-11T05:02:27Z) - Out-of-Distribution Detection using Neural Activation Prior [15.673290330356194]
アウト・オブ・ディストリビューション検出(OOD)は、機械学習モデルを現実世界にデプロイする上で重要な技術である。
OOD検出のためのシンプルで効果的なニューラルアクティベーションプリミティブ(NAP)を提案する。
提案手法は,CIFARベンチマークとImageNetデータセット上での最先端性能を実現する。
論文 参考訳（メタデータ） (2024-02-28T08:45:07Z) - Beyond IID weights: sparse and low-rank deep Neural Networks are also Gaussian Processes [3.686808512438363]
我々は Matthews らの証明を、より大きな初期重み分布のクラスに拡張する。
また,PSEUDO-IID分布を用いた完全連結・畳み込みネットワークは,その分散にほぼ等価であることを示す。
この結果を用いて、ニューラルネットワークの幅広いクラスに対してEdge-of-Chaosを識別し、トレーニングを強化するために臨界度で調整することができる。
論文 参考訳（メタデータ） (2023-10-25T12:38:36Z) - Approximate Thompson Sampling via Epistemic Neural Networks [26.872304174606278]
てんかん性ニューラルネットワーク(ENN)は、正確な関節の予測分布を生成するように設計されている。
ENNがこの目的をうまく果たし、共同予測分布の質がいかに性能を向上させるかを示す。
論文 参考訳（メタデータ） (2023-02-18T01:58:15Z) - Why Neural Networks Work [0.32228025627337864]
完全接続型フィードフォワードニューラルネットワーク(FCNN)の多くの特性は、1対の操作の解析から説明可能であると論じる。
文献で論じられた現象がいかに拡大・スパーシフィケーションが説明できるかを示す。
論文 参考訳（メタデータ） (2022-11-26T18:15:17Z) - Increasing the Accuracy of a Neural Network Using Frequency Selective
Mesh-to-Grid Resampling [4.211128681972148]
ニューラルネットワークの入力データの処理にFSMR(Keypoint frequency selective mesh-to-grid resampling)を提案する。
ネットワークアーキテクチャや分類タスクによって、トレーニング中のFSMRの適用は学習プロセスに役立ちます。
ResNet50とOxflower17データセットの分類精度は最大4.31ポイント向上できる。
論文 参考訳（メタデータ） (2022-09-28T21:34:47Z) - On the Neural Tangent Kernel Analysis of Randomly Pruned Neural Networks [91.3755431537592]
ニューラルネットワークのニューラルカーネル(NTK)に重みのランダムプルーニングが及ぼす影響について検討する。
特に、この研究は、完全に接続されたニューラルネットワークとそのランダムに切断されたバージョン間のNTKの等価性を確立する。
論文 参考訳（メタデータ） (2022-03-27T15:22:19Z) - Why Lottery Ticket Wins? A Theoretical Perspective of Sample Complexity
on Pruned Neural Networks [79.74580058178594]
目的関数の幾何学的構造を解析することにより、刈り取られたニューラルネットワークを訓練する性能を解析する。
本稿では,ニューラルネットワークモデルがプルーニングされるにつれて,一般化が保証された望ましいモデル近傍の凸領域が大きくなることを示す。
論文 参考訳（メタデータ） (2021-10-12T01:11:07Z) - FF-NSL: Feed-Forward Neural-Symbolic Learner [70.978007919101]
本稿では,Feed-Forward Neural-Symbolic Learner (FF-NSL) と呼ばれるニューラルシンボリック学習フレームワークを紹介する。
FF-NSLは、ラベル付き非構造化データから解釈可能な仮説を学習するために、Answer Setセマンティクスに基づく最先端のICPシステムとニューラルネットワークを統合する。
論文 参考訳（メタデータ） (2021-06-24T15:38:34Z) - A tensor network representation of path integrals: Implementation and
analysis [0.0]
ファインマン・ヴァーノン効果関数を含む経路積分シミュレーションのテンソルネットワークに基づく新しい分解法を提案する。
影響関数によって導入された有限の一時的な非局所相互作用は、行列積状態表現を用いて非常に効率的に捉えることができる。
AP-TNPIフレームワークの柔軟性により、非平衡量子力学のための経路積分法ファミリーに新たな期待が持てる。
論文 参考訳（メタデータ） (2021-06-23T16:41:54Z) - Towards Evaluating and Training Verifiably Robust Neural Networks [81.39994285743555]
We study the relationship between IBP and CROWN, and prove that CROWN are always tight than IBP when select each bounding lines。
線形結合伝播(LBP) CROWNの緩やかなバージョンを提案する。これは、大きなネットワークを検証して、より低い検証エラーを得るのに使用できる。
論文 参考訳（メタデータ） (2021-04-01T13:03:48Z) - Sampling-free Variational Inference for Neural Networks with
Multiplicative Activation Noise [51.080620762639434]
サンプリングフリー変動推論のための後方近似のより効率的なパラメータ化を提案する。
提案手法は,標準回帰問題に対する競合的な結果をもたらし,大規模画像分類タスクに適している。
論文 参考訳（メタデータ） (2021-03-15T16:16:18Z) - How Neural Networks Extrapolate: From Feedforward to Graph Neural
Networks [80.55378250013496]
勾配勾配降下法によりトレーニングされたニューラルネットワークが、トレーニング分布の支持の外で学んだことを外挿する方法について検討する。
グラフニューラルネットワーク(GNN)は、より複雑なタスクでいくつかの成功を収めている。
論文 参考訳（メタデータ） (2020-09-24T17:48:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。