論文の概要: Expand-and-Cluster: Parameter Recovery of Neural Networks
- arxiv url: http://arxiv.org/abs/2304.12794v3
- Date: Tue, 6 Feb 2024 10:40:34 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-07 21:04:00.982475
- Title: Expand-and-Cluster: Parameter Recovery of Neural Networks
- Title（参考訳）: 拡張クラスタ:ニューラルネットワークのパラメータ回復
- Authors: Flavio Martinelli, Berfin Simsek, Wulfram Gerstner and Johanni Brea
- Abstract要約: 本研究は, 各ニューロンの入射重量が, 活性化関数によって最大150の合成問題を同定可能であることを示す。
本手法では, 対象ネットワークのパラメータを, (i) クラスタと, (ii) 対象ネットワークを識別するために, クラスタリング手法を用いて, 学生間の重みベクトルを明らかにする。
- 参考スコア（独自算出の注目度）: 10.37573252786225
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Can we identify the parameters of a neural network by probing its
input-output mapping? Usually, there is no unique solution because of
permutation, overparameterisation and activation function symmetries. Yet, we
show that the incoming weight vector of each neuron is identifiable up to sign
or scaling, depending on the activation function. For all commonly used
activation functions, our novel method 'Expand-and-Cluster' identifies the size
and parameters of a target network in two phases: (i) to relax the
non-convexity of the problem, we train multiple student networks of expanded
size to imitate the mapping of the target network; (ii) to identify the target
network, we employ a clustering procedure and uncover the weight vectors shared
between students. We demonstrate successful parameter and size recovery of
trained shallow and deep networks with less than 10% overhead in the neuron
number and describe an 'ease-of-identifiability' axis by analysing 150
synthetic problems of variable difficulty.
- Abstract（参考訳）: 入力出力マッピングを探索することで、ニューラルネットワークのパラメータを識別できるだろうか?
通常、置換、過度パラメータ化、アクティベーション関数対称性のため、ユニークな解は存在しない。
しかし、各ニューロンの入射重みベクトルは、活性化関数に応じて、符号やスケーリングまで識別可能であることを示す。
一般的に使用されるすべてのアクティベーション関数に対して,提案手法である'expand-and-cluster'は,ターゲットネットワークのサイズとパラメータを2つのフェーズで識別する。
(i)問題の非凸性を緩和するために、拡張サイズの複数の学生ネットワークを訓練し、対象ネットワークのマッピングを模倣する。
(ii) 対象ネットワークを特定するために, クラスタリング手法を採用し, 学生間で共有される重みベクトルを明らかにする。
ニューロン数を10%以下に満たさない訓練された浅層ネットワークと深層ネットワークのパラメータとサイズ回復に成功し,可変難易度150の合成問題を分析して「識別可能性のイーズ」軸を記述する。
関連論文リスト
- Learning to Compose SuperWeights for Neural Parameter Allocation Search [61.078949532440724]
提案手法は,同じ重み集合を用いて多くのネットワークに対してパラメータを生成することができることを示す。
これにより、効率的なアンサンブルや、いつでも予測できるようなタスクをサポートできます。
論文 参考訳（メタデータ） (2023-12-03T04:20:02Z) - Hessian Eigenvectors and Principal Component Analysis of Neural Network
Weight Matrices [0.0]
この研究は、訓練された深層ニューラルネットワークの複雑なダイナミクスと、それらのネットワークパラメータとの関係について考察する。
ヘッセン固有ベクトルとネットワーク重みの関係を明らかにする。
この関係は固有値の大きさに依存し、ネットワーク内のパラメータの方向を識別することができる。
論文 参考訳（メタデータ） (2023-11-01T11:38:31Z) - Beyond IID weights: sparse and low-rank deep Neural Networks are also Gaussian Processes [3.686808512438363]
我々は Matthews らの証明を、より大きな初期重み分布のクラスに拡張する。
また,PSEUDO-IID分布を用いた完全連結・畳み込みネットワークは,その分散にほぼ等価であることを示す。
この結果を用いて、ニューラルネットワークの幅広いクラスに対してEdge-of-Chaosを識別し、トレーニングを強化するために臨界度で調整することができる。
論文 参考訳（メタデータ） (2023-10-25T12:38:36Z) - Random Weights Networks Work as Loss Prior Constraint for Image
Restoration [50.80507007507757]
「画像復元の優先制約としてランダムウェイトネットワークを機能させることができる」という信念を提示する。」
我々の信念は、計算コストのトレーニングやテストなしに、既存のネットワークに直接挿入することができる。
強調しておきたいのは、損失関数の領域を刺激し、現在無視されている状態を保存することです。
論文 参考訳（メタデータ） (2023-03-29T03:43:51Z) - Globally Optimal Training of Neural Networks with Threshold Activation
Functions [63.03759813952481]
しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。
ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
論文 参考訳（メタデータ） (2023-03-06T18:59:13Z) - Permutation Equivariant Neural Functionals [92.0667671999604]
この研究は、他のニューラルネットワークの重みや勾配を処理できるニューラルネットワークの設計を研究する。
隠れた層状ニューロンには固有の順序がないため, 深いフィードフォワードネットワークの重みに生じる置換対称性に着目する。
実験の結果, 置換同変ニューラル関数は多種多様なタスクに対して有効であることがわかった。
論文 参考訳（メタデータ） (2023-02-27T18:52:38Z) - Automatic Sparse Connectivity Learning for Neural Networks [4.875787559251317]
十分に設計されたスパースニューラルネットワークは、FLOPや計算資源を大幅に削減する可能性がある。
本研究では,スパース接続性学習(Sparse Connectivity Learning)という新しい自動プルーニング手法を提案する。
SCLによって訓練された深層学習モデルは、SOTAの人間設計および自動プルーニング手法を、疎性、正確性、FLOPs削減で上回っている。
論文 参考訳（メタデータ） (2022-01-13T15:12:48Z) - Stable Recovery of Entangled Weights: Towards Robust Identification of
Deep Neural Networks from Minimal Samples [0.0]
連続した層の重みを、活性化関数とそのシフトに応じて適切な対角行列と反転行列と絡み合ういわゆる絡み合い重みを紹介します。
エンタングル重みは効率的でロバストなアルゴリズムによって完全かつ安定に近似することが証明される。
本研究は,入力出力情報をネットワークパラメータに一意かつ安定的に関連付けることができ,説明可能性の一形態を提供する。
論文 参考訳（メタデータ） (2021-01-18T16:31:19Z) - Dynamic Graph: Learning Instance-aware Connectivity for Neural Networks [78.65792427542672]
動的グラフネットワーク(DG-Net)は完全な有向非巡回グラフであり、ノードは畳み込みブロックを表し、エッジは接続経路を表す。
ネットワークの同じパスを使用する代わりに、DG-Netは各ノードの機能を動的に集約する。
論文 参考訳（メタデータ） (2020-10-02T16:50:26Z) - Understanding Self-supervised Learning with Dual Deep Networks [74.92916579635336]
本稿では,2組の深層ReLUネットワークを用いたコントラスト型自己教師学習(SSL)手法を理解するための新しい枠組みを提案する。
種々の損失関数を持つSimCLRの各SGD更新において、各層の重みは共分散演算子によって更新されることを示す。
共分散演算子の役割と、そのようなプロセスでどのような特徴が学習されるかをさらに研究するために、我々は、階層的潜在木モデル(HLTM)を用いて、データ生成および増大過程をモデル化する。
論文 参考訳（メタデータ） (2020-10-01T17:51:49Z) - Deep Learning in Target Space [3.3624573404522504]
本稿では,ネットワーク内の個々のノードの発火強度を目標として,重みをパラメータ化することを提案する。
目標のセットが与えられた場合、射撃強度をそれらの目標に最もよく適合させる重量を計算することができる。
ターゲットをトレーニングに使うことは、カスケードアンハングリングと呼ばれるプロセスによって、爆発的な勾配の問題に対処する、と論じられている。
論文 参考訳（メタデータ） (2020-06-02T13:06:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。