論文の概要: Expand-and-Cluster: Parameter Recovery of Neural Networks
- arxiv url: http://arxiv.org/abs/2304.12794v3
- Date: Tue, 6 Feb 2024 10:40:34 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-07 21:04:00.982475
- Title: Expand-and-Cluster: Parameter Recovery of Neural Networks
- Title(参考訳): 拡張クラスタ:ニューラルネットワークのパラメータ回復
- Authors: Flavio Martinelli, Berfin Simsek, Wulfram Gerstner and Johanni Brea
- Abstract要約: 本研究は, 各ニューロンの入射重量が, 活性化関数によって最大150の合成問題を同定可能であることを示す。
本手法では, 対象ネットワークのパラメータを, (i) クラスタと, (ii) 対象ネットワークを識別するために, クラスタリング手法を用いて, 学生間の重みベクトルを明らかにする。
- 参考スコア(独自算出の注目度): 10.37573252786225
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Can we identify the parameters of a neural network by probing its
input-output mapping? Usually, there is no unique solution because of
permutation, overparameterisation and activation function symmetries. Yet, we
show that the incoming weight vector of each neuron is identifiable up to sign
or scaling, depending on the activation function. For all commonly used
activation functions, our novel method 'Expand-and-Cluster' identifies the size
and parameters of a target network in two phases: (i) to relax the
non-convexity of the problem, we train multiple student networks of expanded
size to imitate the mapping of the target network; (ii) to identify the target
network, we employ a clustering procedure and uncover the weight vectors shared
between students. We demonstrate successful parameter and size recovery of
trained shallow and deep networks with less than 10% overhead in the neuron
number and describe an 'ease-of-identifiability' axis by analysing 150
synthetic problems of variable difficulty.
- Abstract(参考訳): 入力出力マッピングを探索することで、ニューラルネットワークのパラメータを識別できるだろうか?
通常、置換、過度パラメータ化、アクティベーション関数対称性のため、ユニークな解は存在しない。
しかし、各ニューロンの入射重みベクトルは、活性化関数に応じて、符号やスケーリングまで識別可能であることを示す。
一般的に使用されるすべてのアクティベーション関数に対して,提案手法である'expand-and-cluster'は,ターゲットネットワークのサイズとパラメータを2つのフェーズで識別する。
(i)問題の非凸性を緩和するために、拡張サイズの複数の学生ネットワークを訓練し、対象ネットワークのマッピングを模倣する。
(ii) 対象ネットワークを特定するために, クラスタリング手法を採用し, 学生間で共有される重みベクトルを明らかにする。
ニューロン数を10%以下に満たさない訓練された浅層ネットワークと深層ネットワークのパラメータとサイズ回復に成功し,可変難易度150の合成問題を分析して「識別可能性のイーズ」軸を記述する。
関連論文リスト
- Graph Metanetworks for Processing Diverse Neural Architectures [33.686728709734105]
Graph Metanetworks(GMN)は、競合するメソッドが苦労するニューラルネットワークに一般化する。
GMNは,入力ニューラルネットワーク関数を残したパラメータ置換対称性と等価であることを示す。
論文 参考訳(メタデータ) (2023-12-07T18:21:52Z) - Multilayer Multiset Neuronal Networks -- MMNNs [55.2480439325792]
本研究は,2層以上の類似性ニューロンを組み込んだ多層神経回路網について述べる。
また,回避すべき画像領域に割り当てられる反プロトタイプ点の利用についても検討した。
論文 参考訳(メタデータ) (2023-08-28T12:55:13Z) - Hidden symmetries of ReLU networks [17.332539115959708]
一部のネットワークでは、ある層内のニューロンの置換と、ニューロンにおけるパラメータの正のスケーリングが唯一の対称性であり、他のネットワークでは、追加の隠れ対称性が認められる。
本研究では, 層が入力よりも狭いネットワークアーキテクチャでは, 隠れ対称性を持たないパラメータ設定が存在することを証明した。
論文 参考訳(メタデータ) (2023-06-09T18:07:06Z) - Complexity of Deep Neural Networks from the Perspective of Functional
Equivalence [1.3597551064547502]
機能的等価性の概念を考察し、異なるネットワークパラメータ化が同じ機能をもたらすことを示唆する。
本稿では,畳み込みニューラルネットワーク,残差ネットワーク,注意に基づくモデルの拡張について論じる。
論文 参考訳(メタデータ) (2023-05-19T04:01:27Z) - Globally Optimal Training of Neural Networks with Threshold Activation
Functions [63.03759813952481]
しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。
ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
論文 参考訳(メタデータ) (2023-03-06T18:59:13Z) - Permutation Equivariant Neural Functionals [92.0667671999604]
この研究は、他のニューラルネットワークの重みや勾配を処理できるニューラルネットワークの設計を研究する。
隠れた層状ニューロンには固有の順序がないため, 深いフィードフォワードネットワークの重みに生じる置換対称性に着目する。
実験の結果, 置換同変ニューラル関数は多種多様なタスクに対して有効であることがわかった。
論文 参考訳(メタデータ) (2023-02-27T18:52:38Z) - Exploring the Approximation Capabilities of Multiplicative Neural
Networks for Smooth Functions [9.936974568429173]
対象関数のクラスは、一般化帯域制限関数とソボレフ型球である。
以上の結果から、乗法ニューラルネットワークは、これらの関数をはるかに少ない層とニューロンで近似できることを示した。
これらの結果は、乗法ゲートが標準フィードフォワード層より優れ、ニューラルネットワーク設計を改善する可能性があることを示唆している。
論文 参考訳(メタデータ) (2023-01-11T17:57:33Z) - Learning to Learn with Generative Models of Neural Network Checkpoints [71.06722933442956]
ニューラルネットワークのチェックポイントのデータセットを構築し,パラメータの生成モデルをトレーニングする。
提案手法は,幅広い損失プロンプトに対するパラメータの生成に成功している。
我々は、教師付きおよび強化学習における異なるニューラルネットワークアーキテクチャとタスクに本手法を適用した。
論文 参考訳(メタデータ) (2022-09-26T17:59:58Z) - A neural anisotropic view of underspecification in deep learning [60.119023683371736]
ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。
深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
論文 参考訳(メタデータ) (2021-04-29T14:31:09Z) - And/or trade-off in artificial neurons: impact on adversarial robustness [91.3755431537592]
ネットワークに十分な数のOR様ニューロンが存在すると、分類の脆さと敵の攻撃に対する脆弱性が増加する。
そこで我々は,AND様ニューロンを定義し,ネットワーク内での割合を増大させる対策を提案する。
MNISTデータセットによる実験結果から,本手法はさらなる探索の方向として有望であることが示唆された。
論文 参考訳(メタデータ) (2021-02-15T08:19:05Z) - No one-hidden-layer neural network can represent multivariable functions [0.0]
ニューラルネットワークによる関数近似において、各隠れ層ユニットのパラメータを最適化することにより、入力データセットを出力インデックスにマッピングする。
整列線形単位(ReLU)アクティベーション関数を持つ一隠れ層ニューラルネットワークの連続バージョンを構築することにより、パラメータとその第2の導関数に制約を与える。
論文 参考訳(メタデータ) (2020-06-19T06:46:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。