論文の概要: Expand-and-Cluster: Exact Parameter Recovery of Neural Networks
- arxiv url: http://arxiv.org/abs/2304.12794v1
- Date: Tue, 25 Apr 2023 13:14:20 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-26 20:44:50.580156
- Title: Expand-and-Cluster: Exact Parameter Recovery of Neural Networks
- Title(参考訳): 拡張クラスタ: ニューラルネットワークの正確なパラメータ回復
- Authors: Flavio Martinelli, Berfin Simsek, Johanni Brea and Wulfram Gerstner
- Abstract要約: 本稿では,ニューラルネットワーク(ANN)の入力出力マッピングを探索し,隠れたパラメータを復元する手法を提案する。
拡張フェーズでは、拡張された学生の重みベクトルがクラスタ化され、原理化された方法で超流動ニューロンの構造化プルーニングが可能である。
因子4の過剰なパラメータ化は、最小数のニューロンを確実に識別し、150の玩具問題群で80ドル%のタスクで元のネットワークパラメータを検索するのに十分である。
- 参考スコア(独自算出の注目度): 9.110513479625464
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Can we recover the hidden parameters of an Artificial Neural Network (ANN) by
probing its input-output mapping? We propose a systematic method, called
`Expand-and-Cluster' that needs only the number of hidden layers and the
activation function of the probed ANN to identify all network parameters. In
the expansion phase, we train a series of student networks of increasing size
using the probed data of the ANN as a teacher. Expansion stops when a minimal
loss is consistently reached in student networks of a given size. In the
clustering phase, weight vectors of the expanded students are clustered, which
allows structured pruning of superfluous neurons in a principled way. We find
that an overparameterization of a factor four is sufficient to reliably
identify the minimal number of neurons and to retrieve the original network
parameters in $80\%$ of tasks across a family of 150 toy problems of variable
difficulty. Furthermore, a teacher network trained on MNIST data can be
identified with less than $5\%$ overhead in the neuron number. Thus, while
direct training of a student network with a size identical to that of the
teacher is practically impossible because of the non-convex loss function,
training with mild overparameterization followed by clustering and structured
pruning correctly identifies the target network.
- Abstract(参考訳): インプット・アウトプット・マッピングを用いて,ニューラルネットワーク(ANN)の隠れパラメータを復元できるか?
本稿では,全ネットワークパラメータを識別するために,隠れレイヤの数と探索されたANNのアクティベーション関数だけを必要とする,'Expand-and-Cluster'と呼ばれる方式を提案する。
拡張フェーズでは,教師としてANNの探索データを用いて,学生ネットワークの規模を拡大する一連のネットワークを訓練する。
拡張は、特定のサイズの学生ネットワークにおいて最小限の損失が一貫して到達した場合に停止する。
クラスタリングフェーズでは、拡張した学生の重みベクトルがクラスター化され、超流動ニューロンを原理的に構造的プルーニングすることができる。
因子4の過度パラメータ化は、最小数のニューロンを確実に同定し、元のネットワークパラメータを、可変困難な150の玩具問題のファミリーで80\%のタスクで検索するのに十分である。
さらに、MNISTデータに基づいてトレーニングされた教師ネットワークは、ニューロン番号の5\%以下のオーバーヘッドで識別することができる。
したがって、教師と同一の大きさの学生ネットワークの直接訓練は、非凸損失関数のため事実上不可能であるが、軽度のオーバーパラメータ化とクラスタリングと構造化プルーニングによるトレーニングは、ターゲットネットワークを正しく識別する。
関連論文リスト
- Solution space and storage capacity of fully connected two-layer neural networks with generic activation functions [0.552480439325792]
二項分類モデルの記憶容量は、モデルが学習できるパラメータ毎のランダムな入出力ペアの最大数である。
一般活性化機能を持つ完全連結二層ニューラルネットワークの解空間の構造と記憶容量を解析する。
論文 参考訳(メタデータ) (2024-04-20T15:12:47Z) - Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。
我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。
本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
論文 参考訳(メタデータ) (2024-03-18T18:01:01Z) - Graph Metanetworks for Processing Diverse Neural Architectures [33.686728709734105]
Graph Metanetworks(GMN)は、競合するメソッドが苦労するニューラルネットワークに一般化する。
GMNは,入力ニューラルネットワーク関数を残したパラメータ置換対称性と等価であることを示す。
論文 参考訳(メタデータ) (2023-12-07T18:21:52Z) - Multilayer Multiset Neuronal Networks -- MMNNs [55.2480439325792]
本研究は,2層以上の類似性ニューロンを組み込んだ多層神経回路網について述べる。
また,回避すべき画像領域に割り当てられる反プロトタイプ点の利用についても検討した。
論文 参考訳(メタデータ) (2023-08-28T12:55:13Z) - Hidden symmetries of ReLU networks [17.332539115959708]
一部のネットワークでは、ある層内のニューロンの置換と、ニューロンにおけるパラメータの正のスケーリングが唯一の対称性であり、他のネットワークでは、追加の隠れ対称性が認められる。
本研究では, 層が入力よりも狭いネットワークアーキテクチャでは, 隠れ対称性を持たないパラメータ設定が存在することを証明した。
論文 参考訳(メタデータ) (2023-06-09T18:07:06Z) - Complexity of Deep Neural Networks from the Perspective of Functional
Equivalence [1.3597551064547502]
機能的等価性の概念を考察し、異なるネットワークパラメータ化が同じ機能をもたらすことを示唆する。
本稿では,畳み込みニューラルネットワーク,残差ネットワーク,注意に基づくモデルの拡張について論じる。
論文 参考訳(メタデータ) (2023-05-19T04:01:27Z) - Globally Optimal Training of Neural Networks with Threshold Activation
Functions [63.03759813952481]
しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。
ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
論文 参考訳(メタデータ) (2023-03-06T18:59:13Z) - Permutation Equivariant Neural Functionals [92.0667671999604]
この研究は、他のニューラルネットワークの重みや勾配を処理できるニューラルネットワークの設計を研究する。
隠れた層状ニューロンには固有の順序がないため, 深いフィードフォワードネットワークの重みに生じる置換対称性に着目する。
実験の結果, 置換同変ニューラル関数は多種多様なタスクに対して有効であることがわかった。
論文 参考訳(メタデータ) (2023-02-27T18:52:38Z) - Exploring the Approximation Capabilities of Multiplicative Neural
Networks for Smooth Functions [9.936974568429173]
対象関数のクラスは、一般化帯域制限関数とソボレフ型球である。
以上の結果から、乗法ニューラルネットワークは、これらの関数をはるかに少ない層とニューロンで近似できることを示した。
これらの結果は、乗法ゲートが標準フィードフォワード層より優れ、ニューラルネットワーク設計を改善する可能性があることを示唆している。
論文 参考訳(メタデータ) (2023-01-11T17:57:33Z) - Learning to Learn with Generative Models of Neural Network Checkpoints [71.06722933442956]
ニューラルネットワークのチェックポイントのデータセットを構築し,パラメータの生成モデルをトレーニングする。
提案手法は,幅広い損失プロンプトに対するパラメータの生成に成功している。
我々は、教師付きおよび強化学習における異なるニューラルネットワークアーキテクチャとタスクに本手法を適用した。
論文 参考訳(メタデータ) (2022-09-26T17:59:58Z) - And/or trade-off in artificial neurons: impact on adversarial robustness [91.3755431537592]
ネットワークに十分な数のOR様ニューロンが存在すると、分類の脆さと敵の攻撃に対する脆弱性が増加する。
そこで我々は,AND様ニューロンを定義し,ネットワーク内での割合を増大させる対策を提案する。
MNISTデータセットによる実験結果から,本手法はさらなる探索の方向として有望であることが示唆された。
論文 参考訳(メタデータ) (2021-02-15T08:19:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。