論文の概要: Expand-and-Cluster: Exact Parameter Recovery of Neural Networks

• arxiv url: http://arxiv.org/abs/2304.12794v1
• Date: Tue, 25 Apr 2023 13:14:20 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-26 20:44:50.580156
• Title: Expand-and-Cluster: Exact Parameter Recovery of Neural Networks
• Title（参考訳）: 拡張クラスタ: ニューラルネットワークの正確なパラメータ回復
• Authors: Flavio Martinelli, Berfin Simsek, Johanni Brea and Wulfram Gerstner
• Abstract要約: 本稿では,ニューラルネットワーク(ANN)の入力出力マッピングを探索し,隠れたパラメータを復元する手法を提案する。 拡張フェーズでは、拡張された学生の重みベクトルがクラスタ化され、原理化された方法で超流動ニューロンの構造化プルーニングが可能である。 因子4の過剰なパラメータ化は、最小数のニューロンを確実に識別し、150の玩具問題群で80ドル%のタスクで元のネットワークパラメータを検索するのに十分である。
• 参考スコア（独自算出の注目度）: 9.110513479625464
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Can we recover the hidden parameters of an Artificial Neural Network (ANN) by probing its input-output mapping? We propose a systematic method, called `Expand-and-Cluster' that needs only the number of hidden layers and the activation function of the probed ANN to identify all network parameters. In the expansion phase, we train a series of student networks of increasing size using the probed data of the ANN as a teacher. Expansion stops when a minimal loss is consistently reached in student networks of a given size. In the clustering phase, weight vectors of the expanded students are clustered, which allows structured pruning of superfluous neurons in a principled way. We find that an overparameterization of a factor four is sufficient to reliably identify the minimal number of neurons and to retrieve the original network parameters in $80\%$ of tasks across a family of 150 toy problems of variable difficulty. Furthermore, a teacher network trained on MNIST data can be identified with less than $5\%$ overhead in the neuron number. Thus, while direct training of a student network with a size identical to that of the teacher is practically impossible because of the non-convex loss function, training with mild overparameterization followed by clustering and structured pruning correctly identifies the target network.
• Abstract（参考訳）: インプット・アウトプット・マッピングを用いて,ニューラルネットワーク(ANN)の隠れパラメータを復元できるか? 本稿では,全ネットワークパラメータを識別するために,隠れレイヤの数と探索されたANNのアクティベーション関数だけを必要とする,'Expand-and-Cluster'と呼ばれる方式を提案する。 拡張フェーズでは,教師としてANNの探索データを用いて,学生ネットワークの規模を拡大する一連のネットワークを訓練する。 拡張は、特定のサイズの学生ネットワークにおいて最小限の損失が一貫して到達した場合に停止する。 クラスタリングフェーズでは、拡張した学生の重みベクトルがクラスター化され、超流動ニューロンを原理的に構造的プルーニングすることができる。 因子4の過度パラメータ化は、最小数のニューロンを確実に同定し、元のネットワークパラメータを、可変困難な150の玩具問題のファミリーで80\%のタスクで検索するのに十分である。 さらに、MNISTデータに基づいてトレーニングされた教師ネットワークは、ニューロン番号の5\%以下のオーバーヘッドで識別することができる。 したがって、教師と同一の大きさの学生ネットワークの直接訓練は、非凸損失関数のため事実上不可能であるが、軽度のオーバーパラメータ化とクラスタリングと構造化プルーニングによるトレーニングは、ターゲットネットワークを正しく識別する。

関連論文リスト

• Learning to Compose SuperWeights for Neural Parameter Allocation Search [61.078949532440724]
  提案手法は,同じ重み集合を用いて多くのネットワークに対してパラメータを生成することができることを示す。 これにより、効率的なアンサンブルや、いつでも予測できるようなタスクをサポートできます。
  論文  参考訳（メタデータ） (2023-12-03T04:20:02Z)
• Hessian Eigenvectors and Principal Component Analysis of Neural Network Weight Matrices [0.0]
  この研究は、訓練された深層ニューラルネットワークの複雑なダイナミクスと、それらのネットワークパラメータとの関係について考察する。 ヘッセン固有ベクトルとネットワーク重みの関係を明らかにする。 この関係は固有値の大きさに依存し、ネットワーク内のパラメータの方向を識別することができる。
  論文  参考訳（メタデータ） (2023-11-01T11:38:31Z)
• Beyond IID weights: sparse and low-rank deep Neural Networks are also Gaussian Processes [3.686808512438363]
  我々は Matthews らの証明を、より大きな初期重み分布のクラスに拡張する。 また,PSEUDO-IID分布を用いた完全連結・畳み込みネットワークは,その分散にほぼ等価であることを示す。 この結果を用いて、ニューラルネットワークの幅広いクラスに対してEdge-of-Chaosを識別し、トレーニングを強化するために臨界度で調整することができる。
  論文  参考訳（メタデータ） (2023-10-25T12:38:36Z)
• Random Weights Networks Work as Loss Prior Constraint for Image Restoration [50.80507007507757]
  「画像復元の優先制約としてランダムウェイトネットワークを機能させることができる」という信念を提示する。」 我々の信念は、計算コストのトレーニングやテストなしに、既存のネットワークに直接挿入することができる。 強調しておきたいのは、損失関数の領域を刺激し、現在無視されている状態を保存することです。
  論文  参考訳（メタデータ） (2023-03-29T03:43:51Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• Permutation Equivariant Neural Functionals [92.0667671999604]
  この研究は、他のニューラルネットワークの重みや勾配を処理できるニューラルネットワークの設計を研究する。 隠れた層状ニューロンには固有の順序がないため, 深いフィードフォワードネットワークの重みに生じる置換対称性に着目する。 実験の結果, 置換同変ニューラル関数は多種多様なタスクに対して有効であることがわかった。
  論文  参考訳（メタデータ） (2023-02-27T18:52:38Z)
• Automatic Sparse Connectivity Learning for Neural Networks [4.875787559251317]
  十分に設計されたスパースニューラルネットワークは、FLOPや計算資源を大幅に削減する可能性がある。 本研究では,スパース接続性学習(Sparse Connectivity Learning)という新しい自動プルーニング手法を提案する。 SCLによって訓練された深層学習モデルは、SOTAの人間設計および自動プルーニング手法を、疎性、正確性、FLOPs削減で上回っている。
  論文  参考訳（メタデータ） (2022-01-13T15:12:48Z)
• Stable Recovery of Entangled Weights: Towards Robust Identification of Deep Neural Networks from Minimal Samples [0.0]
  連続した層の重みを、活性化関数とそのシフトに応じて適切な対角行列と反転行列と絡み合ういわゆる絡み合い重みを紹介します。 エンタングル重みは効率的でロバストなアルゴリズムによって完全かつ安定に近似することが証明される。 本研究は,入力出力情報をネットワークパラメータに一意かつ安定的に関連付けることができ,説明可能性の一形態を提供する。
  論文  参考訳（メタデータ） (2021-01-18T16:31:19Z)
• Dynamic Graph: Learning Instance-aware Connectivity for Neural Networks [78.65792427542672]
  動的グラフネットワーク(DG-Net)は完全な有向非巡回グラフであり、ノードは畳み込みブロックを表し、エッジは接続経路を表す。 ネットワークの同じパスを使用する代わりに、DG-Netは各ノードの機能を動的に集約する。
  論文  参考訳（メタデータ） (2020-10-02T16:50:26Z)
• Understanding Self-supervised Learning with Dual Deep Networks [74.92916579635336]
  本稿では,2組の深層ReLUネットワークを用いたコントラスト型自己教師学習(SSL)手法を理解するための新しい枠組みを提案する。 種々の損失関数を持つSimCLRの各SGD更新において、各層の重みは共分散演算子によって更新されることを示す。 共分散演算子の役割と、そのようなプロセスでどのような特徴が学習されるかをさらに研究するために、我々は、階層的潜在木モデル(HLTM)を用いて、データ生成および増大過程をモデル化する。
  論文  参考訳（メタデータ） (2020-10-01T17:51:49Z)
• Deep Learning in Target Space [3.3624573404522504]
  本稿では,ネットワーク内の個々のノードの発火強度を目標として,重みをパラメータ化することを提案する。 目標のセットが与えられた場合、射撃強度をそれらの目標に最もよく適合させる重量を計算することができる。 ターゲットをトレーニングに使うことは、カスケードアンハングリングと呼ばれるプロセスによって、爆発的な勾配の問題に対処する、と論じられている。
  論文  参考訳（メタデータ） (2020-06-02T13:06:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。