論文の概要: Classifying the classifier: dissecting the weight space of neural networks

• arxiv url: http://arxiv.org/abs/2002.05688v1
• Date: Thu, 13 Feb 2020 18:12:02 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-01 10:11:51.889938
• Title: Classifying the classifier: dissecting the weight space of neural networks
• Title（参考訳）: 分類器の分類:ニューラルネットワークの重み空間の分類
• Authors: Gabriel Eilertsen, Daniel J\"onsson, Timo Ropinski, Jonas Unger, Anders Ynnerman
• Abstract要約: 本稿では,ニューラルネットワークの重みに関する実証的研究について述べる。 それぞれのモデルを高次元空間、すなわちニューラルウェイト空間の点として解釈する。 重み空間に関するさらなる研究を促進するため、我々はニューラルウェイト空間(NWS)データセットをリリースする。
• 参考スコア（独自算出の注目度）: 16.94879659770577
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper presents an empirical study on the weights of neural networks, where we interpret each model as a point in a high-dimensional space -- the neural weight space. To explore the complex structure of this space, we sample from a diverse selection of training variations (dataset, optimization procedure, architecture, etc.) of neural network classifiers, and train a large number of models to represent the weight space. Then, we use a machine learning approach for analyzing and extracting information from this space. Most centrally, we train a number of novel deep meta-classifiers with the objective of classifying different properties of the training setup by identifying their footprints in the weight space. Thus, the meta-classifiers probe for patterns induced by hyper-parameters, so that we can quantify how much, where, and when these are encoded through the optimization process. This provides a novel and complementary view for explainable AI, and we show how meta-classifiers can reveal a great deal of information about the training setup and optimization, by only considering a small subset of randomly selected consecutive weights. To promote further research on the weight space, we release the neural weight space (NWS) dataset -- a collection of 320K weight snapshots from 16K individually trained deep neural networks.
• Abstract（参考訳）: 本稿では,ニューラルネットワークの重みに関する経験的研究を行い,各モデルを高次元空間(ニューラルウェイト空間)の一点として解釈する。 この空間の複雑な構造を探索するために、ニューラルネットワーク分類器の様々なトレーニングバリエーション(データセット、最適化手順、アーキテクチャなど)からサンプルし、重み空間を表現するために多数のモデルを訓練する。 そして、この空間から情報を分析し、抽出するために機械学習アプローチを用いる。 重み空間のフットプリントを識別することにより、トレーニング設定の異なる特性を分類することを目的として、多くの新しい深層メタ分類器を訓練する。 したがって、メタ分類器はハイパーパラメータによって引き起こされるパターンを探索するので、最適化プロセスを通じて、どの位、どこで、いつエンコードされるのかを定量化することができる。 これは説明可能なaiの新規かつ補完的な視点を提供し、ランダムに選択された連続重みの小さなサブセットのみを考慮すれば、メタ分類器がトレーニング設定と最適化に関する多くの情報を明らかにする方法を示す。 重量空間に関するさらなる研究を促進するために、我々は、16Kの個別に訓練されたディープニューラルネットワークから320Kの重量スナップショットを集めた、ニューラルネットワークデータセット(NWS)をリリースする。

関連論文リスト

• Self Supervised Networks for Learning Latent Space Representations of Human Body Scans and Motions [6.165163123577484]
  本稿では,3次元人体解析・処理の分野におけるいくつかの基本的な問題に対処するために,自己教師型ニューラルネットワークモデルを提案する。 身体形状とポーズの潜在空間表現を検索するための新しいアーキテクチャであるVariShaPEを提案する。 第二に、潜時空間の幾何学を学習するフレームワークであるMoGeNで潜時符号の推定を補完する。
  論文  参考訳（メタデータ） (2024-11-05T19:59:40Z)
• Neural Metamorphosis [72.88137795439407]
  本稿では,ニューラル・メタモルファス(NeuMeta)と呼ばれる,自己変形可能なニューラルネットワークの構築を目的とした新たな学習パラダイムを提案する。 NeuMetaはニューラルネットワークの連続重み多様体を直接学習する。 75%の圧縮速度でもフルサイズの性能を維持する。
  論文  参考訳（メタデータ） (2024-10-10T14:49:58Z)
• Towards Scalable and Versatile Weight Space Learning [51.78426981947659]
  本稿では,重み空間学習におけるSANEアプローチを紹介する。 ニューラルネットワーク重みのサブセットの逐次処理に向けて,超表現の概念を拡張した。
  論文  参考訳（メタデータ） (2024-06-14T13:12:07Z)
• Improved Generalization of Weight Space Networks via Augmentations [53.87011906358727]
  深度重み空間(DWS)における学習は新たな研究方向であり、2次元および3次元神経場(INRs, NeRFs)への応用 我々は、この過度な適合の理由を実証的に分析し、主要な理由は、DWSデータセットの多様性の欠如であることがわかった。 そこで本研究では,重み空間におけるデータ拡張戦略について検討し,重み空間に適応したMixUp法を提案する。
  論文  参考訳（メタデータ） (2024-02-06T15:34:44Z)
• Data Augmentations in Deep Weight Spaces [89.45272760013928]
  そこで本研究では,Mixup法に基づく新しい拡張手法を提案する。 既存のベンチマークと新しいベンチマークでこれらのテクニックのパフォーマンスを評価する。
  論文  参考訳（メタデータ） (2023-11-15T10:43:13Z)
• Neural Functional Transformers [99.98750156515437]
  本稿では,ニューラルファンクショナルトランスフォーマー (NFT) と呼ばれる新しい変分同変量空間層を定義するために,アテンション機構を用いる。 NFTは重み空間の置換対称性を尊重し、注意の利点を取り入れ、複数の領域で顕著な成功を収めた。 Inr2Arrayは暗黙的ニューラル表現(INR)の重みから置換不変表現を計算する新しい方法である。
  論文  参考訳（メタデータ） (2023-05-22T23:38:27Z)
• Transfer-Once-For-All: AI Model Optimization for Edge [0.0]
  計算訓練コストを一定に抑えた小データセット上でのスーパーネット型トレーニングのためのTransfer-Once-For-All(TOFA)を提案する。 小さなデータから生じる課題を克服するため、TOFAは、統合された半教師付きトレーニング損失を使用して、スーパーネット内のすべての既存のものを同時にトレーニングする。
  論文  参考訳（メタデータ） (2023-03-27T04:14:30Z)
• Permutation Equivariant Neural Functionals [92.0667671999604]
  この研究は、他のニューラルネットワークの重みや勾配を処理できるニューラルネットワークの設計を研究する。 隠れた層状ニューロンには固有の順序がないため, 深いフィードフォワードネットワークの重みに生じる置換対称性に着目する。 実験の結果, 置換同変ニューラル関数は多種多様なタスクに対して有効であることがわかった。
  論文  参考訳（メタデータ） (2023-02-27T18:52:38Z)
• MLDS: A Dataset for Weight-Space Analysis of Neural Networks [0.0]
  MLDSは、注意深く制御されたパラメータを持つ何千ものトレーニングニューラルネットワークからなる新しいデータセットである。 このデータセットは、モデル-to-modelとモデル-to-training-data関係に関する新たな洞察を可能にする。
  論文  参考訳（メタデータ） (2021-04-21T14:24:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。