論文の概要: Set-based Neural Network Encoding
- arxiv url: http://arxiv.org/abs/2305.16625v1
- Date: Fri, 26 May 2023 04:34:28 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-29 16:58:49.814315
- Title: Set-based Neural Network Encoding
- Title（参考訳）: セットベースニューラルネットワーク符号化
- Authors: Bruno Andreis, Soro Bedionita, Sung Ju Hwang
- Abstract要約: 一般化性能予測のためのニューラルネットワーク重み符号化手法を提案する。
我々のアプローチは、混合アーキテクチャのモデル動物園でニューラルネットワークを符号化することができる。
ニューラルネットワークの一般化性能予測には,クロスデータセットとクロスアーキテクチャという2つの新しいタスクを導入する。
- 参考スコア（独自算出の注目度）: 57.15855198512551
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We propose an approach to neural network weight encoding for generalization
performance prediction that utilizes set-to-set and set-to-vector functions to
efficiently encode neural network parameters. Our approach is capable of
encoding neural networks in a modelzoo of mixed architecture and different
parameter sizes as opposed to previous approaches that require custom encoding
models for different architectures. Furthermore, our \textbf{S}et-based
\textbf{N}eural network \textbf{E}ncoder (SNE) takes into consideration the
hierarchical computational structure of neural networks by utilizing a
layer-wise encoding scheme that culminates to encoding all layer-wise encodings
to obtain the neural network encoding vector. Additionally, we introduce a
\textit{pad-chunk-encode} pipeline to efficiently encode neural network layers
that is adjustable to computational and memory constraints. We also introduce
two new tasks for neural network generalization performance prediction:
cross-dataset and cross-architecture. In cross-dataset performance prediction,
we evaluate how well performance predictors generalize across modelzoos trained
on different datasets but of the same architecture. In cross-architecture
performance prediction, we evaluate how well generalization performance
predictors transfer to modelzoos of different architecture. Experimentally, we
show that SNE outperforms the relevant baselines on the cross-dataset task and
provide the first set of results on the cross-architecture task.
- Abstract（参考訳）: 本稿では,ニューラルネットワークのパラメータを効率的にエンコードするためにset-to-setとset-to-vector関数を利用する一般化性能予測のためのニューラルネットワーク重み符号化手法を提案する。
我々のアプローチは、異なるアーキテクチャのカスタムエンコーディングモデルを必要とする従来のアプローチとは対照的に、混合アーキテクチャと異なるパラメータサイズのモデル動物園でニューラルネットワークを符号化することができる。
さらに、我々の \textbf{s}et ベースの \textbf{n}eural network \textbf{e}ncoder (sne) は、ニューラルネットワークの階層的計算構造を考慮に入れ、全ての階層的符号化を符号化し、ニューラルネットワーク符号化ベクトルを得る。
さらに,計算やメモリの制約に適応可能なニューラルネットワーク層を効率的にエンコードする, \textit{pad-chunk-encode}パイプラインを導入する。
ニューラルネットワークの一般化性能予測には,クロスデータセットとクロスアーキテクチャという,2つの新しいタスクを導入する。
クロスデータセットのパフォーマンス予測では、異なるデータセットでトレーニングされたモデルゾスに対して、同じアーキテクチャでパフォーマンス予測がいかに一般化するかを評価する。
クロスアーキテクチャ性能予測では、異なるアーキテクチャのモデルゾーへの一般化性能予測器の転送がいかに良好かを評価する。
実験により、SNEは、クロスデータセットタスクにおける関連するベースラインよりも優れており、クロスアーキテクチャタスクにおける最初の結果セットを提供する。
関連論文リスト
- Simultaneous Weight and Architecture Optimization for Neural Networks [6.2241272327831485]
アーキテクチャとパラメータを勾配降下と同時に学習することで、プロセスを変換する新しいニューラルネットワークトレーニングフレームワークを導入する。
このアプローチの中心はマルチスケールエンコーダデコーダで、エンコーダは互いに近くにある同様の機能を持つニューラルネットワークのペアを埋め込む。
実験により、我々のフレームワークは、高性能を維持しているスパースでコンパクトなニューラルネットワークを発見できることを示した。
論文 参考訳（メタデータ） (2024-10-10T19:57:36Z) - Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。
我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。
本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
論文 参考訳（メタデータ） (2024-03-18T18:01:01Z) - Graph Metanetworks for Processing Diverse Neural Architectures [33.686728709734105]
Graph Metanetworks(GMN)は、競合するメソッドが苦労するニューラルネットワークに一般化する。
GMNは,入力ニューラルネットワーク関数を残したパラメータ置換対称性と等価であることを示す。
論文 参考訳（メタデータ） (2023-12-07T18:21:52Z) - Permutation Equivariant Neural Functionals [92.0667671999604]
この研究は、他のニューラルネットワークの重みや勾配を処理できるニューラルネットワークの設計を研究する。
隠れた層状ニューロンには固有の順序がないため, 深いフィードフォワードネットワークの重みに生じる置換対称性に着目する。
実験の結果, 置換同変ニューラル関数は多種多様なタスクに対して有効であることがわかった。
論文 参考訳（メタデータ） (2023-02-27T18:52:38Z) - NAR-Former: Neural Architecture Representation Learning towards Holistic
Attributes Prediction [37.357949900603295]
本稿では,属性の全体的推定に使用できるニューラルネットワーク表現モデルを提案する。
実験の結果,提案するフレームワークは,セルアーキテクチャとディープニューラルネットワーク全体の遅延特性と精度特性を予測できることがわかった。
論文 参考訳（メタデータ） (2022-11-15T10:15:21Z) - Learning to Learn with Generative Models of Neural Network Checkpoints [71.06722933442956]
ニューラルネットワークのチェックポイントのデータセットを構築し,パラメータの生成モデルをトレーニングする。
提案手法は,幅広い損失プロンプトに対するパラメータの生成に成功している。
我々は、教師付きおよび強化学習における異なるニューラルネットワークアーキテクチャとタスクに本手法を適用した。
論文 参考訳（メタデータ） (2022-09-26T17:59:58Z) - Differentiable Neural Architecture Learning for Efficient Neural Network
Design [31.23038136038325]
スケールド・シグモイド関数に基づく新しいemphアーキテクチャのパラメータ化を提案する。
そこで本論文では,候補ニューラルネットワークを評価することなく,ニューラルネットワークを最適化するための汎用的エファイブルニューラルネットワーク学習(DNAL)手法を提案する。
論文 参考訳（メタデータ） (2021-03-03T02:03:08Z) - Modeling from Features: a Mean-field Framework for Over-parameterized
Deep Neural Networks [54.27962244835622]
本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。
このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。
本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
論文 参考訳（メタデータ） (2020-07-03T01:37:16Z) - A Semi-Supervised Assessor of Neural Architectures [157.76189339451565]
我々は、ニューラルネットワークの有意義な表現を見つけるためにオートエンコーダを用いる。
アーキテクチャの性能を予測するために、グラフ畳み込みニューラルネットワークを導入する。
論文 参考訳（メタデータ） (2020-05-14T09:02:33Z) - Inferring Convolutional Neural Networks' accuracies from their
architectural characterizations [0.0]
CNNのアーキテクチャと性能の関係について検討する。
本稿では,2つのコンピュータビジョンに基づく物理問題において,その特性がネットワークの性能を予測できることを示す。
我々は機械学習モデルを用いて、トレーニング前にネットワークが一定のしきい値精度よりも優れた性能を発揮できるかどうかを予測する。
論文 参考訳（メタデータ） (2020-01-07T16:41:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。