論文の概要: Hyper-Representations as Generative Models: Sampling Unseen Neural
Network Weights
- arxiv url: http://arxiv.org/abs/2209.14733v1
- Date: Thu, 29 Sep 2022 12:53:58 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-30 16:35:07.105443
- Title: Hyper-Representations as Generative Models: Sampling Unseen Neural
Network Weights
- Title(参考訳): 生成モデルとしてのハイパー表現:非知覚ニューラルネットワーク重みのサンプリング
- Authors: Konstantin Sch\"urholt, Boris Knyazev, Xavier Gir\'o-i-Nieto, Damian
Borth
- Abstract要約: 我々は、新しいモデルウェイトをサンプリングするために、生成的使用のためのハイパー表現を拡張した。
以上の結果から, モデル動物園からハイパー表現による新しいモデルへの知識集約の可能性が示唆された。
- 参考スコア(独自算出の注目度): 2.9678808525128813
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Learning representations of neural network weights given a model zoo is an
emerging and challenging area with many potential applications from model
inspection, to neural architecture search or knowledge distillation. Recently,
an autoencoder trained on a model zoo was able to learn a hyper-representation,
which captures intrinsic and extrinsic properties of the models in the zoo. In
this work, we extend hyper-representations for generative use to sample new
model weights. We propose layer-wise loss normalization which we demonstrate is
key to generate high-performing models and several sampling methods based on
the topology of hyper-representations. The models generated using our methods
are diverse, performant and capable to outperform strong baselines as evaluated
on several downstream tasks: initialization, ensemble sampling and transfer
learning. Our results indicate the potential of knowledge aggregation from
model zoos to new models via hyper-representations thereby paving the avenue
for novel research directions.
- Abstract(参考訳): モデル動物園に与えられたニューラルネットワーク重みの学習表現は、モデル検査からニューラルアーキテクチャ探索、知識蒸留まで、多くの潜在的な応用がある新興的で挑戦的な領域である。
近年, モデル動物園で訓練されたオートエンコーダは, モデル内の内在的・外在的特性を捉える超表現を学習することができた。
本研究では,新しいモデル重みをサンプリングするために,生成用ハイパー表現を拡張した。
本稿では,ハイパフォーマンスモデル生成の鍵となるレイヤワイズ損失正規化と,ハイパー表現のトポロジに基づくいくつかのサンプリング手法を提案する。
提案手法を用いて生成したモデルは多種多様であり, 性能が高く, ダウンストリームタスク(初期化, アンサンブルサンプリング, 転送学習)において, 強いベースラインを上回り得る。
以上の結果から,モデル動物園からハイパー表現による新しいモデルへの知識集約の可能性を示し,新たな研究の道筋を拓いた。
関連論文リスト
- Generative Learning of Continuous Data by Tensor Networks [47.77281294161002]
本稿では,連続データのためのテンソルネットワーク生成モデルについて紹介する。
我々は、このモデルの性能を、いくつかの合成および実世界のデータセットでベンチマークする。
本手法は, 急速に成長する生成学習分野において, 量子インスピレーション法の有効性を示す重要な理論的, 実証的な証拠を与える。
論文 参考訳(メタデータ) (2023-10-31T14:37:37Z) - CoDBench: A Critical Evaluation of Data-driven Models for Continuous
Dynamical Systems [8.410938527671341]
微分方程式を解くための11の最先端データ駆動モデルからなる総合ベンチマークスイートであるCodBenchを紹介する。
具体的には、Viz.、フィードフォワードニューラルネットワーク、ディープオペレータ回帰モデル、周波数ベースのニューラル演算子、トランスフォーマーアーキテクチャの4つの異なるカテゴリを評価する。
我々は、学習におけるオペレータの能力、ゼロショット超解像、データ効率、ノイズに対する堅牢性、計算効率を評価する広範な実験を行う。
論文 参考訳(メタデータ) (2023-10-02T21:27:54Z) - Model Zoos: A Dataset of Diverse Populations of Neural Network Models [2.7167743929103363]
ニューラルネットワークモデルの体系的生成と多様な集団を含むモデル動物園の新しいデータセットを公表する。
データセットはwww.modelzoos.ccにある。
論文 参考訳(メタデータ) (2022-09-29T13:20:42Z) - Hyper-Representations for Pre-Training and Transfer Learning [2.9678808525128813]
我々は、生成的使用のためのハイパー表現を拡張して、事前学習として新しいモデルウェイトをサンプリングする。
以上の結果から, モデル動物園からハイパー表現による新しいモデルへの知識集約の可能性が示唆された。
論文 参考訳(メタデータ) (2022-07-22T09:01:21Z) - Bayesian Active Learning for Discrete Latent Variable Models [19.852463786440122]
アクティブラーニングは、モデルのパラメータに適合するために必要なデータ量を削減しようとする。
潜在変数モデルは神経科学、心理学、その他の様々な工学、科学分野において重要な役割を果たす。
論文 参考訳(メタデータ) (2022-02-27T19:07:12Z) - Model-agnostic multi-objective approach for the evolutionary discovery
of mathematical models [55.41644538483948]
現代のデータ科学では、どの部分がより良い結果を得るために置き換えられるかというモデルの性質を理解することがより興味深い。
合成データ駆動型モデル学習において,多目的進化最適化を用いてアルゴリズムの所望特性を求める。
論文 参考訳(メタデータ) (2021-07-07T11:17:09Z) - Zoo-Tuning: Adaptive Transfer from a Zoo of Models [82.9120546160422]
Zoo-Tuningは、事前訓練されたモデルのパラメータをターゲットタスクに適応的に転送することを学ぶ。
我々は、強化学習、画像分類、顔のランドマーク検出など、様々なタスクに対するアプローチを評価した。
論文 参考訳(メタデータ) (2021-06-29T14:09:45Z) - Tensor networks for unsupervised machine learning [9.897828174118974]
本稿では,量子多体物理学の行列状態と機械学習の自己回帰モデルを組み合わせたテンソルネットワークモデルであるAutoregressive Matrix Product States(AMPS)を提案する。
提案手法は,既存のテンソルネットワークモデルや制限されたボルツマンマシンよりも優れていることを示す。
論文 参考訳(メタデータ) (2021-06-24T12:51:00Z) - Sparse Flows: Pruning Continuous-depth Models [107.98191032466544]
生成モデルにおいて,プルーニングによりニューラルネットワークの一般化が向上することを示す。
また、プルーニングは、元のネットワークに比べて最大98%少ないパラメータで、精度を損なうことなく、最小かつ効率的なニューラルODE表現を見出すことを示した。
論文 参考訳(メタデータ) (2021-06-24T01:40:17Z) - Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。
本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
論文 参考訳(メタデータ) (2021-06-17T17:26:31Z) - Hybrid modeling: Applications in real-time diagnosis [64.5040763067757]
我々は、機械学習にインスパイアされたモデルと物理モデルを組み合わせた、新しいハイブリッドモデリングアプローチの概要を述べる。
このようなモデルをリアルタイム診断に利用しています。
論文 参考訳(メタデータ) (2020-03-04T00:44:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。