論文の概要: Model Zoos: A Dataset of Diverse Populations of Neural Network Models
- arxiv url: http://arxiv.org/abs/2209.14764v1
- Date: Thu, 29 Sep 2022 13:20:42 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-30 17:38:22.808408
- Title: Model Zoos: A Dataset of Diverse Populations of Neural Network Models
- Title（参考訳）: Model Zoos: ニューラルネットワークモデルのさまざまな人口のデータセット
- Authors: Konstantin Sch\"urholt, Diyar Taskiran, Boris Knyazev, Xavier
Gir\'o-i-Nieto, Damian Borth
- Abstract要約: ニューラルネットワークモデルの体系的生成と多様な集団を含むモデル動物園の新しいデータセットを公表する。
データセットはwww.modelzoos.ccにある。
- 参考スコア（独自算出の注目度）: 2.7167743929103363
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In the last years, neural networks (NN) have evolved from laboratory
environments to the state-of-the-art for many real-world problems. It was shown
that NN models (i.e., their weights and biases) evolve on unique trajectories
in weight space during training. Following, a population of such neural network
models (referred to as model zoo) would form structures in weight space. We
think that the geometry, curvature and smoothness of these structures contain
information about the state of training and can reveal latent properties of
individual models. With such model zoos, one could investigate novel approaches
for (i) model analysis, (ii) discover unknown learning dynamics, (iii) learn
rich representations of such populations, or (iv) exploit the model zoos for
generative modelling of NN weights and biases. Unfortunately, the lack of
standardized model zoos and available benchmarks significantly increases the
friction for further research about populations of NNs. With this work, we
publish a novel dataset of model zoos containing systematically generated and
diverse populations of NN models for further research. In total the proposed
model zoo dataset is based on eight image datasets, consists of 27 model zoos
trained with varying hyperparameter combinations and includes 50'360 unique NN
models as well as their sparsified twins, resulting in over 3'844'360 collected
model states. Additionally, to the model zoo data we provide an in-depth
analysis of the zoos and provide benchmarks for multiple downstream tasks. The
dataset can be found at www.modelzoos.cc.
- Abstract（参考訳）: 過去数年間、ニューラルネットワーク(NN)は、実験室環境から、多くの現実世界の問題の最先端へと進化してきた。
NNモデル(すなわち、ウェイトとバイアス)は、トレーニング中にウェイト空間のユニークな軌道上で進化することが示されている。
その後、そのようなニューラルネットワークモデル(モデル動物園と呼ばれる)の人口は、重み空間の構造を形成する。
これらの構造の幾何学、曲率、滑らかさはトレーニング状態に関する情報を含み、個々のモデルの潜在性を明らかにすることができると考えている。
そのようなモデル動物園では、新しいアプローチを研究できる
(i)モデル分析。
(ii)未知の学習ダイナミクスの発見。
(iii)そのような人口の豊かな表現を学ぶこと、又は
(iv)モデル動物園をnn重みとバイアスの生成的モデリングに活用する。
残念なことに、標準化されたモデル動物園と利用可能なベンチマークの欠如は、NNの人口に関するさらなる研究の摩擦を著しく増大させた。
本研究は,NNモデルの系統的および多様な個体群を含むモデル動物園の新たなデータセットを公開し,さらなる研究を行う。
提案したモデル動物園データセットは8つの画像データセットに基づいており、異なるハイパーパラメータの組み合わせで訓練された27のモデル動物園からなり、50'360のユニークなNNモデルと、その双生児を含む。
さらに、モデルzooデータに対して、動物園の詳細な分析と、複数のダウンストリームタスクのベンチマークを提供します。
データセットはwww.modelzoos.ccにある。
関連論文リスト
- Model Selection with Model Zoo via Graph Learning [45.30615308692713]
本稿では,グラフ学習問題としてモデル選択を再構成する新しいフレームワークであるTransferGraphを紹介する。
我々は,TransferGraphが本質的なモデル-データセット関係を捕捉し,予測性能と実際の微調整結果との相関性を最大32%向上させる効果を,最先端の手法と比較した。
論文 参考訳（メタデータ） (2024-04-05T09:50:00Z) - Learning the 3D Fauna of the Web [70.01196719128912]
3D-Faunaは,100種以上の動物種を対象に,パンカテゴリーで変形可能な3D動物モデルを共同で学習する手法である。
動物モデリングにおける重要なボトルネックの1つは、トレーニングデータの可用性の制限である。
従来のカテゴリー固有の試みは,訓練画像に制限のある希少種への一般化に失敗することを示す。
論文 参考訳（メタデータ） (2024-01-04T18:32:48Z) - Hyper-Representations as Generative Models: Sampling Unseen Neural
Network Weights [2.9678808525128813]
我々は、新しいモデルウェイトをサンプリングするために、生成的使用のためのハイパー表現を拡張した。
以上の結果から, モデル動物園からハイパー表現による新しいモデルへの知識集約の可能性が示唆された。
論文 参考訳（メタデータ） (2022-09-29T12:53:58Z) - Hyper-Representations for Pre-Training and Transfer Learning [2.9678808525128813]
我々は、生成的使用のためのハイパー表現を拡張して、事前学習として新しいモデルウェイトをサンプリングする。
以上の結果から, モデル動物園からハイパー表現による新しいモデルへの知識集約の可能性が示唆された。
論文 参考訳（メタデータ） (2022-07-22T09:01:21Z) - Towards automatic detection of wildlife trade using machine vision
models [0.0]
現在、取引の重要な部分はインターネット、特にデジタルマーケットプレースやソーシャルメディアで行われている。
そこで我々は,市販のエキゾチックなペットのイメージを自動的に識別する目的で,Deep Neural Networksに基づくマシンビジョンモデルを開発した。
5つの異なるアーキテクチャ、3つのトレーニング方法、2つのタイプのデータセットを組み合わせた24のニューラルネットモデルをトレーニングしました。
論文 参考訳（メタデータ） (2022-05-23T14:11:16Z) - Learning Multi-Object Dynamics with Compositional Neural Radiance Fields [63.424469458529906]
本稿では,暗黙的オブジェクトエンコーダ,ニューラルレージアンスフィールド(NeRF),グラフニューラルネットワークに基づく画像観測から構成予測モデルを学習する手法を提案する。
NeRFは3D以前の強みから、シーンを表現するための一般的な選択肢となっている。
提案手法では,学習した潜時空間にRTを応用し,そのモデルと暗黙のオブジェクトエンコーダを用いて潜時空間を情報的かつ効率的にサンプリングする。
論文 参考訳（メタデータ） (2022-02-24T01:31:29Z) - Mixed Effects Neural ODE: A Variational Approximation for Analyzing the
Dynamics of Panel Data [50.23363975709122]
パネルデータ解析に(固定・ランダムな)混合効果を取り入れたME-NODEという確率モデルを提案する。
我々は、Wong-Zakai定理によって提供されるSDEの滑らかな近似を用いて、我々のモデルを導出できることを示す。
次に、ME-NODEのためのエビデンスに基づく下界を導出し、(効率的な)トレーニングアルゴリズムを開発する。
論文 参考訳（メタデータ） (2022-02-18T22:41:51Z) - Coarse-to-fine Animal Pose and Shape Estimation [67.39635503744395]
単一画像から3次元動物メッシュを再構成する粗大なアプローチを提案する。
粗い推定段階はまずSMALモデルのポーズ、形状、翻訳パラメータを推定する。
次に、推定メッシュをグラフ畳み込みネットワーク(GCN)によって開始点として使用し、精製段階における頂点毎の変形を予測する。
論文 参考訳（メタデータ） (2021-11-16T01:27:20Z) - The Neural Coding Framework for Learning Generative Models [91.0357317238509]
本稿では,脳の予測処理理論に触発された新しい神経生成モデルを提案する。
同様に、私たちの生成モデルにおける人工ニューロンは、隣接するニューロンが何をするかを予測し、予測が現実にどの程度一致するかに基づいてパラメータを調整します。
論文 参考訳（メタデータ） (2020-12-07T01:20:38Z) - Deformation-aware Unpaired Image Translation for Pose Estimation on
Laboratory Animals [56.65062746564091]
我々は,神経回路が行動をどのようにオーケストレーションするかを研究するために,手動による監督を使わずに,神経科学モデル生物のポーズを捉えることを目的としている。
我々の重要な貢献は、未完成の画像翻訳フレームワークにおける外観、形状、ポーズの明示的で独立したモデリングである。
ショウジョウバエ(ハエ)、線虫(線虫)、ダニオ・レリオ(ゼブラフィッシュ)のポーズ推定精度の向上を実証した。
論文 参考訳（メタデータ） (2020-01-23T15:34:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。