論文の概要: Learning to Generate Parameters of ConvNets for Unseen Image Data
- arxiv url: http://arxiv.org/abs/2310.11862v1
- Date: Wed, 18 Oct 2023 10:26:18 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-19 17:09:56.026896
- Title: Learning to Generate Parameters of ConvNets for Unseen Image Data
- Title（参考訳）: 画像データに対するconvnetのパラメータ生成のための学習
- Authors: Shiye Wang, Kaituo Feng, Changsheng Li, Ye Yuan, Guoren Wang
- Abstract要約: ConvNetは大量の画像データに依存しており、ネットワークパラメータを学習するための反復最適化アルゴリズムを採用している。
本稿では,予測タスクにConvNetのパラメータ学習を適用した新しい学習パラダイムを提案する。
提案手法は,2種類の画像データセットに対して有効であることを示す。
- 参考スコア（独自算出の注目度）: 39.35619721100205
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Typical Convolutional Neural Networks (ConvNets) depend heavily on large
amounts of image data and resort to an iterative optimization algorithm (e.g.,
SGD or Adam) to learn network parameters, which makes training very time- and
resource-intensive. In this paper, we propose a new training paradigm and
formulate the parameter learning of ConvNets into a prediction task: given a
ConvNet architecture, we observe there exists correlations between image
datasets and their corresponding optimal network parameters, and explore if we
can learn a hyper-mapping between them to capture the relations, such that we
can directly predict the parameters of the network for an image dataset never
seen during the training phase. To do this, we put forward a new hypernetwork
based model, called PudNet, which intends to learn a mapping between datasets
and their corresponding network parameters, and then predicts parameters for
unseen data with only a single forward propagation. Moreover, our model
benefits from a series of adaptive hyper recurrent units sharing weights to
capture the dependencies of parameters among different network layers.
Extensive experiments demonstrate that our proposed method achieves good
efficacy for unseen image datasets on two kinds of settings: Intra-dataset
prediction and Inter-dataset prediction. Our PudNet can also well scale up to
large-scale datasets, e.g., ImageNet-1K. It takes 8967 GPU seconds to train
ResNet-18 on the ImageNet-1K using GC from scratch and obtain a top-5 accuracy
of 44.65 %. However, our PudNet costs only 3.89 GPU seconds to predict the
network parameters of ResNet-18 achieving comparable performance (44.92 %),
more than 2,300 times faster than the traditional training paradigm.
- Abstract（参考訳）: 典型的な畳み込みニューラルネットワーク(convnets)は、大量の画像データに大きく依存し、ネットワークパラメータを学習するために反復最適化アルゴリズム(sgdやadamなど)を利用する。
本稿では,convnetアーキテクチャが与えられたとき,画像データセットとそれに対応する最適なネットワークパラメータの間に相関関係が存在することを観測し,それらの関係を捉えるハイパーマップを学習できるかどうかを検証し,トレーニングフェーズで見たことのない画像データセットのネットワークパラメータを直接予測できるように,新たなトレーニングパラダイムを提案し,convnetのパラメータ学習を予測タスクに定式化する。
そこで我々は,データセットとそれに対応するネットワークパラメータのマッピングを学習する目的で,PudNetと呼ばれる新しいハイパーネットワークモデルを提案し,そのパラメータを1つの前方伝播だけで予測する。
さらに,重みを共有する一連の適応型ハイパーリカレントユニットにより,異なるネットワーク層間のパラメータの依存性を捉えることができる。
大規模な実験により,提案手法は,データセット内予測とデータセット間予測の2種類のデータセットに対して有効であることが示された。
当社のPudNetは,ImageNet-1Kなど,大規模なデータセットにもスケールアップ可能です。
GCをスクラッチから使用してImageNet-1K上でResNet-18をトレーニングするには8967GPU秒を要する。
しかし、我々のpudnetはresnet-18のネットワークパラメータを予測するのにわずか3.89gpu秒しかかからない(44.92%)。
関連論文リスト
- ScaleNet: An Unsupervised Representation Learning Method for Limited
Information [0.0]
ScaleNet という,シンプルで効率的な非教師なし表現学習手法を提案する。
ハリスコーナー情報のような特定の画像特徴は、回転予測タスクの効率において重要な役割を果たす。
限られたデータを持つScaleNetモデルから転送されたパラメータは、RotNetモデルと比較して、ImageNet分類タスクを約6%改善する。
論文 参考訳（メタデータ） (2023-10-03T19:13:43Z) - Can We Scale Transformers to Predict Parameters of Diverse ImageNet
Models? [23.668513148189344]
私たちは、他のニューラルネットワークの高品質なパラメータを予測できる単一のニューラルネットワークをリリースします。
PyTorchで利用可能な多様なImageNetモデルのトレーニングを強化することができます。
他のデータセットに転送されると、予測パラメータを持つモデルはより早く収束し、競合する最終性能に達する。
論文 参考訳（メタデータ） (2023-03-07T18:56:59Z) - Prompt Tuning for Parameter-efficient Medical Image Segmentation [79.09285179181225]
2つの医用画像データセットのセマンティックセグメンテーションにパラメータ効率が良いが効果的な適応を実現するために,いくつかのコントリビューションを提案し,検討する。
我々はこのアーキテクチャを、オンライン生成プロトタイプへの割り当てに基づく専用密集型セルフスーパービジョンスキームで事前訓練する。
得られたニューラルネットワークモデルにより、完全に微調整されたモデルとパラメータに適応したモデルとのギャップを緩和できることを実証する。
論文 参考訳（メタデータ） (2022-11-16T21:55:05Z) - LilNetX: Lightweight Networks with EXtreme Model Compression and
Structured Sparsification [36.651329027209634]
LilNetXは、ニューラルネットワークのためのエンドツーエンドのトレーニング可能なテクニックである。
特定の精度-レート-計算トレードオフを持つ学習モデルを可能にする。
論文 参考訳（メタデータ） (2022-04-06T17:59:10Z) - Parameter Prediction for Unseen Deep Architectures [23.79630072083828]
我々は、他のネットワークを訓練する過去の知識を利用して、ディープラーニングを使ってパラメータを直接予測できるかどうか検討する。
本稿では,CPU上でも1秒の間隔で1回のフォワードパスで性能パラメータを予測できるハイパーネットワークを提案する。
提案したモデルは、目に見えない多様なネットワーク上で驚くほど優れた性能を達成する。
論文 参考訳（メタデータ） (2021-10-25T16:52:33Z) - EfficientNetV2: Smaller Models and Faster Training [91.77432224225221]
本稿では,従来のモデルよりも高速な学習速度とパラメータ効率を有する畳み込みネットワークであるEfficientNetV2を紹介する。
トレーニング対応のニューラルネットワークアーキテクチャ検索とスケーリングを組み合わせて、トレーニング速度とパラメータ効率を共同で最適化します。
実験の結果,EfficientNetV2モデルは最先端モデルよりも最大6.8倍の速度でトレーニングできることがわかった。
論文 参考訳（メタデータ） (2021-04-01T07:08:36Z) - Dynamic Graph: Learning Instance-aware Connectivity for Neural Networks [78.65792427542672]
動的グラフネットワーク(DG-Net)は完全な有向非巡回グラフであり、ノードは畳み込みブロックを表し、エッジは接続経路を表す。
ネットワークの同じパスを使用する代わりに、DG-Netは各ノードの機能を動的に集約する。
論文 参考訳（メタデータ） (2020-10-02T16:50:26Z) - Pre-Trained Models for Heterogeneous Information Networks [57.78194356302626]
異種情報ネットワークの特徴を捉えるための自己教師付き事前学習・微調整フレームワークPF-HINを提案する。
PF-HINは4つのデータセットにおいて、各タスクにおける最先端の代替よりも一貫して、大幅に優れています。
論文 参考訳（メタデータ） (2020-07-07T03:36:28Z) - Adjoined Networks: A Training Paradigm with Applications to Network
Compression [3.995047443480282]
本稿では、元のベースネットワークとより小さな圧縮ネットワークの両方を同時にトレーニングする学習パラダイムであるAdjoined Networks(AN)を紹介する。
ベースネットワークとしてResNet-50を使用すると、画像Netデータセット上の1.8Mパラメータと1.6GFLOPで71.8%のトップ-1の精度が達成される。
我々は,ニューラルネットワーク探索を用いて,より小さなネットワークの各レイヤの幅と重みを共同で学習し,ANを増強する訓練パラダイムであるDaniable Adjoined Networks (DAN)を提案する。
論文 参考訳（メタデータ） (2020-06-10T02:48:16Z) - CRNet: Cross-Reference Networks for Few-Shot Segmentation [59.85183776573642]
少ないショットセグメンテーションは、少数のトレーニングイメージを持つ新しいクラスに一般化できるセグメンテーションモデルを学ぶことを目的としている。
相互参照機構により、我々のネットワークは2つの画像に共起する物体をよりよく見つけることができる。
PASCAL VOC 2012データセットの実験は、我々のネットワークが最先端のパフォーマンスを達成することを示す。
論文 参考訳（メタデータ） (2020-03-24T04:55:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。