論文の概要: Kernel Modulation: A Parameter-Efficient Method for Training
Convolutional Neural Networks
- arxiv url: http://arxiv.org/abs/2203.15297v1
- Date: Tue, 29 Mar 2022 07:28:50 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-30 13:38:59.308588
- Title: Kernel Modulation: A Parameter-Efficient Method for Training
Convolutional Neural Networks
- Title(参考訳): カーネル変調:畳み込みニューラルネットワークのパラメータ効率向上手法
- Authors: Yuhuang Hu, Shih-Chii Liu
- Abstract要約: 本研究は,階層のサブセットではなく,ベースネットワークのすべてのパラメータを適応する,新しいパラメータ効率の高いカーネル変調(KM)手法を提案する。
KMは軽量なタスク特化カーネル変調器を使用し、ベースネットワークパラメータの1.4%しか必要としない。
以上の結果から,KMはTransfer Learningベンチマークの他のパラメータ効率の高い手法よりも最大9%高い精度を達成できることがわかった。
- 参考スコア(独自算出の注目度): 19.56633207984127
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep Neural Networks, particularly Convolutional Neural Networks (ConvNets),
have achieved incredible success in many vision tasks, but they usually require
millions of parameters for good accuracy performance. With increasing
applications that use ConvNets, updating hundreds of networks for multiple
tasks on an embedded device can be costly in terms of memory, bandwidth, and
energy. Approaches to reduce this cost include model compression and
parameter-efficient models that adapt a subset of network layers for each new
task. This work proposes a novel parameter-efficient kernel modulation (KM)
method that adapts all parameters of a base network instead of a subset of
layers. KM uses lightweight task-specialized kernel modulators that require
only an additional 1.4% of the base network parameters. With multiple tasks,
only the task-specialized KM weights are communicated and stored on the
end-user device. We applied this method in training ConvNets for Transfer
Learning and Meta-Learning scenarios. Our results show that KM delivers up to
9% higher accuracy than other parameter-efficient methods on the Transfer
Learning benchmark.
- Abstract(参考訳): 深層ニューラルネットワーク、特に畳み込みニューラルネットワーク(convnets)は、多くの視覚タスクで驚くべき成功を収めていますが、高い精度を得るためには数百万のパラメータが必要です。
ConvNetsを使用するアプリケーションの増加に伴い、組み込みデバイス上の複数のタスクのために数百のネットワークを更新することは、メモリ、帯域幅、エネルギーの面でコストがかかる可能性がある。
このコストを削減するアプローチには、新しいタスク毎にネットワーク層のサブセットを適用するモデル圧縮とパラメータ効率モデルが含まれる。
本研究は,階層のサブセットではなく,ベースネットワークの全パラメータを適応させる新しいパラメータ効率カーネル変調(km)法を提案する。
KMは軽量なタスク特化カーネル変調器を使用し、ベースネットワークパラメータの1.4%しか必要としない。
複数のタスクでタスク特化KM重みだけが通信され、エンドユーザデバイスに格納される。
本手法は,トランスファー学習およびメタラーニングシナリオのための学習コンベネットに適用した。
その結果,転移学習ベンチマークのパラメータ効率が他の手法よりも最大9%高い精度が得られることがわかった。
関連論文リスト
- Learning Compact Neural Networks with Deep Overparameterised Multitask
Learning [0.0]
パラメータ化ニューラルネットワーク設計よりも単純で効率的で効果的なマルチタスク学習を提案する。
2つの挑戦的マルチタスクデータセット(NYUv2とCOCO)の実験により,提案手法の有効性が示された。
論文 参考訳(メタデータ) (2023-08-25T10:51:02Z) - Rewarded meta-pruning: Meta Learning with Rewards for Channel Pruning [19.978542231976636]
本稿では,ディープラーニングモデルにおける計算効率向上のためのパラメータとFLOPの削減手法を提案する。
本稿では,ネットワークの精度と計算効率のトレードオフを制御するために,精度と効率係数を導入する。
論文 参考訳(メタデータ) (2023-01-26T12:32:01Z) - Learning to Learn with Generative Models of Neural Network Checkpoints [71.06722933442956]
ニューラルネットワークのチェックポイントのデータセットを構築し,パラメータの生成モデルをトレーニングする。
提案手法は,幅広い損失プロンプトに対するパラメータの生成に成功している。
我々は、教師付きおよび強化学習における異なるニューラルネットワークアーキテクチャとタスクに本手法を適用した。
論文 参考訳(メタデータ) (2022-09-26T17:59:58Z) - Task Adaptive Parameter Sharing for Multi-Task Learning [114.80350786535952]
Adaptive Task Adapting Sharing(TAPS)は、階層の小さなタスク固有のサブセットを適応的に修正することで、ベースモデルを新しいタスクにチューニングする手法である。
他の手法と比較して、TAPSはダウンストリームタスクに対して高い精度を維持し、タスク固有のパラメータは少ない。
我々は,タスクやアーキテクチャ(ResNet,DenseNet,ViT)を微調整して評価し,実装が簡単でありながら最先端の性能を実現することを示す。
論文 参考訳(メタデータ) (2022-03-30T23:16:07Z) - An Experimental Study of the Impact of Pre-training on the Pruning of a
Convolutional Neural Network [0.0]
近年、ディープニューラルネットワークは様々なアプリケーション領域で広く成功している。
ディープニューラルネットワークは通常、ネットワークの重みに対応する多数のパラメータを含む。
プルーニング法は特に、無関係な重みを識別して取り除くことにより、パラメータセットのサイズを減らそうとしている。
論文 参考訳(メタデータ) (2021-12-15T16:02:15Z) - Efficient Feature Transformations for Discriminative and Generative
Continual Learning [98.10425163678082]
継続的学習のための簡易タスク特化機能マップ変換戦略を提案する。
これらは新しいタスクを学習するための強力な柔軟性を提供し、ベースアーキテクチャに最小パラメータを追加することで実現される。
本手法の有効性と効率を,判別(cifar-100およびimagenet-1k)および生成的タスクの一連の実験を用いて実証する。
論文 参考訳(メタデータ) (2021-03-25T01:48:14Z) - Learning Neural Network Subspaces [74.44457651546728]
近年の観測は,ニューラルネットワーク最適化の展望の理解を深めている。
1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。
1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。
論文 参考訳(メタデータ) (2021-02-20T23:26:58Z) - Channel Planting for Deep Neural Networks using Knowledge Distillation [3.0165431987188245]
我々は,植林と呼ばれる深層ニューラルネットワークのための新しいインクリメンタルトレーニングアルゴリズムを提案する。
本システムでは,ネットワーク性能向上のためのパラメータの少ない最適ネットワークアーキテクチャを探索できる。
CIFAR-10/100 や STL-10 などの異なるデータセットに対する提案手法の有効性を評価する。
論文 参考訳(メタデータ) (2020-11-04T16:29:59Z) - Neural Parameter Allocation Search [57.190693718951316]
ニューラルネットワークのトレーニングには、メモリの量を増やす必要がある。
既存の手法では、ネットワークには多くの同一層があり、一般化に失敗する手作りの共有戦略を利用する。
我々は、任意のパラメータ予算を与えられたニューラルネットワークをトレーニングする新しいタスクであるNPAS(Neural Allocation Search)を紹介する。
NPASは、コンパクトネットワークを創出する低予算体制と、推論FLOPを増大させることなく性能を高めるために、新たな高予算体制の両方をカバーしている。
論文 参考訳(メタデータ) (2020-06-18T15:01:00Z) - Adjoined Networks: A Training Paradigm with Applications to Network
Compression [3.995047443480282]
本稿では、元のベースネットワークとより小さな圧縮ネットワークの両方を同時にトレーニングする学習パラダイムであるAdjoined Networks(AN)を紹介する。
ベースネットワークとしてResNet-50を使用すると、画像Netデータセット上の1.8Mパラメータと1.6GFLOPで71.8%のトップ-1の精度が達成される。
我々は,ニューラルネットワーク探索を用いて,より小さなネットワークの各レイヤの幅と重みを共同で学習し,ANを増強する訓練パラダイムであるDaniable Adjoined Networks (DAN)を提案する。
論文 参考訳(メタデータ) (2020-06-10T02:48:16Z) - Model Fusion via Optimal Transport [64.13185244219353]
ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。
これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
論文 参考訳(メタデータ) (2019-10-12T22:07:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。