論文の概要: Dynamic Kernel Selection for Improved Generalization and Memory
Efficiency in Meta-learning
- arxiv url: http://arxiv.org/abs/2206.01690v1
- Date: Fri, 3 Jun 2022 17:09:26 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-06 13:29:17.236269
- Title: Dynamic Kernel Selection for Improved Generalization and Memory
Efficiency in Meta-learning
- Title（参考訳）: メタ学習における一般化と記憶効率向上のための動的カーネル選択
- Authors: Arnav Chavan, Rishabh Tiwari, Udbhav Bamba, Deepak K. Gupta
- Abstract要約: 圧縮CNNモデルを設計するためのタスク固有の動的カーネル選択戦略であるMetaDOCKを提案する。
提案手法は,各タスクごとにネットワークのすべてのカーネルが必要なわけではない,という仮説に基づいている。
提案手法を用いて得られた大容量CNNモデルの同一推定予算に対して,従来のCNNモデルよりも常に優れた性能を示すことを示す。
- 参考スコア（独自算出の注目度）: 9.176056742068813
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Gradient based meta-learning methods are prone to overfit on the
meta-training set, and this behaviour is more prominent with large and complex
networks. Moreover, large networks restrict the application of meta-learning
models on low-power edge devices. While choosing smaller networks avoid these
issues to a certain extent, it affects the overall generalization leading to
reduced performance. Clearly, there is an approximately optimal choice of
network architecture that is best suited for every meta-learning problem,
however, identifying it beforehand is not straightforward. In this paper, we
present MetaDOCK, a task-specific dynamic kernel selection strategy for
designing compressed CNN models that generalize well on unseen tasks in
meta-learning. Our method is based on the hypothesis that for a given set of
similar tasks, not all kernels of the network are needed by each individual
task. Rather, each task uses only a fraction of the kernels, and the selection
of the kernels per task can be learnt dynamically as a part of the inner update
steps. MetaDOCK compresses the meta-model as well as the task-specific inner
models, thus providing significant reduction in model size for each task, and
through constraining the number of active kernels for every task, it implicitly
mitigates the issue of meta-overfitting. We show that for the same inference
budget, pruned versions of large CNN models obtained using our approach
consistently outperform the conventional choices of CNN models. MetaDOCK
couples well with popular meta-learning approaches such as iMAML. The efficacy
of our method is validated on CIFAR-fs and mini-ImageNet datasets, and we have
observed that our approach can provide improvements in model accuracy of up to
2% on standard meta-learning benchmark, while reducing the model size by more
than 75%.
- Abstract（参考訳）: 勾配に基づくメタ学習手法は、メタトレーニングセットに過剰に適合しがちであり、この振る舞いは大規模で複雑なネットワークでより顕著である。
さらに、大規模ネットワークは低消費電力エッジデバイスへのメタラーニングモデルの適用を制限する。
より小さなネットワークを選択すると、これらの問題はある程度回避されるが、全体的な一般化によって性能が低下する。
明らかに、あらゆるメタ学習問題に最も適したネットワークアーキテクチャには、ほぼ最適な選択があるが、事前に識別することは簡単ではない。
本稿では,タスク固有の動的カーネル選択戦略であるMetaDOCKを提案する。
提案手法は,与えられたタスク群に対して,ネットワークのすべてのカーネルが個々のタスクで必要とされるわけではないという仮説に基づいている。
むしろ、各タスクはカーネルのほんの一部しか使用せず、各タスクごとのカーネルの選択はインナー更新ステップの一部として動的に学習することができる。
MetaDOCKはメタモデルとタスク固有の内部モデルを圧縮し、各タスクのモデルサイズを大幅に削減し、各タスクのアクティブカーネル数を制限することで、メタオーバーフィッティングの問題を暗黙的に緩和する。
提案手法を用いて得られた大容量CNNモデルの同一の推論予算に対して,従来のCNNモデルよりも常に優れていることを示す。
MetaDOCKは、iMAMLのような一般的なメタ学習アプローチとよく合っている。
本手法の有効性はcifar-fsおよびmini-imagenetデータセット上で検証され,本手法は標準メタラーニングベンチマークにおいて最大2%の精度向上を実現するとともに,モデルサイズを75%以上削減できることを確認した。
関連論文リスト
- Towards Efficient Pareto Set Approximation via Mixture of Experts Based Model Fusion [53.33473557562837]
大規模深層ニューラルネットワークに対する多目的最適化問題を解くことは、損失ランドスケープの複雑さと高価な計算コストのために難しい課題である。
本稿では,専門家(MoE)をベースとしたモデル融合を用いて,この問題を実用的でスケーラブルに解決する手法を提案する。
特殊な単一タスクモデルの重みをまとめることで、MoEモジュールは複数の目的間のトレードオフを効果的に捉えることができる。
論文 参考訳（メタデータ） (2024-06-14T07:16:18Z) - Task-Distributionally Robust Data-Free Meta-Learning [99.56612787882334]
Data-Free Meta-Learning (DFML)は、複数の事前学習モデルを活用することで、独自のトレーニングデータを必要とせずに、新しいタスクを効率的に学習することを目的としている。
TDS(Task-Distribution Shift)とTDC(Task-Distribution Corruption)の2つの大きな課題を初めて明らかにした。
論文 参考訳（メタデータ） (2023-11-23T15:46:54Z) - Few-Shot Learning of Compact Models via Task-Specific Meta Distillation [16.683801607142257]
コンパクトモデルの少数ショット学習における新しい問題を考える。
メタ学習において2つのモデルを同時に学習するタスク固有のメタ蒸留を提案する。
論文 参考訳（メタデータ） (2022-10-18T15:06:47Z) - Meta-Learning with Self-Improving Momentum Target [72.98879709228981]
メタラーナーの性能を向上させるために,SiMT(Self-improving Momentum Target)を提案する。
SiMTはメタラーナーの時間アンサンブルから適応してターゲットモデルを生成する。
我々は、SiMTが幅広いメタ学習手法と組み合わせることで、大きなパフォーマンス向上をもたらすことを示す。
論文 参考訳（メタデータ） (2022-10-11T06:45:15Z) - Learning Instance and Task-Aware Dynamic Kernels for Few Shot Learning [32.3217883750605]
我々は、手前のタスクの関数として畳み込みネットワークの動的カーネルを学習し、より高速な一般化を可能にする。
実験により,本モデルでは,数発の分類および検出タスクの性能向上を実証的に示す。
論文 参考訳（メタデータ） (2021-12-07T04:52:36Z) - Energy-Efficient and Federated Meta-Learning via Projected Stochastic
Gradient Ascent [79.58680275615752]
エネルギー効率のよいメタラーニングフレームワークを提案する。
各タスクは別々のエージェントによって所有されていると仮定するため、メタモデルをトレーニングするために限られたタスクが使用される。
論文 参考訳（メタデータ） (2021-05-31T08:15:44Z) - Meta-Learning with Neural Tangent Kernels [58.06951624702086]
メタモデルのニューラルタンジェントカーネル(NTK)によって誘導される再生カーネルヒルベルト空間(RKHS)における最初のメタラーニングパラダイムを提案する。
このパラダイムでは,MAMLフレームワークのように,最適な反復内ループ適応を必要としない2つのメタ学習アルゴリズムを導入する。
本研究の目的は,1) 適応をRKHSの高速適応正則化器に置き換えること,2) NTK理論に基づいて解析的に適応を解くことである。
論文 参考訳（メタデータ） (2021-02-07T20:53:23Z) - Meta-Regularization by Enforcing Mutual-Exclusiveness [0.8057006406834467]
本稿では,メタ学習時の情報フローをモデル設計者が制御できるように,メタ学習モデルの正規化手法を提案する。
提案した正規化関数は,Omniglotデータセット上で$sim$$36%の精度向上を示す。
論文 参考訳（メタデータ） (2021-01-24T22:57:19Z) - MetaGater: Fast Learning of Conditional Channel Gated Networks via
Federated Meta-Learning [46.79356071007187]
本稿では,バックボーンネットワークとチャネルゲーティングを協調的にトレーニングするための総合的なアプローチを提案する。
我々は,バックボーンネットワークとゲーティングモジュールの両方において,優れたメタ初期化を共同で学習するための,連携型メタ学習手法を開発した。
論文 参考訳（メタデータ） (2020-11-25T04:26:23Z) - Improving Generalization in Meta-learning via Task Augmentation [69.83677015207527]
本稿ではMetaMixとChannel Shuffleの2つのタスク拡張手法を提案する。
MetaMixとChannel Shuffleはどちらも、多くのデータセットにまたがる大きなマージンによって、最先端の結果を上回っている。
論文 参考訳（メタデータ） (2020-07-26T01:50:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。