論文の概要: MetaPerturb: Transferable Regularizer for Heterogeneous Tasks and
Architectures
- arxiv url: http://arxiv.org/abs/2006.07540v3
- Date: Tue, 15 Feb 2022 13:56:01 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-21 20:33:09.535380
- Title: MetaPerturb: Transferable Regularizer for Heterogeneous Tasks and
Architectures
- Title（参考訳）: MetaPerturb: 異種タスクとアーキテクチャのための転送可能な正規化器
- Authors: Jeongun Ryu and Jaewoong Shin and Hae Beom Lee and Sung Ju Hwang
- Abstract要約: 本稿ではメタパーターブ(MetaPerturb)というトランスファー可能な摂動モデルを提案する。
MetaPerturbは、レイヤやタスクにまたがる多様な分散を訓練したセット関数であるため、異種タスクやアーキテクチャを一般化することができる。
- 参考スコア（独自算出の注目度）: 61.73533544385352
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Regularization and transfer learning are two popular techniques to enhance
generalization on unseen data, which is a fundamental problem of machine
learning. Regularization techniques are versatile, as they are task- and
architecture-agnostic, but they do not exploit a large amount of data
available. Transfer learning methods learn to transfer knowledge from one
domain to another, but may not generalize across tasks and architectures, and
may introduce new training cost for adapting to the target task. To bridge the
gap between the two, we propose a transferable perturbation, MetaPerturb, which
is meta-learned to improve generalization performance on unseen data.
MetaPerturb is implemented as a set-based lightweight network that is agnostic
to the size and the order of the input, which is shared across the layers.
Then, we propose a meta-learning framework, to jointly train the perturbation
function over heterogeneous tasks in parallel. As MetaPerturb is a set-function
trained over diverse distributions across layers and tasks, it can generalize
to heterogeneous tasks and architectures. We validate the efficacy and
generality of MetaPerturb trained on a specific source domain and architecture,
by applying it to the training of diverse neural architectures on heterogeneous
target datasets against various regularizers and fine-tuning. The results show
that the networks trained with MetaPerturb significantly outperform the
baselines on most of the tasks and architectures, with a negligible increase in
the parameter size and no hyperparameters to tune.
- Abstract（参考訳）: 正規化と転送学習は、機械学習の根本的な問題である、未知覚データの一般化を強化するための2つの一般的なテクニックである。
正規化技術はタスクやアーキテクチャに依存しないため多用途であるが、大量のデータを利用できない。
トランスファー学習手法は、知識をある領域から別の領域に移すことを学習するが、タスクやアーキテクチャをまたいだ一般化はせず、対象とするタスクに適応するための新たなトレーニングコストを導入する可能性がある。
そこで本論文では,この2つの間のギャップを埋めるため,トランスファー可能な摂動法であるmetaperturbを提案する。
MetaPerturbは、レイヤ間で共有される入力のサイズと順序に依存しない、セットベースの軽量ネットワークとして実装されている。
そこで本稿では,異種タスクを並列に摂動関数を学習するメタラーニングフレームワークを提案する。
MetaPerturbは、レイヤやタスクにまたがる多様な分散をトレーニングしたセット関数であるため、異種タスクやアーキテクチャに一般化することができる。
我々は、特定のソースドメインとアーキテクチャでトレーニングされたメタ摂動(metaperturb)の有効性と汎用性を検証し、様々な正規化子や微調整に対する異種ターゲットデータセット上の多様なニューラルネットワークのトレーニングに適用する。
その結果,metaperturbでトレーニングされたネットワークは,パラメータサイズの増加とハイパーパラメータのチューニングの不要により,ほとんどのタスクやアーキテクチャのベースラインを大きく上回っていることがわかった。
関連論文リスト
- Meta-Learning with Heterogeneous Tasks [42.695853959923625]
HeTRoM(Heterogeneous Tasks Robust Meta-learning)
双方向最適化に基づく効率的な反復最適化アルゴリズム
その結果,提案手法の柔軟性が示され,多様なタスク設定に適応できることがわかった。
論文 参考訳（メタデータ） (2024-10-24T16:32:23Z) - Fast Inference and Transfer of Compositional Task Structures for
Few-shot Task Generalization [101.72755769194677]
本稿では,タスクがサブタスクグラフによって特徴づけられる,数発の強化学習問題として定式化する。
我々のマルチタスクサブタスクグラフ推論器(MTSGI)は、トレーニングタスクから、まず、サブタスクグラフの観点から、一般的なハイレベルなタスク構造を推測する。
提案手法は,2次元グリッドワールドおよび複雑なWebナビゲーション領域において,タスクの共通基盤構造を学習し,活用し,未知のタスクへの適応を高速化する。
論文 参考訳（メタデータ） (2022-05-25T10:44:25Z) - Set-based Meta-Interpolation for Few-Task Meta-Learning [79.4236527774689]
そこで本研究では,メタトレーニングタスクの分散化を目的とした,ドメインに依存しないタスク拡張手法Meta-Interpolationを提案する。
様々な領域にまたがる8つのデータセットに対してメタ補間の有効性を実証的に検証した。
論文 参考訳（メタデータ） (2022-05-20T06:53:03Z) - Improving the Generalization of Meta-learning on Unseen Domains via
Adversarial Shift [3.1219977244201056]
ドメインシフトをシミュレートし、擬似タスクを生成する方法を学ぶためのモデルに依存しないシフト層を提案する。
擬似的なタスクに基づいて、メタ学習モデルはクロスドメインメタ知識を学習することができる。
論文 参考訳（メタデータ） (2021-07-23T07:29:30Z) - Meta-Learning with Fewer Tasks through Task Interpolation [67.03769747726666]
現在のメタ学習アルゴリズムは多数のメタトレーニングタスクを必要としており、実際のシナリオではアクセスできない可能性がある。
タスクグラデーションを用いたメタラーニング(MLTI)により,タスクのペアをランダムにサンプリングし,対応する特徴やラベルを補間することにより,タスクを効果的に生成する。
実証的な実験では,提案する汎用MLTIフレームワークが代表的なメタ学習アルゴリズムと互換性があり,他の最先端戦略を一貫して上回っていることがわかった。
論文 参考訳（メタデータ） (2021-06-04T20:15:34Z) - Large-Scale Meta-Learning with Continual Trajectory Shifting [76.29017270864308]
メタリアナーがより多くの内部勾配ステップをとれるようにすることで、ヘテロジニアスタスクや大規模タスクの構造をよりよく把握できることを示す。
メタ更新の頻度を増やすために、タスク固有のパラメータの必要なシフトを推定することを提案する。
このアルゴリズムは, 一般化性能と収束性の両方において, 先行する一階メタ学習法を大きく上回っていることを示す。
論文 参考訳（メタデータ） (2021-02-14T18:36:33Z) - Improving Generalization in Meta-learning via Task Augmentation [69.83677015207527]
本稿ではMetaMixとChannel Shuffleの2つのタスク拡張手法を提案する。
MetaMixとChannel Shuffleはどちらも、多くのデータセットにまたがる大きなマージンによって、最先端の結果を上回っている。
論文 参考訳（メタデータ） (2020-07-26T01:50:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。