論文の概要: DAC-MR: Data Augmentation Consistency Based Meta-Regularization for Meta-Learning

• arxiv url: http://arxiv.org/abs/2305.07892v1
• Date: Sat, 13 May 2023 11:01:47 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-16 18:58:28.528529
• Title: DAC-MR: Data Augmentation Consistency Based Meta-Regularization for Meta-Learning
• Title（参考訳）: dac-mr: メタ学習のためのデータ拡張一貫性に基づくメタレギュライゼーション
• Authors: Jun Shu, Xiang Yuan, Deyu Meng, Zongben Xu
• Abstract要約: メタ学習を改善するメタ知識情報メタラーニング(MKIML)フレームワークを提案する。 適切なメタレギュラー化(MR)目標を用いて,メタ知識をメタオブジェクトに統合する。 提案したDAC-MRは、ノイズ、スパース、あるいは利用できないメタデータのトレーニングタスクから、良好なパフォーマンスのメタモデルを学ぶことを期待している。
• 参考スコア（独自算出の注目度）: 55.733193075728096
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Meta learning recently has been heavily researched and helped advance the contemporary machine learning. However, achieving well-performing meta-learning model requires a large amount of training tasks with high-quality meta-data representing the underlying task generalization goal, which is sometimes difficult and expensive to obtain for real applications. Current meta-data-driven meta-learning approaches, however, are fairly hard to train satisfactory meta-models with imperfect training tasks. To address this issue, we suggest a meta-knowledge informed meta-learning (MKIML) framework to improve meta-learning by additionally integrating compensated meta-knowledge into meta-learning process. We preliminarily integrate meta-knowledge into meta-objective via using an appropriate meta-regularization (MR) objective to regularize capacity complexity of the meta-model function class to facilitate better generalization on unseen tasks. As a practical implementation, we introduce data augmentation consistency to encode invariance as meta-knowledge for instantiating MR objective, denoted by DAC-MR. The proposed DAC-MR is hopeful to learn well-performing meta-models from training tasks with noisy, sparse or unavailable meta-data. We theoretically demonstrate that DAC-MR can be treated as a proxy meta-objective used to evaluate meta-model without high-quality meta-data. Besides, meta-data-driven meta-loss objective combined with DAC-MR is capable of achieving better meta-level generalization. 10 meta-learning tasks with different network architectures and benchmarks substantiate the capability of our DAC-MR on aiding meta-model learning. Fine performance of DAC-MR are obtained across all settings, and are well-aligned with our theoretical insights. This implies that our DAC-MR is problem-agnostic, and hopeful to be readily applied to extensive meta-learning problems and tasks.
• Abstract（参考訳）: 最近、メタ学習は研究され、現代の機械学習の進歩に貢献した。 しかし、優れたメタ学習モデルを実現するには、基礎となるタスクの一般化目標を表す高品質なメタデータを備えた大量のトレーニングタスクが必要である。 しかし、現在のメタデータ駆動型メタ学習アプローチは、不十分なトレーニングタスクで満足なメタモデルをトレーニングすることがかなり難しい。 この問題に対処するため,メタ知識をメタ学習プロセスに統合することによりメタ学習を改善するメタ知識情報メタ学習(MKIML)フレームワークを提案する。 メタモデル関数クラスのキャパシティ複雑性を正規化するために,適切なメタ正規化(MR)目標を用いてメタ知識をメタオブジェクトに統合し,未確認タスクの一般化を容易にする。 DAC-MRで表されるMR目標をインスタンス化するためのメタ知識として,不変性を符号化するためのデータ拡張整合性を導入する。 提案するdac-mrは、ノイズ、スパース、あるいは使用不能なメタデータを持つトレーニングタスクから、パフォーマンスのよいメタモデルを学ぶことを希望する。 理論的には,DAC-MRは,高品質なメタデータを持たないメタモデルを評価するために用いられるプロキシメタオブジェクトとして扱うことができる。 さらに,DAC-MRと組み合わせたメタデータ駆動型メタロスは,より優れたメタレベルの一般化を実現することができる。 異なるネットワークアーキテクチャとベンチマークを持つ10のメタラーニングタスクは、メタモデル学習を支援するdac-mrの能力を示しています。 DAC-MRの優れた性能は、すべての設定で得られ、我々の理論的知見とよく一致している。 これは、私たちのDAC-MRは問題に非依存であり、広範なメタ学習問題やタスクに容易に適用できることを望んでいます。

関連論文リスト

• Meta-RTL: Reinforcement-Based Meta-Transfer Learning for Low-Resource Commonsense Reasoning [61.8360232713375]
  低リソースコモンセンス推論のための強化型マルチソースメタトランスファー学習フレームワーク(Meta-RTL)を提案する。 本稿では,メタトランスファー学習において,対象タスクに対するタスクの寄与を動的に推定する手法を提案する。 実験の結果,Meta-RTLは,強いベースラインと以前のタスク選択戦略を大幅に上回ることがわかった。
  論文  参考訳（メタデータ） (2024-09-27T18:22:22Z)
• Meta-Learning with Self-Improving Momentum Target [72.98879709228981]
  メタラーナーの性能を向上させるために,SiMT(Self-improving Momentum Target)を提案する。 SiMTはメタラーナーの時間アンサンブルから適応してターゲットモデルを生成する。 我々は、SiMTが幅広いメタ学習手法と組み合わせることで、大きなパフォーマンス向上をもたらすことを示す。
  論文  参考訳（メタデータ） (2022-10-11T06:45:15Z)
• On Fast Adversarial Robustness Adaptation in Model-Agnostic Meta-Learning [100.14809391594109]
  モデルに依存しないメタラーニング(MAML)は、数発の学習において最も成功したメタラーニング手法の1つである。 メタモデルの一般化力にもかかわらず、マルチショット学習においてMDLがいかに敵対的堅牢性を維持することができるかは明らかではない。 本稿では,ラベルなしデータ拡張,高速な攻撃生成,計算量軽微な微調整を可能にする,汎用的かつ最適化が容易なロバストネス正規化メタラーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-02-20T22:03:04Z)
• Improving Generalization in Meta-learning via Task Augmentation [69.83677015207527]
  本稿ではMetaMixとChannel Shuffleの2つのタスク拡張手法を提案する。 MetaMixとChannel Shuffleはどちらも、多くのデータセットにまたがる大きなマージンによって、最先端の結果を上回っている。
  論文  参考訳（メタデータ） (2020-07-26T01:50:42Z)
• Structured Prediction for Conditional Meta-Learning [44.30857707980074]
  構造化予測を用いた条件付きメタラーニングの新しい視点を提案する。 タスク適応型構造化メタラーニング(TASML: Task-Adaptive Structured Meta-learning)は,タスク固有目的関数を生成する基本的フレームワークである。 実験により,TASMLは既存のメタラーニングモデルの性能を向上し,ベンチマークデータセットの最先端性を上回った。
  論文  参考訳（メタデータ） (2020-02-20T15:24:15Z)
• Curriculum in Gradient-Based Meta-Reinforcement Learning [10.447238563837173]
  勾配に基づくメタラーナーはタスク分布に敏感であることを示す。 間違ったカリキュラムでは、エージェントはメタオーバーフィッティング、浅い適応、適応不安定の影響を被る。
  論文  参考訳（メタデータ） (2020-02-19T01:40:45Z)
• Incremental Meta-Learning via Indirect Discriminant Alignment [118.61152684795178]
  メタ学習のメタ学習段階において,段階的な学習の概念を発達させる。 我々のアプローチは、完全なメタトレーニングセットでモデルをトレーニングするのと比べて、テスト時に好適に機能する。
  論文  参考訳（メタデータ） (2020-02-11T01:39:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。