論文の概要: Architecture, Dataset and Model-Scale Agnostic Data-free Meta-Learning

• arxiv url: http://arxiv.org/abs/2303.11183v2
• Date: Mon, 19 Jun 2023 14:42:29 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-22 03:09:22.631047
• Title: Architecture, Dataset and Model-Scale Agnostic Data-free Meta-Learning
• Title（参考訳）: アーキテクチャ、データセット、モデルスケールの非依存型メタラーニング
• Authors: Zixuan Hu, Li Shen, Zhenyi Wang, Tongliang Liu, Chun Yuan, Dacheng Tao
• Abstract要約: データフリーメタトレーニングにおけるePisode cUrriculum inversion(ECI)と、内部ループ後のinvErsion calibRation(ICFIL)を提案する。 ECIは、メタモデルのリアルタイムフィードバックに応じて、擬似エピソードの難易度を適応的に増加させる。 本稿では,ECIを用いたメタトレーニングの最適化過程を,エンド・ツー・エンド方式で近似形式として定式化する。
• 参考スコア（独自算出の注目度）: 119.70303730341938
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The goal of data-free meta-learning is to learn useful prior knowledge from a collection of pre-trained models without accessing their training data. However, existing works only solve the problem in parameter space, which (i) ignore the fruitful data knowledge contained in the pre-trained models; (ii) can not scale to large-scale pre-trained models; (iii) can only meta-learn pre-trained models with the same network architecture. To address those issues, we propose a unified framework, dubbed PURER, which contains: (1) ePisode cUrriculum inveRsion (ECI) during data-free meta training; and (2) invErsion calibRation following inner loop (ICFIL) during meta testing. During meta training, we propose ECI to perform pseudo episode training for learning to adapt fast to new unseen tasks. Specifically, we progressively synthesize a sequence of pseudo episodes by distilling the training data from each pre-trained model. The ECI adaptively increases the difficulty level of pseudo episodes according to the real-time feedback of the meta model. We formulate the optimization process of meta training with ECI as an adversarial form in an end-to-end manner. During meta testing, we further propose a simple plug-and-play supplement-ICFIL-only used during meta testing to narrow the gap between meta training and meta testing task distribution. Extensive experiments in various real-world scenarios show the superior performance of ours.
• Abstract（参考訳）: データフリーなメタ学習の目標は、トレーニングデータにアクセスすることなく、事前訓練されたモデルの集合から有用な事前知識を学ぶことである。 しかし、既存の仕事はパラメータ空間でのみ問題を解く。 (i)事前訓練されたモデルに含まれる実りあるデータ知識を無視する。 (ii)大規模事前訓練モデルにはスケールできない。 (iii)同じネットワークアーキテクチャでメタ学習モデルのみを学習できる。 これらの問題に対処するために,(1)データフリーなメタトレーニング中のエピソードカリキュラムインバージョン(eci),(2)メタテスト中のインナーループ後のインバージョンキャリブレーション(icfil)を含む,purerと呼ばれる統一フレームワークを提案する。 メタトレーニング中に,新しい未知のタスクに素早く適応する学習のための疑似エピソード訓練を行うeciを提案する。 具体的には,事前学習した各モデルからトレーニングデータを蒸留することにより,擬似エピソードの系列を段階的に合成する。 ECIは、メタモデルのリアルタイムフィードバックに応じて、擬似エピソードの難易度を適応的に増加させる。 本稿では,ECIを用いたメタトレーニングの最適化プロセスについて,エンドツーエンドで検証する。 メタテスト中,メタトレーニングとメタテストタスク分布のギャップを狭めるために,メタテスト時にのみ使用される簡易なプラグアンドプレイサプリメントICFILを提案する。 様々な実世界のシナリオにおける広範囲な実験は、我々の優れた性能を示している。

関連論文リスト

• What Do Learning Dynamics Reveal About Generalization in LLM Reasoning? [83.83230167222852]
  モデルの一般化動作は,事前記憶列車の精度と呼ばれるトレーニング指標によって効果的に特徴づけられることがわかった。 モデルの学習行動と一般化を結びつけることで、トレーニング戦略に目標とする改善を導くことができる。
  論文  参考訳（メタデータ） (2024-11-12T09:52:40Z)
• FREE: Faster and Better Data-Free Meta-Learning [77.90126669914324]
  Data-Free Meta-Learning (DFML) は、トレーニング済みモデルのコレクションから、元のデータを必要としない知識を抽出することを目的としている。 i)事前訓練されたモデルからトレーニングタスクを迅速に回復するためのメタジェネレータ,(ii)新しい未知のタスクに一般化するためのメタラーナーを含む、より高速で優れたデータフリーなメタラーニングフレームワークを紹介する。
  論文  参考訳（メタデータ） (2024-05-02T03:43:19Z)
• Boosting Meta-Training with Base Class Information for Few-Shot Learning [35.144099160883606]
  2つの代替ループからなるエンドツーエンドのトレーニングパラダイムを提案する。 外部ループでは,最終線形層のみを更新しながら,トレーニングセット全体のクロスエントロピー損失を算出する。 このトレーニングパラダイムは、迅速に収束するだけでなく、既存のベースラインよりも優れており、トレーニングセット全体からの情報とメタラーニングトレーニングパラダイムが相互に強化できることを示している。
  論文  参考訳（メタデータ） (2024-03-06T05:13:23Z)
• Unsupervised Representation Learning to Aid Semi-Supervised Meta Learning [16.534014215010757]
  トレーニングサンプルの潜在表現を学習するために,一発の教師なしメタラーニングを提案する。 メタラーニングの内ループでは、温度スケールのクロスエントロピー損失を使用し、オーバーフィッティングを防止する。 提案手法はモデル非依存であり, どんなメタ学習モデルでも精度を向上させることができる。
  論文  参考訳（メタデータ） (2023-10-19T18:25:22Z)
• Meta-Learning with Self-Improving Momentum Target [72.98879709228981]
  メタラーナーの性能を向上させるために,SiMT(Self-improving Momentum Target)を提案する。 SiMTはメタラーナーの時間アンサンブルから適応してターゲットモデルを生成する。 我々は、SiMTが幅広いメタ学習手法と組み合わせることで、大きなパフォーマンス向上をもたらすことを示す。
  論文  参考訳（メタデータ） (2022-10-11T06:45:15Z)
• MetaICL: Learning to Learn In Context [87.23056864536613]
  そこで我々は,メタICLというメタトレーニングフレームワークを紹介した。このフレームワークでは,事前学習された言語モデルが,大量のトレーニングタスクに対してコンテキスト内学習を行うように調整されている。 その結果,MetaICLは,目標タスクトレーニングデータに対して完全に微調整されたモデルの性能にアプローチ(時には打ち負かす)し,ほぼ8倍のパラメータを持つモデルよりも優れた性能を示すことがわかった。
  論文  参考訳（メタデータ） (2021-10-29T17:42:08Z)
• Meta-Regularization by Enforcing Mutual-Exclusiveness [0.8057006406834467]
  本稿では,メタ学習時の情報フローをモデル設計者が制御できるように,メタ学習モデルの正規化手法を提案する。 提案した正規化関数は,Omniglotデータセット上で$sim$$36%の精度向上を示す。
  論文  参考訳（メタデータ） (2021-01-24T22:57:19Z)
• Incremental Meta-Learning via Indirect Discriminant Alignment [118.61152684795178]
  メタ学習のメタ学習段階において,段階的な学習の概念を発達させる。 我々のアプローチは、完全なメタトレーニングセットでモデルをトレーニングするのと比べて、テスト時に好適に機能する。
  論文  参考訳（メタデータ） (2020-02-11T01:39:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。