論文の概要: FREE: Faster and Better Data-Free Meta-Learning

• arxiv url: http://arxiv.org/abs/2405.00984v1
• Date: Thu, 2 May 2024 03:43:19 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-03 17:54:29.179806
• Title: FREE: Faster and Better Data-Free Meta-Learning
• Title（参考訳）: FREE: より高速でデータフリーなメタ学習
• Authors: Yongxian Wei, Zixuan Hu, Zhenyi Wang, Li Shen, Chun Yuan, Dacheng Tao,
• Abstract要約: Data-Free Meta-Learning (DFML) は、トレーニング済みモデルのコレクションから、元のデータを必要としない知識を抽出することを目的としている。 i)事前訓練されたモデルからトレーニングタスクを迅速に回復するためのメタジェネレータ,(ii)新しい未知のタスクに一般化するためのメタラーナーを含む、より高速で優れたデータフリーなメタラーニングフレームワークを紹介する。
• 参考スコア（独自算出の注目度）: 77.90126669914324
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Data-Free Meta-Learning (DFML) aims to extract knowledge from a collection of pre-trained models without requiring the original data, presenting practical benefits in contexts constrained by data privacy concerns. Current DFML methods primarily focus on the data recovery from these pre-trained models. However, they suffer from slow recovery speed and overlook gaps inherent in heterogeneous pre-trained models. In response to these challenges, we introduce the Faster and Better Data-Free Meta-Learning (FREE) framework, which contains: (i) a meta-generator for rapidly recovering training tasks from pre-trained models; and (ii) a meta-learner for generalizing to new unseen tasks. Specifically, within the module Faster Inversion via Meta-Generator, each pre-trained model is perceived as a distinct task. The meta-generator can rapidly adapt to a specific task in just five steps, significantly accelerating the data recovery. Furthermore, we propose Better Generalization via Meta-Learner and introduce an implicit gradient alignment algorithm to optimize the meta-learner. This is achieved as aligned gradient directions alleviate potential conflicts among tasks from heterogeneous pre-trained models. Empirical experiments on multiple benchmarks affirm the superiority of our approach, marking a notable speed-up (20$\times$) and performance enhancement (1.42\% $\sim$ 4.78\%) in comparison to the state-of-the-art.
• Abstract（参考訳）: Data-Free Meta-Learning (DFML)は、トレーニング済みモデルのコレクションから、オリジナルのデータを必要としない知識を抽出することを目的としており、データプライバシの懸念に制約されたコンテキストにおいて、実用的なメリットを提供する。 現在のDFMLメソッドは主に、トレーニング済みのモデルからのデータリカバリに焦点を当てている。 しかし、不均一な事前訓練モデルに固有の回復速度と見落としのギャップに悩まされている。 これらの課題に対応するために、我々はFREE(Faster and Better Data-Free Meta-Learning)フレームワークを紹介した。 一 事前訓練したモデルから迅速に訓練業務を回復するためのメタジェネレータ (ii)新しい目に見えないタスクに一般化するためのメタラーナー。 具体的には、モジュール内のメタジェネレータによる高速インバージョンでは、トレーニング済みの各モデルが異なるタスクとして認識される。 メタジェネレータは、わずか5ステップで特定のタスクに迅速に適応し、データリカバリを著しく加速する。 さらに,メタラーナーによるより優れた一般化を提案し,メタラーナーを最適化するための暗黙の勾配アライメントアルゴリズムを提案する。 これは、不均一な事前訓練されたモデルからのタスク間の潜在的な衝突を軽減するためである。 複数のベンチマークに関する実証実験により、我々のアプローチの優位性が確認され、最先端技術と比較して、注目すべきスピードアップ(20$\times$)とパフォーマンス向上(1.42\%$\sim$4.78\%)が示された。

関連論文リスト

• What Do Learning Dynamics Reveal About Generalization in LLM Reasoning? [83.83230167222852]
  モデルの一般化動作は,事前記憶列車の精度と呼ばれるトレーニング指標によって効果的に特徴づけられることがわかった。 モデルの学習行動と一般化を結びつけることで、トレーニング戦略に目標とする改善を導くことができる。
  論文  参考訳（メタデータ） (2024-11-12T09:52:40Z)
• Architecture, Dataset and Model-Scale Agnostic Data-free Meta-Learning [119.70303730341938]
  データフリーメタトレーニングにおけるePisode cUrriculum inversion(ECI)と、内部ループ後のinvErsion calibRation(ICFIL)を提案する。 ECIは、メタモデルのリアルタイムフィードバックに応じて、擬似エピソードの難易度を適応的に増加させる。 本稿では,ECIを用いたメタトレーニングの最適化過程を,エンド・ツー・エンド方式で近似形式として定式化する。
  論文  参考訳（メタデータ） (2023-03-20T15:10:41Z)
• Model-Agnostic Multitask Fine-tuning for Few-shot Vision-Language Transfer Learning [59.38343286807997]
  未知タスクの視覚言語モデルのためのモデル非依存型マルチタスクファインチューニング(MAMF)を提案する。 モデルに依存しないメタラーニング(MAML)と比較して、MAMFは二段階最適化を捨て、一階勾配のみを使用する。 MAMFは5つのベンチマークデータセット上で、数ショットの転送学習において古典的な微調整法よりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2022-03-09T17:26:53Z)
• Faster Meta Update Strategy for Noise-Robust Deep Learning [62.08964100618873]
  我々は,メタグラデーションの最も高価なステップをより高速なレイヤワイズ近似に置き換えるために,新しいファMUS(Faster Meta Update Strategy)を導入する。 本手法は,同等あるいはさらに優れた一般化性能を維持しつつ,トレーニング時間の3分の2を節約できることを示す。
  論文  参考訳（メタデータ） (2021-04-30T16:19:07Z)
• Meta-Regularization by Enforcing Mutual-Exclusiveness [0.8057006406834467]
  本稿では,メタ学習時の情報フローをモデル設計者が制御できるように,メタ学習モデルの正規化手法を提案する。 提案した正規化関数は,Omniglotデータセット上で$sim$$36%の精度向上を示す。
  論文  参考訳（メタデータ） (2021-01-24T22:57:19Z)
• Fast Few-Shot Classification by Few-Iteration Meta-Learning [173.32497326674775]
  数ショット分類のための高速な最適化に基づくメタラーニング手法を提案する。 我々の戦略はメタ学習において学習すべき基礎学習者の目的の重要な側面を可能にする。 我々は、我々のアプローチの速度と効果を実証し、総合的な実験分析を行う。
  論文  参考訳（メタデータ） (2020-10-01T15:59:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。