論文の概要: Learning to Learn from APIs: Black-Box Data-Free Meta-Learning
- arxiv url: http://arxiv.org/abs/2305.18413v2
- Date: Mon, 19 Jun 2023 15:25:37 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-22 01:42:37.614929
- Title: Learning to Learn from APIs: Black-Box Data-Free Meta-Learning
- Title（参考訳）: APIから学ぶ: Black-Box Data-Free Meta-Learning
- Authors: Zixuan Hu, Li Shen, Zhenyi Wang, Baoyuan Wu, Chun Yuan, Dacheng Tao
- Abstract要約: データフリーなメタラーニング(DFML)は、トレーニングデータにアクセスせずに事前訓練されたモデルの集合からメタラーニングすることで、新しいタスクの効率的な学習を可能にすることを目的としている。
既存のDFMLの作業は、(i)ホワイトボックスと(ii)小規模事前訓練モデルからしかメタ学習できない。
ブラックボックスAPIの集合から単一のモデルへ,より一般的なメタ知識を伝達するための,バイレベルデータフリーなメタ知識蒸留(BiDf-MKD)フレームワークを提案する。
- 参考スコア（独自算出の注目度）: 95.41441357931397
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Data-free meta-learning (DFML) aims to enable efficient learning of new tasks
by meta-learning from a collection of pre-trained models without access to the
training data. Existing DFML work can only meta-learn from (i) white-box and
(ii) small-scale pre-trained models (iii) with the same architecture,
neglecting the more practical setting where the users only have inference
access to the APIs with arbitrary model architectures and model scale inside.
To solve this issue, we propose a Bi-level Data-free Meta Knowledge
Distillation (BiDf-MKD) framework to transfer more general meta knowledge from
a collection of black-box APIs to one single meta model. Specifically, by just
querying APIs, we inverse each API to recover its training data via a
zero-order gradient estimator and then perform meta-learning via a novel
bi-level meta knowledge distillation structure, in which we design a boundary
query set recovery technique to recover a more informative query set near the
decision boundary. In addition, to encourage better generalization within the
setting of limited API budgets, we propose task memory replay to diversify the
underlying task distribution by covering more interpolated tasks. Extensive
experiments in various real-world scenarios show the superior performance of
our BiDf-MKD framework.
- Abstract（参考訳）: data-free meta-learning(dfml)の目的は、トレーニングデータにアクセスせずに事前学習されたモデルの集合からメタラーニングすることで、新しいタスクの効率的な学習を可能にすることである。
既存のDFML作業はメタ学習しかできない
(i)ホワイトボックス、及び
(ii)小規模事前訓練モデル
(iii)同じアーキテクチャで、任意のモデルアーキテクチャと内部のモデルスケールを備えたAPIへの推論アクセスしか持たない、より実用的な設定を無視します。
本稿では,ブラックボックスapiの集合から単一メタモデルへ,より汎用的なメタ知識を転送するためのbi-level data-free meta knowledge distillation (bidf-mkd)フレームワークを提案する。
具体的には、APIを照会するだけで、各APIを逆転して、ゼロ階勾配推定器を介してトレーニングデータを回復し、新しい二段階メタ知識蒸留構造を用いてメタラーニングを行い、境界クエリセットの回復手法を設計して、決定境界付近のより情報的なクエリセットを復元する。
また,限られたAPI予算の設定内での一般化を促進するため,より補間されたタスクをカバーし,タスク分布の多様化を図るタスクメモリ再生を提案する。
bidf-mkdフレームワークの優れた性能を示す、さまざまな現実世界のシナリオにおける広範囲な実験。
関連論文リスト
- Privacy Challenges in Meta-Learning: An Investigation on Model-Agnostic Meta-Learning [2.8948274245812327]
現在のメタラーニング手法では、タスク学習者は、サポートセットと呼ばれるセンシティブなデータからモデルをローカルに学習する。
明示的なデータ共有がないにもかかわらず、プライバシーの懸念は続いている。
本稿では,メタラーニングアルゴリズム,特にモデル非依存メタラーニング(MAML)における潜在的なデータ漏洩について検討する。
論文 参考訳（メタデータ） (2024-06-01T01:10:35Z) - FREE: Faster and Better Data-Free Meta-Learning [77.90126669914324]
Data-Free Meta-Learning (DFML) は、トレーニング済みモデルのコレクションから、元のデータを必要としない知識を抽出することを目的としている。
i)事前訓練されたモデルからトレーニングタスクを迅速に回復するためのメタジェネレータ,(ii)新しい未知のタスクに一般化するためのメタラーナーを含む、より高速で優れたデータフリーなメタラーニングフレームワークを紹介する。
論文 参考訳（メタデータ） (2024-05-02T03:43:19Z) - API-BLEND: A Comprehensive Corpora for Training and Benchmarking API LLMs [28.840207102132286]
既存のデータセットを特定し、キュレーションし、変換するタスクに重点を置いています。
ツール拡張LDMのトレーニングと体系的なテストを行うための大規模なコーパスであるAPI-BLENDを紹介する。
トレーニングとベンチマークの両方の目的で,API-BLENDデータセットの有用性を実証する。
論文 参考訳（メタデータ） (2024-02-23T18:30:49Z) - Architecture, Dataset and Model-Scale Agnostic Data-free Meta-Learning [119.70303730341938]
データフリーメタトレーニングにおけるePisode cUrriculum inversion(ECI)と、内部ループ後のinvErsion calibRation(ICFIL)を提案する。
ECIは、メタモデルのリアルタイムフィードバックに応じて、擬似エピソードの難易度を適応的に増加させる。
本稿では,ECIを用いたメタトレーニングの最適化過程を,エンド・ツー・エンド方式で近似形式として定式化する。
論文 参考訳（メタデータ） (2023-03-20T15:10:41Z) - Meta-Regularization by Enforcing Mutual-Exclusiveness [0.8057006406834467]
本稿では,メタ学習時の情報フローをモデル設計者が制御できるように,メタ学習モデルの正規化手法を提案する。
提案した正規化関数は,Omniglotデータセット上で$sim$$36%の精度向上を示す。
論文 参考訳（メタデータ） (2021-01-24T22:57:19Z) - Learning to Generalize Unseen Domains via Memory-based Multi-Source
Meta-Learning for Person Re-Identification [59.326456778057384]
本稿では,メモリベースのマルチソースメタラーニングフレームワークを提案する。
また,メタテスト機能を多様化するメタバッチ正規化層(MetaBN)を提案する。
実験により、M$3$Lは、目に見えない領域に対するモデルの一般化能力を効果的に向上できることが示された。
論文 参考訳（メタデータ） (2020-12-01T11:38:16Z) - Fast Few-Shot Classification by Few-Iteration Meta-Learning [173.32497326674775]
数ショット分類のための高速な最適化に基づくメタラーニング手法を提案する。
我々の戦略はメタ学習において学習すべき基礎学習者の目的の重要な側面を可能にする。
我々は、我々のアプローチの速度と効果を実証し、総合的な実験分析を行う。
論文 参考訳（メタデータ） (2020-10-01T15:59:31Z) - Incremental Meta-Learning via Indirect Discriminant Alignment [118.61152684795178]
メタ学習のメタ学習段階において,段階的な学習の概念を発達させる。
我々のアプローチは、完全なメタトレーニングセットでモデルをトレーニングするのと比べて、テスト時に好適に機能する。
論文 参考訳（メタデータ） (2020-02-11T01:39:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。