論文の概要: Continual Learning From a Stream of APIs
- arxiv url: http://arxiv.org/abs/2309.00023v1
- Date: Thu, 31 Aug 2023 11:16:00 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-04 15:40:04.815382
- Title: Continual Learning From a Stream of APIs
- Title(参考訳): 一連のAPIから継続的に学ぶ
- Authors: Enneng Yang, Zhenyi Wang, Li Shen, Nan Yin, Tongliang Liu, Guibing
Guo, Xingwei Wang, and Dacheng Tao
- Abstract要約: 継続学習(CL)は、以前のタスクを忘れずに新しいタスクを学習することを目的としている。
既存のCLメソッドは大量の生データを必要とするが、著作権上の考慮とプライバシー上のリスクのために利用できないことが多い。
本稿では,データ効率CL (DECL-APIs) とデータフリーCL (DFCL-APIs) の2つの実践的yet-novel CL設定について考察する。
- 参考スコア(独自算出の注目度): 90.41825351073908
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Continual learning (CL) aims to learn new tasks without forgetting previous
tasks. However, existing CL methods require a large amount of raw data, which
is often unavailable due to copyright considerations and privacy risks.
Instead, stakeholders usually release pre-trained machine learning models as a
service (MLaaS), which users can access via APIs. This paper considers two
practical-yet-novel CL settings: data-efficient CL (DECL-APIs) and data-free CL
(DFCL-APIs), which achieve CL from a stream of APIs with partial or no raw
data. Performing CL under these two new settings faces several challenges:
unavailable full raw data, unknown model parameters, heterogeneous models of
arbitrary architecture and scale, and catastrophic forgetting of previous APIs.
To overcome these issues, we propose a novel data-free cooperative continual
distillation learning framework that distills knowledge from a stream of APIs
into a CL model by generating pseudo data, just by querying APIs. Specifically,
our framework includes two cooperative generators and one CL model, forming
their training as an adversarial game. We first use the CL model and the
current API as fixed discriminators to train generators via a derivative-free
method. Generators adversarially generate hard and diverse synthetic data to
maximize the response gap between the CL model and the API. Next, we train the
CL model by minimizing the gap between the responses of the CL model and the
black-box API on synthetic data, to transfer the API's knowledge to the CL
model. Furthermore, we propose a new regularization term based on network
similarity to prevent catastrophic forgetting of previous APIs.Our method
performs comparably to classic CL with full raw data on the MNIST and SVHN in
the DFCL-APIs setting. In the DECL-APIs setting, our method achieves 0.97x,
0.75x and 0.69x performance of classic CL on CIFAR10, CIFAR100, and
MiniImageNet.
- Abstract(参考訳): 継続学習(CL)は、以前のタスクを忘れずに新しいタスクを学習することを目的としている。
しかし、既存のCLメソッドは大量の生データを必要とするため、著作権やプライバシー上のリスクのために利用できないことが多い。
代わりに、ステークホルダは通常、トレーニング済みの機械学習モデル・アズ・ア・サービス(MLaaS)をリリースする。
本稿では,データ効率の高いCL (DECL-APIs) とデータフリーなCL (DFCL-APIs) の2つの実装について考察する。
これら2つの新しい設定の下でCLを実行するには、完全な生データ、未知のモデルパラメータ、任意のアーキテクチャとスケールの異種モデル、以前のAPIの破滅的な忘れなど、いくつかの課題に直面します。
そこで本研究では,APIを問合せするだけで擬似データを生成することにより,APIのストリームから知識をCLモデルに抽出する,データフリーな連続蒸留学習フレームワークを提案する。
具体的には、2つの協調生成器と1つのclモデルを含み,その訓練を敵ゲームとして形成する。
まずCLモデルと現在のAPIを固定識別器として使い、デリバティブフリーの手法でジェネレータを訓練する。
ジェネレータは、CLモデルとAPI間の応答ギャップを最大化するために、ハードかつ多様な合成データを逆向きに生成する。
次に、CLモデルの応答と合成データ上のブラックボックスAPIとのギャップを最小化し、CLモデルの知識をCLモデルに転送することで、CLモデルを訓練する。
さらに,ネットワーク類似性に基づく新たな正規化用語を提案し,従来のAPIの破滅的忘れを防止するとともに,DFCL-API設定におけるMNISTとSVHNの全生データを用いて従来のCLと互換性のある手法を提案する。
DECL-API設定では,CIFAR10,CIFAR100,MiniImageNet上での従来のCLの0.97x,0.75x,0.69xの性能を実現する。
関連論文リスト
- Private-Library-Oriented Code Generation with Large Language Models [52.73999698194344]
本稿では,大規模言語モデル(LLM)をプライベートライブラリのコード生成に活用することに焦点を当てる。
プログラマがプライベートコードを書く過程をエミュレートする新しいフレームワークを提案する。
TorchDataEval、TorchDataComplexEval、MonkeyEval、BeatNumEvalの4つのプライベートライブラリベンチマークを作成しました。
論文 参考訳(メタデータ) (2023-07-28T07:43:13Z) - Don't Memorize; Mimic The Past: Federated Class Incremental Learning
Without Episodic Memory [36.4406505365313]
本稿では,過去のデータの一部を格納するのではなく,生成モデルを用いて過去の分布からサンプルを合成する,連邦化クラスインクリメンタルラーニングのためのフレームワークを提案する。
生成モデルは、クライアントからデータを要求することなく、各タスクの最後にデータフリーのメソッドを使用してサーバ上でトレーニングされる。
論文 参考訳(メタデータ) (2023-07-02T07:06:45Z) - Learning to Learn from APIs: Black-Box Data-Free Meta-Learning [95.41441357931397]
データフリーなメタラーニング(DFML)は、トレーニングデータにアクセスせずに事前訓練されたモデルの集合からメタラーニングすることで、新しいタスクの効率的な学習を可能にすることを目的としている。
既存のDFMLの作業は、(i)ホワイトボックスと(ii)小規模事前訓練モデルからしかメタ学習できない。
ブラックボックスAPIの集合から単一のモデルへ,より一般的なメタ知識を伝達するための,バイレベルデータフリーなメタ知識蒸留(BiDf-MKD)フレームワークを提案する。
論文 参考訳(メタデータ) (2023-05-28T18:00:12Z) - Computationally Budgeted Continual Learning: What Does Matter? [128.0827987414154]
CL (Continuous Learning) は、新しいデータに適応しながら、以前の知識を保存し、分布の異なる入力データのストリーム上でモデルを逐次訓練することを目的としている。
現在のCL文献では、以前のデータへのアクセス制限に焦点が当てられているが、トレーニングの計算予算に制約は課されていない。
本稿では,この問題を大規模ベンチマークで再検討し,計算制約条件下での従来のCL手法の性能解析を行う。
論文 参考訳(メタデータ) (2023-03-20T14:50:27Z) - TARGET: Federated Class-Continual Learning via Exemplar-Free
Distillation [9.556059871106351]
本稿では,未探索だが重要な課題であるフェデレーション・クラス・コンチネンタル・ラーニング(FCCL)に焦点を当てる。
既存のFCCLの作業には、データセットの追加や、以前のタスクからのプライベートデータの保存など、さまざまな制限がある。
本稿では,クライアントデータのプライバシを保ちながら,FCCLにおける破滅的な忘れを緩和する,TARGETと呼ばれる新しい手法を提案する。
論文 参考訳(メタデータ) (2023-03-13T09:11:54Z) - The CLEAR Benchmark: Continual LEArning on Real-World Imagery [77.98377088698984]
連続学習(CL)は、生涯AIにとって重要な課題であると考えられている。
本稿では,視覚概念の自然な時間進化を伴う最初の連続画像分類ベンチマークであるCLEARを紹介する。
単純な教師なし事前学習のステップで、最先端のCLアルゴリズムがすでに強化されていることが分かりました。
論文 参考訳(メタデータ) (2022-01-17T09:09:09Z) - Prototypes-Guided Memory Replay for Continual Learning [13.459792148030717]
継続学習(英: Continual Learning, CL)とは、学習性能を高めるために、トレーニングサンプルの小さな記述と以前に学んだ知識のみを使用する機械学習パラダイムである。
CLの最大の難しさは、データ分布の変化によって引き起こされた、以前に学習されたタスクの破滅的な忘れである。
オンラインメタ学習モデルに組み込んだメモリ効率の高いCL手法を提案する。
論文 参考訳(メタデータ) (2021-08-28T13:00:57Z) - ModelCI-e: Enabling Continual Learning in Deep Learning Serving Systems [21.37434583546624]
本稿では,この問題を解決するために,ModelCI-e(継続的インテグレーションと進化)と呼ばれる軽量MLOpsプラグインを実装した。
ModelCI-eは継続学習(CL)とMLデプロイメント技術を採用し、モデルの更新と検証をエンドツーエンドでサポートする。
予備的な結果は、ModelCI-eのユーザビリティを示し、モデル更新と推論ワークロード間の干渉を取り除くことが、システム効率の向上に不可欠であることを示している。
論文 参考訳(メタデータ) (2021-06-06T13:28:51Z) - Learning Adaptive Embedding Considering Incremental Class [55.21855842960139]
CIL(Class-Incremental Learning)は,未知のクラスを逐次生成するストリーミングデータを用いて,信頼性の高いモデルをトレーニングすることを目的としている。
従来のクローズドセット学習とは異なり、CILには2つの大きな課題がある。
新たなクラスが検出された後、以前のデータ全体を使用して再トレーニングすることなく、モデルを更新する必要がある。
論文 参考訳(メタデータ) (2020-08-31T04:11:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。