論文の概要: PILOT: A Pre-Trained Model-Based Continual Learning Toolbox
- arxiv url: http://arxiv.org/abs/2309.07117v1
- Date: Wed, 13 Sep 2023 17:55:11 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-14 13:10:14.032553
- Title: PILOT: A Pre-Trained Model-Based Continual Learning Toolbox
- Title(参考訳): PILOT: モデルベースの継続的学習ツールボックス
- Authors: Hai-Long Sun, Da-Wei Zhou, Han-Jia Ye, De-Chuan Zhan
- Abstract要約: 本稿では,PILOTとして知られるモデルベース連続学習ツールボックスについて紹介する。
一方、PILOTはL2P、DualPrompt、CODA-Promptといった事前学習モデルに基づいて、最先端のクラスインクリメンタル学習アルゴリズムを実装している。
一方、PILOTは、事前学習されたモデルの文脈に典型的なクラス増分学習アルゴリズムを適合させ、それらの効果を評価する。
- 参考スコア(独自算出の注目度): 71.63186089279218
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: While traditional machine learning can effectively tackle a wide range of
problems, it primarily operates within a closed-world setting, which presents
limitations when dealing with streaming data. As a solution, incremental
learning emerges to address real-world scenarios involving new data's arrival.
Recently, pre-training has made significant advancements and garnered the
attention of numerous researchers. The strong performance of these pre-trained
models (PTMs) presents a promising avenue for developing continual learning
algorithms that can effectively adapt to real-world scenarios. Consequently,
exploring the utilization of PTMs in incremental learning has become essential.
This paper introduces a pre-trained model-based continual learning toolbox
known as PILOT. On the one hand, PILOT implements some state-of-the-art
class-incremental learning algorithms based on pre-trained models, such as L2P,
DualPrompt, and CODA-Prompt. On the other hand, PILOT also fits typical
class-incremental learning algorithms (e.g., DER, FOSTER, and MEMO) within the
context of pre-trained models to evaluate their effectiveness.
- Abstract(参考訳): 従来の機械学習は、幅広い問題に効果的に対処できるが、主にクローズドワールド設定内で動作し、ストリーミングデータを扱う際の制限を提示する。
解決策として、インクリメンタルな学習が登場し、新しいデータが到着する実際のシナリオに対処する。
近年、事前訓練は大きな進歩を遂げ、多くの研究者の注目を集めている。
これらの事前学習モデル(PTM)の強力な性能は、現実のシナリオに効果的に適応できる連続学習アルゴリズムを開発するための有望な道を示す。
その結果,段階的学習における PTM の利用を探求することが重要となった。
本稿では,PILOTとして知られるモデルベース連続学習ツールボックスを提案する。
一方、PILOTはL2P、DualPrompt、CODA-Promptといった事前学習モデルに基づいて、最先端のクラスインクリメンタル学習アルゴリズムを実装している。
一方、PILOTは、訓練済みモデルのコンテキスト内に典型的なクラス増分学習アルゴリズム(DER、FOSTER、MEMOなど)を適合させて、それらの効果を評価する。
関連論文リスト
- Machine Unlearning of Pre-trained Large Language Models [18.278849670377816]
本研究では,大規模言語モデル(LLM)の文脈における「忘れられる権利」の概念について検討する。
我々は、事前学習されたモデルに焦点をあてて、機械学習を重要なソリューションとして探求する。
論文 参考訳(メタデータ) (2024-02-23T07:43:26Z) - An Emulator for Fine-Tuning Large Language Models using Small Language
Models [91.02498576056057]
本研究では,異なるスケールでの事前学習と微調整の結果を近似する分布から,エミュレート・ファインチューニング(EFT)を原理的かつ実用的なサンプリング法として導入する。
EFTは、追加トレーニングを伴わずに、有益性や無害性といった競合する行動特性をテスト時間で調整できることを示す。
最後に、LMアップスケーリングと呼ばれるエミュレートされたファインチューニングの特殊な場合において、小さなファインチューニングモデルと組み合わせることで、大きな事前学習モデルのリソース集約的なファインチューニングを回避する。
論文 参考訳(メタデータ) (2023-10-19T17:57:16Z) - ALP: Action-Aware Embodied Learning for Perception [60.64801970249279]
認知のための行動認識型身体学習(ALP)について紹介する。
ALPは、強化学習ポリシーと逆ダイナミクス予測目標を最適化することにより、行動情報を表現学習に組み込む。
ALPは、複数の下流認識タスクにおいて、既存のベースラインよりも優れていることを示す。
論文 参考訳(メタデータ) (2023-06-16T21:51:04Z) - Continual Learning with Pretrained Backbones by Tuning in the Input
Space [44.97953547553997]
ディープラーニングモデルを非定常環境に適用することの本質的な困難さは、ニューラルネットワークの実際のタスクへの適用性を制限している。
ネットワークの事前学習部分の更新を回避し、通常の分類ヘッドだけでなく、新たに導入した学習可能なパラメータのセットも学習することで、微調整手順をより効果的にするための新しい戦略を提案する。
論文 参考訳(メタデータ) (2023-06-05T15:11:59Z) - PIVOT: Prompting for Video Continual Learning [50.80141083993668]
PIVOTは、画像領域から事前学習したモデルにおける広範な知識を活用する新しい手法である。
実験の結果,PIVOTは20タスクのアクティビティネット設定において,最先端の手法を27%向上することがわかった。
論文 参考訳(メタデータ) (2022-12-09T13:22:27Z) - Effective and Efficient Training for Sequential Recommendation using
Recency Sampling [91.02268704681124]
本稿では,新しいRecency-based Smpling of Sequencesトレーニング目標を提案する。
提案手法により拡張されたモデルにより,最先端のBERT4Recに近い性能が得られることを示す。
論文 参考訳(メタデータ) (2022-07-06T13:06:31Z) - Reinforcement Learning with Action-Free Pre-Training from Videos [95.25074614579646]
本稿では,ビデオにおける生成前学習を通じて動的理解に役立つ表現を学習するフレームワークを提案する。
我々のフレームワークは、視覚に基づく強化学習の最終性能とサンプル効率の両方を著しく改善する。
論文 参考訳(メタデータ) (2022-03-25T19:44:09Z) - Ex-Model: Continual Learning from a Stream of Trained Models [12.27992745065497]
連続的な学習システムは、訓練されたモデルの形式で圧縮された情報の可用性を活用するべきであると論じる。
エージェントが生データの代わりに以前に訓練されたモデルのシーケンスから学習する「Ex-Model Continual Learning」(Ex-Model Continual Learning)という新しいパラダイムを導入し、形式化する。
論文 参考訳(メタデータ) (2021-12-13T09:46:16Z) - A Survey on Self-supervised Pre-training for Sequential Transfer
Learning in Neural Networks [1.1802674324027231]
移動学習のための自己教師付き事前学習は、ラベルのないデータを用いて最先端の結果を改善する技術として、ますます人気が高まっている。
本稿では,自己指導型学習と伝達学習の分類学の概要を述べるとともに,各領域にまたがる事前学習タスクを設計するためのいくつかの顕著な手法を強調した。
論文 参考訳(メタデータ) (2020-07-01T22:55:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。