論文の概要: PROL : Rehearsal Free Continual Learning in Streaming Data via Prompt Online Learning
- arxiv url: http://arxiv.org/abs/2507.12305v1
- Date: Wed, 16 Jul 2025 15:04:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-17 19:00:11.440009
- Title: PROL : Rehearsal Free Continual Learning in Streaming Data via Prompt Online Learning
- Title（参考訳）: PROL : プロンプトオンライン学習によるストリーミングデータにおけるリハーサル自由継続学習
- Authors: M. Anwar Ma'sum, Mahardhika Pratama, Savitha Ramasamy, Lin Liu, Habibullah Habibullah, Ryszard Kowalczyk,
- Abstract要約: 4つの主要コンポーネントを含むオンライン連続学習(OCL)のための新しいプロンプトベース手法を提案する。
提案手法は,CIFAR100, ImageNet-R, ImageNet-A, CUBデータセットにおける現在のSOTAよりも高い性能を実現する。
- 参考スコア（独自算出の注目度）: 17.230781041043823
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The data privacy constraint in online continual learning (OCL), where the data can be seen only once, complicates the catastrophic forgetting problem in streaming data. A common approach applied by the current SOTAs in OCL is with the use of memory saving exemplars or features from previous classes to be replayed in the current task. On the other hand, the prompt-based approach performs excellently in continual learning but with the cost of a growing number of trainable parameters. The first approach may not be applicable in practice due to data openness policy, while the second approach has the issue of throughput associated with the streaming data. In this study, we propose a novel prompt-based method for online continual learning that includes 4 main components: (1) single light-weight prompt generator as a general knowledge, (2) trainable scaler-and-shifter as specific knowledge, (3) pre-trained model (PTM) generalization preserving, and (4) hard-soft updates mechanism. Our proposed method achieves significantly higher performance than the current SOTAs in CIFAR100, ImageNet-R, ImageNet-A, and CUB dataset. Our complexity analysis shows that our method requires a relatively smaller number of parameters and achieves moderate training time, inference time, and throughput. For further study, the source code of our method is available at https://github.com/anwarmaxsum/PROL.
- Abstract（参考訳）: オンライン連続学習(OCL)におけるデータプライバシーの制約は、データを一度だけ見ることができ、ストリーミングデータの破滅的な忘れの問題が複雑になる。
OCLの現在のSOTAで適用される一般的なアプローチは、メモリ節約の例や、現在のタスクで再生される前のクラスからのフィーチャを使用することである。
一方、プロンプトベースアプローチは連続学習において優れた性能を発揮するが、トレーニング可能なパラメータの増大によるコストは増大する。
第1のアプローチは、データオープン性ポリシのため、実際には適用できない場合があるが、第2のアプローチでは、ストリーミングデータに関連するスループットの問題がある。
本研究では,(1)一般知識としてのシングル軽量プロンプトジェネレータ,(2)特定の知識としてのトレーニング可能なスケーラ・アンド・シフタ,(3)事前学習モデル(PTM)一般化保存,(4)ハードソフト更新機構の4つの主要コンポーネントを含む,オンライン連続学習のための新しいプロンプトベース手法を提案する。
提案手法は,CIFAR100, ImageNet-R, ImageNet-A, CUBデータセットにおける現在のSOTAよりも高い性能を実現する。
我々の複雑性分析は,本手法が比較的少ないパラメータを必要とすることを示し,適度なトレーニング時間,推論時間,スループットを実現する。
さらなる研究のために、我々のメソッドのソースコードはhttps://github.com/anwarmaxsum/PROL.comで公開されている。
関連論文リスト
- SiameseDuo++: Active Learning from Data Streams with Dual Augmented Siamese Networks [8.762175520727611]
この研究は、アクティブラーニングを使用して、予算に応じてラベル付けする人間のエキスパートのインスタンスを自動的に選択する、SiameseDuo++メソッドを提案する。
具体的には、シナジーで動作し、生成された例によって強化される2つのシアムニューラルネットワークをインクリメンタルにトレーニングする。
シミュレーション実験により,提案手法は学習速度および/または性能の点で,強いベースラインと最先端の手法より優れていることが示された。
論文 参考訳（メタデータ） (2025-04-06T20:45:25Z) - From Offline to Online Memory-Free and Task-Free Continual Learning via Fine-Grained Hypergradients [24.963242232471426]
継続的学習(CL)は、基礎となる分散が時間とともに変化する非定常データストリームから学ぶことを目的としている。
オンラインCL(onCL)は依然としてメモリベースのアプローチに支配されている。
トレーニング中に勾配更新を再バランスするオンラインメカニズムであるFine-Grained Hypergradientsを導入する。
論文 参考訳（メタデータ） (2025-02-26T02:43:54Z) - Q-SFT: Q-Learning for Language Models via Supervised Fine-Tuning [62.984693936073974]
価値に基づく強化学習は、幅広いマルチターン問題に対する効果的なポリシーを学ぶことができる。
現在の値ベースのRL法は、特に大規模な言語モデルの設定にスケールすることが困難であることが証明されている。
本稿では,これらの欠点に対処する新しいオフラインRLアルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-11-07T21:36:52Z) - Beyond Prompt Learning: Continual Adapter for Efficient Rehearsal-Free Continual Learning [22.13331870720021]
C-ADA (Continuous Adapter) という,RFCL タスクに対する超高速学習手法を提案する。
C-ADAは、CALの特定の重みを柔軟に拡張し、各タスクの新たな知識を学び、古い重みを凍結して以前の知識を保存する。
提案手法は,現状のSOTA(State-of-the-art)法よりも優れ,性能とトレーニング速度を大幅に向上させる。
論文 参考訳（メタデータ） (2024-07-14T17:40:40Z) - Adaptive Retention & Correction: Test-Time Training for Continual Learning [114.5656325514408]
連続学習における一般的な問題は、最新のタスクに対する分類層のバイアスである。
アダプティブ・リテンション・アンド・コレクション (ARC) のアプローチを例に挙げる。
ARCはCIFAR-100とImagenet-Rのデータセットで平均2.7%と2.6%のパフォーマンス向上を達成した。
論文 参考訳（メタデータ） (2024-05-23T08:43:09Z) - PIVOT: Prompting for Video Continual Learning [50.80141083993668]
PIVOTは、画像領域から事前学習したモデルにおける広範な知識を活用する新しい手法である。
実験の結果,PIVOTは20タスクのアクティビティネット設定において,最先端の手法を27%向上することがわかった。
論文 参考訳（メタデータ） (2022-12-09T13:22:27Z) - Learning to Prompt for Continual Learning [34.609384246149325]
本研究は,テスト時にタスクの同一性にアクセスすることなく,より簡潔なメモリシステムのトレーニングを目的とした,連続学習のための新しいパラダイムを提案する。
本手法は,タスク遷移の異なるタスクを逐次学習するための事前学習モデル(L2P)を動的に学習する。
目的は、モデル予測を指示するプロンプトを最適化し、モデル可塑性を維持しながら、タスク不変およびタスク固有知識を明示的に管理することである。
論文 参考訳（メタデータ） (2021-12-16T06:17:07Z) - Class Incremental Online Streaming Learning [40.97848249237289]
本稿では,これらの課題に対処するために,エンフォリンストリーミング環境におけるクラスインクリメンタル学習のための新しいアプローチを提案する。
提案手法は暗黙的かつ明示的な二重重み正規化と経験的リプレイを利用する。
また、モデルの性能を大幅に向上させる効率的なオンラインメモリ再生および置換バッファ戦略を提案する。
論文 参考訳（メタデータ） (2021-10-20T19:24:31Z) - Learning to Continuously Optimize Wireless Resource in a Dynamic
Environment: A Bilevel Optimization Perspective [52.497514255040514]
この研究は、データ駆動メソッドが動的環境でリソース割り当て戦略を継続的に学び、最適化することを可能にする新しいアプローチを開発しています。
学習モデルが新たなエピソードに段階的に適応できるように、連続学習の概念を無線システム設計に組み込むことを提案する。
我々の設計は、異なるデータサンプルにまたがる公平性を保証する、新しい二段階最適化定式化に基づいている。
論文 参考訳（メタデータ） (2021-05-03T07:23:39Z) - Learning to Continuously Optimize Wireless Resource In Episodically
Dynamic Environment [55.91291559442884]
この研究は、データ駆動型手法が動的環境で継続的に学習し、最適化できる方法論を開発する。
本稿では,無線システム学習のモデリングプロセスに連続学習の概念を構築することを提案する。
我々の設計は、異なるデータサンプル間で「一定の公正性を保証する」新しいmin-maxの定式化に基づいている。
論文 参考訳（メタデータ） (2020-11-16T08:24:34Z) - AWAC: Accelerating Online Reinforcement Learning with Offline Datasets [84.94748183816547]
提案手法は,従来の実演データとオンライン体験を組み合わせることで,スキルの素早い学習を可能にする。
以上の結果から,事前データを組み込むことで,ロボット工学を実践的な時間スケールまで学習するのに要する時間を短縮できることが示唆された。
論文 参考訳（メタデータ） (2020-06-16T17:54:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。