論文の概要: OVOR: OnePrompt with Virtual Outlier Regularization for Rehearsal-Free
Class-Incremental Learning
- arxiv url: http://arxiv.org/abs/2402.04129v1
- Date: Tue, 6 Feb 2024 16:31:11 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-07 14:06:19.776312
- Title: OVOR: OnePrompt with Virtual Outlier Regularization for Rehearsal-Free
Class-Incremental Learning
- Title（参考訳）: ovor:リハーサルフリークラスインクリメンタルラーニングのための仮想アウトリーバー正規化を伴うoneprompt
- Authors: Wei-Cheng Huang, Chun-Fu Chen, Hsiang Hsu
- Abstract要約: 分類器の判定境界を狭めるために,仮想外れ値に基づく正規化手法を提案する。
単純化されたプロンプトベースの手法は、プロンプトプールを備えた従来の最先端(SOTA)手法に匹敵する結果が得られる。
- 参考スコア（独自算出の注目度）: 10.299813904573695
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent works have shown that by using large pre-trained models along with
learnable prompts, rehearsal-free methods for class-incremental learning (CIL)
settings can achieve superior performance to prominent rehearsal-based ones.
Rehearsal-free CIL methods struggle with distinguishing classes from different
tasks, as those are not trained together. In this work we propose a
regularization method based on virtual outliers to tighten decision boundaries
of the classifier, such that confusion of classes among different tasks is
mitigated. Recent prompt-based methods often require a pool of task-specific
prompts, in order to prevent overwriting knowledge of previous tasks with that
of the new task, leading to extra computation in querying and composing an
appropriate prompt from the pool. This additional cost can be eliminated,
without sacrificing accuracy, as we reveal in the paper. We illustrate that a
simplified prompt-based method can achieve results comparable to previous
state-of-the-art (SOTA) methods equipped with a prompt pool, using much less
learnable parameters and lower inference cost. Our regularization method has
demonstrated its compatibility with different prompt-based methods, boosting
those previous SOTA rehearsal-free CIL methods' accuracy on the ImageNet-R and
CIFAR-100 benchmarks. Our source code is available at
https://github.com/jpmorganchase/ovor.
- Abstract（参考訳）: 近年の研究では、学習可能なプロンプトとともに、大規模な事前学習モデルを使用することで、クラスインクリメンタルラーニング(CIL)設定のためのリハーサルフリーメソッドが、顕著なリハーサルベースよりも優れたパフォーマンスを達成できることが示されている。
リハーサルのないCILメソッドは、異なるタスクからクラスを区別するのに苦労する。
本研究では,仮想外乱に基づく正規化手法を提案し,異なるタスク間のクラス間の混同が軽減されるように分類器の決定境界を厳格化する。
最近のプロンプトベースのメソッドは、新しいタスクで以前のタスクの知識を上書きすることを防ぐために、タスク固有のプロンプトのプールを必要とすることが多い。
論文で明らかになったように、この追加コストは精度を犠牲にすることなく取り除くことができる。
本稿では,プリミティブ・プロンプト・ベースの手法により,従来のプロンプト・プールを備えたSOTA(State-of-the-art)手法に匹敵する結果が得られることを示す。
我々は,従来のSOTAリハーサルのないCIL手法の精度をImageNet-RとCIFAR-100ベンチマークで向上させ,異なるプロンプトベースの手法との互換性を示した。
ソースコードはhttps://github.com/jpmorganchase/ovorで閲覧できます。
関連論文リスト
- Consistent Prompting for Rehearsal-Free Continual Learning [5.166083532861163]
継続的な学習は、古い知識を忘れずに、モデルが絶えず変化する環境やデータストリームに自律的に適応することを可能にする。
既存のプロンプトベースの手法は、トレーニングとテストの間に不整合であり、その効果を制限している。
より整合性のあるトレーニングとテストのための新しいプロンプトベースの手法であるConsistent Prompting(CPrompt)を提案する。
論文 参考訳（メタデータ） (2024-03-13T14:24:09Z) - Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple
Logits Retargeting Approach [102.0769560460338]
我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。
提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
論文 参考訳（メタデータ） (2024-03-01T03:27:08Z) - A Hard-to-Beat Baseline for Training-free CLIP-based Adaptation [121.0693322732454]
対照的に、CLIP(Contrastive Language- Image Pretraining)はその目覚ましいゼロショット能力で人気を集めている。
近年の研究では、下流タスクにおけるCLIPの性能を高めるための効率的な微調整手法の開発に焦点が当てられている。
従来のアルゴリズムであるガウス判別分析(GDA)を再検討し,CLIPの下流分類に適用する。
論文 参考訳（メタデータ） (2024-02-06T15:45:27Z) - Understanding prompt engineering may not require rethinking
generalization [56.38207873589642]
言語モデルによって与えられるPAC-Bayesと組み合わさったプロンプトの離散的性質は、文献の標準によって非常に厳密な一般化境界をもたらすことを示す。
この研究は、プロンプトエンジニアリングの広範な実践を正当化する可能性がある。
論文 参考訳（メタデータ） (2023-10-06T00:52:48Z) - When Prompt-based Incremental Learning Does Not Meet Strong Pretraining [36.0889029038102]
本研究では,学習可能な適応型プロンプトジェネレータ(APG)を開発した。
鍵となるのは、プロンプト検索と学習プロセスを学習可能なプロンプトジェネレータに統一することである。
本手法は, 事前学習を伴わずに, 先進的な漸進的学習法を著しく上回っている。
論文 参考訳（メタデータ） (2023-08-21T03:33:21Z) - Self-regulating Prompts: Foundational Model Adaptation without
Forgetting [112.66832145320434]
本稿では,PromptSRCと呼ばれる自己正規化フレームワークを提案する。
PromptSRCはタスク固有の汎用表現とタスクに依存しない汎用表現の両方に最適化するプロンプトを導く。
論文 参考訳（メタデータ） (2023-07-13T17:59:35Z) - Streaming LifeLong Learning With Any-Time Inference [36.3326483579511]
本稿では,1回の入力サンプルが各タイムステップ,シングルパス,クラスインクリメンタル,任意のタイミングで評価対象に到達する,新たな生涯学習手法を提案する。
また,スナップショット自己蒸留方式の暗黙正則化器を提案する。
我々の経験的評価と改善は,提案手法が先行研究を大きなマージンで上回ることを示すものである。
論文 参考訳（メタデータ） (2023-01-27T18:09:19Z) - TEMPERA: Test-Time Prompting via Reinforcement Learning [57.48657629588436]
強化学習(TEMPERA)を用いたテスト時間プロンプト編集を提案する。
従来のプロンプト生成手法とは対照的に、TEMPERAは事前知識を効率的に活用することができる。
本手法は従来の微調整法と比較して試料効率の平均改善率を5.33倍に向上させる。
論文 参考訳（メタデータ） (2022-11-21T22:38:20Z) - Revisiting Deep Local Descriptor for Improved Few-Shot Classification [56.74552164206737]
textbfDense textbfClassification と textbfAttentive textbfPooling を利用して埋め込みの質を向上させる方法を示す。
広範に使われているグローバル平均プール (GAP) の代わりに, 注意深いプールを施し, 特徴マップをプールすることを提案する。
論文 参考訳（メタデータ） (2021-03-30T00:48:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。