論文の概要: CLAP4CLIP: Continual Learning with Probabilistic Finetuning for Vision-Language Models
- arxiv url: http://arxiv.org/abs/2403.19137v1
- Date: Thu, 28 Mar 2024 04:15:58 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-29 17:22:41.270381
- Title: CLAP4CLIP: Continual Learning with Probabilistic Finetuning for Vision-Language Models
- Title(参考訳): CLAP4CLIP:視覚言語モデルのための確率的微調整による連続学習
- Authors: Saurav Jha, Dong Gong, Lina Yao,
- Abstract要約: 継続学習(CL)は、深層ニューラルネットワークが学習内容を保持しながら新しい知識を学ぶのを支援することを目的としている。
近年、CLIPのような強力な一般化能力を持つ事前学習型視覚言語モデルが、実用的なCL候補として注目を集めている。
我々の研究は、確率的微調整(CLAP)による連続LeArningを提案する。
- 参考スコア(独自算出の注目度): 23.398619576886375
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Continual learning (CL) aims to help deep neural networks to learn new knowledge while retaining what has been learned. Recently, pre-trained vision-language models such as CLIP, with powerful generalization ability, have been gaining traction as practical CL candidates. However, the domain mismatch between the pre-training and the downstream CL tasks calls for finetuning of the CLIP on the latter. The deterministic nature of the existing finetuning methods makes them overlook the many possible interactions across the modalities and deems them unsafe for high-risk CL tasks requiring reliable uncertainty estimation. To address these, our work proposes Continual LeArning with Probabilistic finetuning (CLAP). CLAP develops probabilistic modeling over task-specific modules with visual-guided text features, providing more reliable fine-tuning in CL. It further alleviates forgetting by exploiting the rich pre-trained knowledge of CLIP for weight initialization and distribution regularization of task-specific modules. Cooperating with the diverse range of existing prompting methods, CLAP can surpass the predominant deterministic finetuning approaches for CL with CLIP. Lastly, we study the superior uncertainty estimation abilities of CLAP for novel data detection and exemplar selection within CL setups. Our code is available at \url{https://github.com/srvCodes/clap4clip}.
- Abstract(参考訳): 継続学習(CL)は、深層ニューラルネットワークが学習内容を保持しながら新しい知識を学ぶのを支援することを目的としている。
近年、CLIPのような強力な一般化能力を持つ事前学習型視覚言語モデルが、実用的なCL候補として注目を集めている。
しかし、事前トレーニングと下流CLタスク間のドメインミスマッチは、後者のCLIPの微調整を要求する。
既存の微調整法の決定論的性質は、モダリティ間の多くの相互作用を見逃し、信頼性の高い不確実性推定を必要とする高リスクCLタスクには安全でないとみなす。
このような問題に対処するため,我々はCLAP(Continuous LeArning with Probabilistic Finetuning)を提案する。
CLAPは、視覚誘導型テキスト機能を備えたタスク固有モジュール上での確率的モデリングを開発し、CLでより信頼性の高い微調整を提供する。
タスク固有のモジュールの重み付け初期化と分散正規化のために、CLIPの豊富な事前訓練された知識を活用することで、忘れを緩和する。
CLAPは、既存のプロンプトメソッドの多様な範囲と連携して、CLとCLIPの主な決定論的微調整アプローチを克服することができる。
最後に,CLAPの精度の高い不確実性推定能力について検討した。
私たちのコードは \url{https://github.com/srvCodes/clap4clip} で利用可能です。
関連論文リスト
- Density Distribution-based Learning Framework for Addressing Online
Continual Learning Challenges [4.715630709185073]
オンライン連続学習のための密度分布に基づく学習フレームワークを提案する。
我々のフレームワークは、より優れた平均精度と時間空間効率を実現する。
提案手法は, CL のアプローチにおいて, 有意な差で優れる。
論文 参考訳(メタデータ) (2023-11-22T09:21:28Z) - NPCL: Neural Processes for Uncertainty-Aware Continual Learning [26.642662729915234]
連続学習(CL)は、新しいタスクによる忘れを制限しながら、ストリーミングデータ上でディープニューラルネットワークを効率的にトレーニングすることを目的としている。
本稿では,異なるタスクを関数上の確率分布にエンコードするメタラーナーのクラスである,ニューラルプロセス(NP)を用いたCLタスクの処理を提案する。
論文 参考訳(メタデータ) (2023-10-30T05:10:00Z) - RanPAC: Random Projections and Pre-trained Models for Continual Learning [59.07316955610658]
継続学習(CL)は、古いタスクを忘れずに、非定常データストリームで異なるタスク(分類など)を学習することを目的としている。
本稿では,事前学習モデルを用いたCLの簡潔かつ効果的なアプローチを提案する。
論文 参考訳(メタデータ) (2023-07-05T12:49:02Z) - POP: Prompt Of Prompts for Continual Learning [59.15888651733645]
継続的な学習(CL)は、破滅的な忘れをせずに新しい概念を学習する人間の能力を模倣することを目的としている。
POP学習を用いた基礎モデルでは,古典的なCL手法よりも優れた性能が得られることを示す。
論文 参考訳(メタデータ) (2023-06-14T02:09:26Z) - A Neural Span-Based Continual Named Entity Recognition Model [13.982996312057207]
SpanKLは知識蒸留(KD)による記憶の保存とCL-NERの衝突を防ぐためのマルチラベル予測のためのモデルである。
OntoNotes と Few-NERD から得られた合成CLデータセットの実験により、SpanKL は以前の SoTA よりも多くの点で顕著に優れていることが示された。
論文 参考訳(メタデータ) (2023-02-23T17:51:29Z) - CLIPood: Generalizing CLIP to Out-of-Distributions [73.86353105017076]
対照的に、CLIP(Language-image Pre-training)モデルでは、印象的なゼロショット能力を示しているが、下流タスクにおけるCLIPのさらなる適応は、OODのパフォーマンスを好ましくない劣化させる。
ドメインシフトとオープンクラスの両方が見えないテストデータ上で発生する可能性があるOOD状況にCLIPモデルを適用するための微調整手法であるCLIPoodを提案する。
さまざまなOODシナリオによるさまざまなデータセットの実験は、CLIPoodが既存の一般化テクニックを一貫して上回っていることを示している。
論文 参考訳(メタデータ) (2023-02-02T04:27:54Z) - Do Pre-trained Models Benefit Equally in Continual Learning? [22.457562524649934]
既存の継続学習(CL)の研究は主に、ゼロから訓練されたモデルのアルゴリズムの開発に費やされている。
コントリビュートベンチマークのパフォーマンスは高いが、これらのアルゴリズムは現実のシナリオで劇的なパフォーマンス低下を示す。
本稿では,CLに対する事前学習の体系的導入を提唱する。
論文 参考訳(メタデータ) (2022-10-27T18:03:37Z) - Beyond Supervised Continual Learning: a Review [69.9674326582747]
連続学習(Continuous Learning, CL)は、定常データ分布の通常の仮定を緩和または省略する機械学習のフレーバーである。
データ分布の変化は、いわゆる破滅的な忘れ(CF)効果、すなわち、過去の知識の突然の喪失を引き起こす可能性がある。
本稿では、CLを他の環境で研究する文献をレビューする。例えば、監督を減らした学習、完全に教師なしの学習、強化学習などである。
論文 参考訳(メタデータ) (2022-08-30T14:44:41Z) - A Study of Continual Learning Methods for Q-Learning [78.6363825307044]
本稿では、強化学習(RL)シナリオにおける継続学習(CL)手法の使用に関する実証的研究について述べる。
この結果から,専用CL法は「経験的再生」のベースライン手法と比較して学習を著しく改善できることがわかった。
論文 参考訳(メタデータ) (2022-06-08T14:51:52Z) - Using Representation Expressiveness and Learnability to Evaluate
Self-Supervised Learning Methods [61.49061000562676]
本稿では,学習可能性を評価するためにCluster Learnability (CL)を導入する。
CLは、K-meansで表現をクラスタリングすることによって得られたラベルを予測するために訓練されたKNNのパフォーマンスで測定される。
CLは、他の競合する評価手法よりも分布内モデルの性能と相関することがわかった。
論文 参考訳(メタデータ) (2022-06-02T19:05:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。