論文の概要: CLAP4CLIP: Continual Learning with Probabilistic Finetuning for Vision-Language Models
- arxiv url: http://arxiv.org/abs/2403.19137v3
- Date: Thu, 31 Oct 2024 05:22:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-01 16:57:39.774889
- Title: CLAP4CLIP: Continual Learning with Probabilistic Finetuning for Vision-Language Models
- Title（参考訳）: CLAP4CLIP:視覚言語モデルのための確率的微調整による連続学習
- Authors: Saurav Jha, Dong Gong, Lina Yao,
- Abstract要約: 継続学習(CL)は、ディープラーニングが学習したものを保持しながら、新しい知識を学ぶのを支援することを目的としている。
タスクごとの視覚誘導テキスト機能に対する確率的モデリングフレームワークであるCLAP(Continuous LeArning with Probabilistic Finetuning)を提案する。
- 参考スコア（独自算出の注目度）: 23.398619576886375
- License:
- Abstract: Continual learning (CL) aims to help deep neural networks learn new knowledge while retaining what has been learned. Owing to their powerful generalizability, pre-trained vision-language models such as Contrastive Language-Image Pre-training (CLIP) have lately gained traction as practical CL candidates. However, the domain mismatch between the pre-training and the downstream CL tasks often calls for finetuning of the CLIP on the latter. Most existing finetuning methods exhibit deterministic nature. This makes them overlook the many possible interactions across the input modalities and deems them unsafe for high-risk tasks requiring reliable uncertainty estimation. To address these, our work proposes Continual LeArning with Probabilistic finetuning (CLAP) - a probabilistic modeling framework over visual-guided text features per task, thus providing more calibrated CL finetuning. Unlike recent data-hungry anti-forgetting CL techniques, CLAP alleviates forgetting by exploiting the rich pre-trained knowledge of CLIP for weight initialization and distribution regularization of task-specific parameters. Cooperating with the diverse range of existing prompting methods, CLAP can surpass the predominant deterministic finetuning approaches for CL with CLIP. We conclude with out-of-the-box applications of superior uncertainty estimation abilities of CLAP including novel data detection and exemplar selection within the existing CL setups. Our code is available at \url{https://github.com/srvCodes/clap4clip}.
- Abstract（参考訳）: 継続学習(CL)は、ディープラーニングが学習したものを保持しながら、新しい知識を学ぶのを支援することを目的としている。
その強力な一般化性のため、Contrastive Language-Image Pre-Training (CLIP) のような事前学習された視覚言語モデルは、近年、実用的なCL候補として注目を集めている。
しかしながら、事前トレーニングと下流CLタスク間のドメインミスマッチは、しばしば後者のCLIPの微調整を要求する。
既存の微調整法の多くは決定論的性質を示している。
これにより、入力モダリティ間で起こりうる多くの相互作用を見落とし、信頼性の高い不確実性推定を必要とする高リスクタスクに対しては安全でないと判断する。
そこで本研究では,タスクごとの視覚誘導テキスト機能に対する確率的モデリングフレームワークであるCLAP(Continuous LeArning with Probabilistic Finetuning)を提案する。
CLAPは、最近のデータハングリーアンチフォッゲッティングCL技術とは異なり、CLIPの豊富な事前学習知識を重み付け初期化とタスク固有のパラメータの分布正規化に活用することにより、忘れを軽減している。
CLAPは、既存のプロンプトメソッドの多様な範囲と連携して、CLとCLIPの主な決定論的微調整アプローチを克服することができる。
CLAPの精度の高い不確実性推定能力には,新たなデータ検出や,既存のCLセットアップ内での模範的選択が組み込まれている。
私たちのコードは \url{https://github.com/srvCodes/clap4clip} で利用可能です。
関連論文リスト
- ICL-TSVD: Bridging Theory and Practice in Continual Learning with Pre-trained Models [103.45785408116146]
連続学習(CL)は、連続的に提示される複数のタスクを解決できるモデルを訓練することを目的としている。
最近のCLアプローチは、ダウンストリームタスクをうまく一般化する大規模な事前学習モデルを活用することで、強力なパフォーマンスを実現している。
しかし、これらの手法には理論的保証がなく、予期せぬ失敗をしがちである。
私たちは、経験的に強いアプローチを原則化されたフレームワークに統合することで、このギャップを埋めます。
論文 参考訳（メタデータ） (2024-10-01T12:58:37Z) - Calibrating Multi-modal Representations: A Pursuit of Group Robustness without Annotations [19.800907485589402]
CLIPのような微調整済みの視覚言語モデルは、さまざまな下流タスクで成功している。
これらの調整されたモデルは高度に専門化され、実際の展開の実用性が制限される傾向にある。
微調整CLIPのための軽量表現校正法を提案する。
論文 参考訳（メタデータ） (2024-03-12T01:47:17Z) - Density Distribution-based Learning Framework for Addressing Online
Continual Learning Challenges [4.715630709185073]
オンライン連続学習のための密度分布に基づく学習フレームワークを提案する。
我々のフレームワークは、より優れた平均精度と時間空間効率を実現する。
提案手法は, CL のアプローチにおいて, 有意な差で優れる。
論文 参考訳（メタデータ） (2023-11-22T09:21:28Z) - Enhancing Few-shot CLIP with Semantic-Aware Fine-Tuning [61.902254546858465]
Contrastive Language-Image Pre-Trainingに基づく手法は、数発の適応タスクで有望な性能を示した。
本稿では,タスク固有のセマンティクスに焦点を合わせるために,トレーニングプロセス中にアテンションプーリング層のパラメータを微調整することを提案する。
論文 参考訳（メタデータ） (2023-11-08T05:18:57Z) - NPCL: Neural Processes for Uncertainty-Aware Continual Learning [26.642662729915234]
連続学習(CL)は、新しいタスクによる忘れを制限しながら、ストリーミングデータ上でディープニューラルネットワークを効率的にトレーニングすることを目的としている。
本稿では,異なるタスクを関数上の確率分布にエンコードするメタラーナーのクラスである,ニューラルプロセス(NP)を用いたCLタスクの処理を提案する。
論文 参考訳（メタデータ） (2023-10-30T05:10:00Z) - RanPAC: Random Projections and Pre-trained Models for Continual Learning [59.07316955610658]
継続学習(CL)は、古いタスクを忘れずに、非定常データストリームで異なるタスク(分類など)を学習することを目的としている。
本稿では,事前学習モデルを用いたCLの簡潔かつ効果的なアプローチを提案する。
論文 参考訳（メタデータ） (2023-07-05T12:49:02Z) - POP: Prompt Of Prompts for Continual Learning [59.15888651733645]
継続的な学習(CL)は、破滅的な忘れをせずに新しい概念を学習する人間の能力を模倣することを目的としている。
POP学習を用いた基礎モデルでは,古典的なCL手法よりも優れた性能が得られることを示す。
論文 参考訳（メタデータ） (2023-06-14T02:09:26Z) - A Neural Span-Based Continual Named Entity Recognition Model [13.982996312057207]
SpanKLは知識蒸留(KD)による記憶の保存とCL-NERの衝突を防ぐためのマルチラベル予測のためのモデルである。
OntoNotes と Few-NERD から得られた合成CLデータセットの実験により、SpanKL は以前の SoTA よりも多くの点で顕著に優れていることが示された。
論文 参考訳（メタデータ） (2023-02-23T17:51:29Z) - CLIPood: Generalizing CLIP to Out-of-Distributions [73.86353105017076]
対照的に、CLIP(Language-image Pre-training)モデルでは、印象的なゼロショット能力を示しているが、下流タスクにおけるCLIPのさらなる適応は、OODのパフォーマンスを好ましくない劣化させる。
ドメインシフトとオープンクラスの両方が見えないテストデータ上で発生する可能性があるOOD状況にCLIPモデルを適用するための微調整手法であるCLIPoodを提案する。
さまざまなOODシナリオによるさまざまなデータセットの実験は、CLIPoodが既存の一般化テクニックを一貫して上回っていることを示している。
論文 参考訳（メタデータ） (2023-02-02T04:27:54Z) - Do Pre-trained Models Benefit Equally in Continual Learning? [25.959813589169176]
既存の継続学習(CL)の研究は主に、ゼロから訓練されたモデルのアルゴリズムの開発に費やされている。
コントリビュートベンチマークのパフォーマンスは高いが、これらのアルゴリズムは現実のシナリオで劇的なパフォーマンス低下を示す。
本稿では,CLに対する事前学習の体系的導入を提唱する。
論文 参考訳（メタデータ） (2022-10-27T18:03:37Z) - Beyond Supervised Continual Learning: a Review [69.9674326582747]
連続学習(Continuous Learning, CL)は、定常データ分布の通常の仮定を緩和または省略する機械学習のフレーバーである。
データ分布の変化は、いわゆる破滅的な忘れ(CF)効果、すなわち、過去の知識の突然の喪失を引き起こす可能性がある。
本稿では、CLを他の環境で研究する文献をレビューする。例えば、監督を減らした学習、完全に教師なしの学習、強化学習などである。
論文 参考訳（メタデータ） (2022-08-30T14:44:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。