論文の概要: Integrating Dual Prototypes for Task-Wise Adaption in Pre-Trained Model-Based Class-Incremental Learning

• arxiv url: http://arxiv.org/abs/2411.17766v1
• Date: Tue, 26 Nov 2024 05:04:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-28 15:28:25.362864
• Title: Integrating Dual Prototypes for Task-Wise Adaption in Pre-Trained Model-Based Class-Incremental Learning
• Title（参考訳）: 事前学習モデルに基づくクラスインクリメンタル学習におけるタスクワイズ適応のためのデュアルプロトタイプの統合
• Authors: Zhiming Xu, Suorong Yang, Baile Xu, Jian Zhao, Furao Shen,
• Abstract要約: クラスインクリメンタルラーニング(CIL)は、歴史知識を漸進的に保存しつつ、新しいクラスを取得することを目的としている。 本稿では,PTMに基づくCILのタスクワイド適応(DPTA)のためのDual Prototype Networkを提案する。
• 参考スコア（独自算出の注目度）: 12.451582222211833
• License:
• Abstract: Class-incremental learning (CIL) aims to acquire new classes while conserving historical knowledge incrementally. Despite existing pre-trained model (PTM) based methods performing excellently in CIL, it is better to fine-tune them on downstream incremental tasks with massive patterns unknown to PTMs. However, using task streams for fine-tuning could lead to catastrophic forgetting that will erase the knowledge in PTMs. This paper proposes the Dual Prototype network for Task-wise Adaption (DPTA) of PTM-based CIL. For each incremental learning task, a task-wise adapter module is built to fine-tune the PTM, where the center-adapt loss forces the representation to be more centrally clustered and class separable. The dual prototype network improves the prediction process by enabling test-time adapter selection, where the raw prototypes deduce several possible task indexes of test samples to select suitable adapter modules for PTM, and the augmented prototypes that could separate highly correlated classes are utilized to determine the final result. Experiments on several benchmark datasets demonstrate the state-of-the-art performance of DPTA. The code will be open-sourced after the paper is published.
• Abstract（参考訳）: クラスインクリメンタルラーニング(CIL)は、歴史知識を漸進的に保存しつつ、新しいクラスを取得することを目的としている。 既存の事前学習モデル (PTM) ベースの手法はCILで優れた性能を発揮するが, 下流のインクリメンタルなタスクにおいて, PTM に未知な大量のパターンでそれらを微調整する方がよい。 しかし、タスクストリームを微調整に使用すると、破滅的な忘れて、PTMの知識を消してしまう可能性がある。 本稿では,PTMに基づくCILのタスクワイド適応(DPTA)のためのDual Prototype Networkを提案する。 各漸進的な学習タスクに対して、タスクワイドアダプタモジュールが構築され、PTMを微調整し、センター適応損失によって表現がより集中的にクラスタ化され、クラス分離可能であるように強制される。 デュアルプロトタイプネットワークは、テスト時アダプタ選択を可能にして予測プロセスを改善し、テストサンプルのいくつかのタスクインデックスを推論して、PTMに適したアダプタモジュールを選択し、高相関クラスの分離が可能な拡張プロトタイプを用いて最終結果を決定する。 いくつかのベンチマークデータセットの実験では、DPTAの最先端性能が示されている。 コードは、論文が公開された後にオープンソース化される。

関連論文リスト

• PCoTTA: Continual Test-Time Adaptation for Multi-Task Point Cloud Understanding [40.42904797189929]
  マルチタスクポイントクラウド理解におけるCoTTA(Continuous Test-Time Adaptation)の革新的フレームワークであるPCoTTAを提案する。 我々のPCoTTAは、自動プロトタイプ混合(APM)、ガウススプレート機能シフト(GSFS)、コントラストプロトタイプ反発(CPR)の3つの重要なコンポーネントで構成されています。 CPRは、最も近い学習可能なプロトタイプをテスト機能に近づけ、他のプロトタイプから切り離して、各プロトタイプを適応中に区別できるようにするために提案されている。
  論文  参考訳（メタデータ） (2024-11-01T14:41:36Z)
• Training-Free Unsupervised Prompt for Vision-Language Models [27.13778811871694]
  本研究では,表現能力の保持と類似性に基づく予測確率の残差による強化を図るために,TFUP(Training-Free Unsupervised Prompts)を提案する。 TFUPは、複数の分類データセットのトレーニングベースメソッドを超え、驚くべきパフォーマンスを達成する。 TFUP-Tは,複数のベンチマークにおける教師なしおよび少数ショット適応手法と比較して,最先端の分類性能が向上する。
  論文  参考訳（メタデータ） (2024-04-25T05:07:50Z)
• Rethinking Few-shot 3D Point Cloud Semantic Segmentation [62.80639841429669]
  本稿では,FS-PCSによる3Dポイント・クラウドセマンティックセマンティックセグメンテーションについて再検討する。 我々は、最先端の2つの重要な問題、前景の漏洩とスパースポイントの分布に焦点をあてる。 これらの問題に対処するために、新しいベンチマークを構築するための標準化されたFS-PCS設定を導入する。
  論文  参考訳（メタデータ） (2024-03-01T15:14:47Z)
• Rethinking Class-incremental Learning in the Era of Large Pre-trained Models via Test-Time Adaptation [20.62749699589017]
  クラス増分学習(クラス増分学習、class-incremental learning、CIL)は、クラスを新しいタスクから分類する逐次学習を伴う課題である。 本稿では,最初のタスクでアダプタを用いてPTMを微調整するTTACIL(Test-Time Adaptation for Class-Incremental Learning)を提案する。 私たちのTTACILは、PTMの豊富な機能によって各タスクの恩恵を受けながら、一切忘れることはありません。
  論文  参考訳（メタデータ） (2023-10-17T13:06:39Z)
• Tuning Pre-trained Model via Moment Probing [62.445281364055795]
  本稿では,LP の可能性を探るため,新しい Moment Probing (MP) 法を提案する。 MPは、最終特徴の平均に基づいて線形分類ヘッドを実行する。 当社のMPはLPを著しく上回り、トレーニングコストの低い相手と競争しています。
  論文  参考訳（メタデータ） (2023-07-21T04:15:02Z)
• Revisiting Class-Incremental Learning with Pre-Trained Models: Generalizability and Adaptivity are All You Need [84.3507610522086]
  クラスインクリメンタルラーニング(Class-incremental Learning, CIL)は、古いクラスを忘れずに新しいクラスに適応することを目的としている。 近年の事前訓練は大きな進歩を遂げており、CILには膨大な事前訓練モデル(PTM)が利用できるようになった。 CILの中核となる要素は、モデル更新の適応性と知識伝達の一般化性である。
  論文  参考訳（メタデータ） (2023-03-13T17:59:02Z)
• CLIPood: Generalizing CLIP to Out-of-Distributions [73.86353105017076]
  対照的に、CLIP(Language-image Pre-training)モデルでは、印象的なゼロショット能力を示しているが、下流タスクにおけるCLIPのさらなる適応は、OODのパフォーマンスを好ましくない劣化させる。 ドメインシフトとオープンクラスの両方が見えないテストデータ上で発生する可能性があるOOD状況にCLIPモデルを適用するための微調整手法であるCLIPoodを提案する。 さまざまなOODシナリオによるさまざまなデータセットの実験は、CLIPoodが既存の一般化テクニックを一貫して上回っていることを示している。
  論文  参考訳（メタデータ） (2023-02-02T04:27:54Z)
• Prompt Tuning for Parameter-efficient Medical Image Segmentation [79.09285179181225]
  2つの医用画像データセットのセマンティックセグメンテーションにパラメータ効率が良いが効果的な適応を実現するために,いくつかのコントリビューションを提案し,検討する。 我々はこのアーキテクチャを、オンライン生成プロトタイプへの割り当てに基づく専用密集型セルフスーパービジョンスキームで事前訓練する。 得られたニューラルネットワークモデルにより、完全に微調整されたモデルとパラメータに適応したモデルとのギャップを緩和できることを実証する。
  論文  参考訳（メタデータ） (2022-11-16T21:55:05Z)
• Contrastive Prototype Learning with Augmented Embeddings for Few-Shot Learning [58.2091760793799]
  拡張埋め込み(CPLAE)モデルを用いた新しいコントラスト型プロトタイプ学習を提案する。 クラスプロトタイプをアンカーとして、CPLは、同じクラスのクエリサンプルを、異なるクラスのサンプルを、さらに遠くに引き出すことを目的としている。 いくつかのベンチマークによる大規模な実験により,提案したCPLAEが新たな最先端を実現することが示された。
  論文  参考訳（メタデータ） (2021-01-23T13:22:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。