論文の概要: Incremental Prototype Prompt-tuning with Pre-trained Representation for Class Incremental Learning

• arxiv url: http://arxiv.org/abs/2204.03410v2
• Date: Mon, 11 Apr 2022 01:30:00 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-12 11:53:54.583024
• Title: Incremental Prototype Prompt-tuning with Pre-trained Representation for Class Incremental Learning
• Title（参考訳）: クラスインクリメンタル学習のための事前学習表現によるインクリメンタルプロトタイププロンプトチューニング
• Authors: Jieren Deng and Jianhua Hu and Haojian Zhang and Yunkuan Wang
• Abstract要約: クラスインクリメンタルな学習は多くの注目を集めていますが、既存のほとんどの研究は、表現モデルを継続的に微調整しています。 我々は、事前学習パラダイムを用いて、固定されたセマンティックリッチな事前学習表現モデルに基づいて、新しい視覚概念を逐次学習する。 我々の手法は、多くのマージンを持つ他の最先端手法よりも一貫して優れています。
• 参考スコア（独自算出の注目度）: 4.717066668969749
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Class incremental learning has attracted much attention, but most existing works still continually fine-tune the representation model, resulting in much catastrophic forgetting. Instead of struggling to fight against such forgetting by replaying or distillation like most of the existing methods, we take the pre-train-and-prompt-tuning paradigm to sequentially learn new visual concepts based on a fixed semantic rich pre-trained representation model by incremental prototype prompt-tuning (IPP), which substantially reduces the catastrophic forgetting. In addition, an example prototype classification is proposed to compensate for semantic drift, the problem caused by learning bias at different phases. Extensive experiments conducted on the three incremental learning benchmarks demonstrate that our method consistently outperforms other state-of-the-art methods with a large margin.
• Abstract（参考訳）: クラスインクリメンタルラーニングは多くの注目を集めているが、既存のほとんどの研究は依然として表現モデルを微調整し続けており、悲惨なほど忘れてしまう。 既存のほとんどの方法と同様に、リプレイや蒸留によってそのような忘れ物と戦うのに苦労する代わりに、私たちは、インクリメンタルプロトタイププロンプトチューニング(IPP)によって、固定された意味豊かな事前学習表現モデルに基づいて、新しい視覚概念を逐次学習する事前学習パラダイムを採用し、破滅的な忘れ物を大幅に減少させる。 さらに,異なる位相における学習バイアスに起因する問題である意味的ドリフトを補うために,プロトタイプ分類の例を提案する。 3つのインクリメンタル・ラーニング・ベンチマークで行った広範囲な実験は、この手法が最先端の他の手法よりも大きなマージンで一貫して優れていることを示している。

関連論文リスト

• Semantically-Shifted Incremental Adapter-Tuning is A Continual ViTransformer [44.10678347943115]
  クラスインクリメンタルラーニング(CIL)は、モデルが破滅的な忘れを克服しつつ、新しいクラスを継続的に学習できるようにすることを目的としている。 本稿では,連続学習の文脈において,異なるパラメータ効率チューニング(PET)手法を再検討する。 適応チューニングは,各学習セッションにおいてパラメータ拡張がなくても,プロンプトベースの手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-03-29T05:23:12Z)
• Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple Logits Retargeting Approach [102.0769560460338]
  我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。 提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-03-01T03:27:08Z)
• FD-Align: Feature Discrimination Alignment for Fine-tuning Pre-Trained Models in Few-Shot Learning [21.693779973263172]
  本稿では,特徴識別アライメント(FD-Align)と呼ばれる微調整手法を提案する。 本手法は,突発的特徴の一貫性を保ち,モデルの一般化可能性を高めることを目的としている。 一度微調整すると、モデルは既存のメソッドとシームレスに統合され、パフォーマンスが向上する。
  論文  参考訳（メタデータ） (2023-10-23T17:12:01Z)
• Prototypical quadruplet for few-shot class incremental learning [24.814045065163135]
  改良されたコントラスト損失を用いて,より優れた埋め込み空間を同定し,分類ロバスト性を向上させる手法を提案する。 我々のアプローチは、新しいクラスで訓練された場合でも、埋め込み空間で以前獲得した知識を保っている。 提案手法の有効性は,新しいクラスでモデルを訓練した後,組込み空間がそのままであることを示すとともに,各セッションの精度で既存の最先端アルゴリズムより優れていることを示すことで実証する。
  論文  参考訳（メタデータ） (2022-11-05T17:19:14Z)
• Improving Fine-tuning of Self-supervised Models with Contrastive Initialization [11.595212661616259]
  本稿では,標準的な微調整パイプラインを破るContrastive Initialization (COIN)法を提案する。 当社のCOINは、余分なトレーニングコストを伴わずに既存の方法よりも大幅に優れています。
  論文  参考訳（メタデータ） (2022-07-30T14:45:57Z)
• Contrastive Learning for Fair Representations [50.95604482330149]
  訓練された分類モデルは、意図せずバイアスのある表現や予測につながる可能性がある。 対戦訓練のような既存の分類モデルのデバイアス化手法は、訓練に高価であり、最適化が困難であることが多い。 比較学習を取り入れたバイアス軽減手法を提案し、同じクラスラベルを共有するインスタンスに類似した表現を推奨する。
  論文  参考訳（メタデータ） (2021-09-22T10:47:51Z)
• Avoiding Inference Heuristics in Few-shot Prompt-based Finetuning [57.4036085386653]
  文ペア分類タスクのプロンプトベースモデルでは,語彙重なりに基づく推論の一般的な落とし穴が依然として残っていることを示す。 そこで,プレトレーニングウェイトを保存する正規化を加えることは,この破壊的な微調整の傾向を緩和するのに有効であることを示す。
  論文  参考訳（メタデータ） (2021-09-09T10:10:29Z)
• Self-Promoted Prototype Refinement for Few-Shot Class-Incremental Learning [81.10531943939365]
  クラスインクリメンタルな学習は、サンプルが少ないと新しいクラスを認識し、古いクラスを忘れないことである。 本稿では,様々なエピソードに特徴表現を適応させる新しいインクリメンタルなプロトタイプ学習手法を提案する。 3つのベンチマークデータセットの実験では、上記の段階的なパフォーマンスを示し、それぞれ13%、17%、11%のマージンで最先端のメソッドを上回っている。
  論文  参考訳（メタデータ） (2021-07-19T14:31:33Z)
• Unleashing the Power of Contrastive Self-Supervised Visual Models via Contrast-Regularized Fine-Tuning [94.35586521144117]
  コントラスト学習を微調整に適用することでさらにメリットが得られるか検討する。 本研究では,コントラスト正規化調律(core-tuning)を提案する。
  論文  参考訳（メタデータ） (2021-02-12T16:31:24Z)
• Few-shot Action Recognition with Prototype-centered Attentive Learning [88.10852114988829]
  2つの新しい構成要素からなるプロトタイプ中心型注意学習(pal)モデル。 まず,従来のクエリ中心学習目標を補完するために,プロトタイプ中心のコントラスト学習損失を導入する。 第二に、PALは注意深いハイブリッド学習機構を統合しており、アウトレーヤの負の影響を最小限に抑えることができる。
  論文  参考訳（メタデータ） (2021-01-20T11:48:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。