論文の概要: Alleviate Representation Overlapping in Class Incremental Learning by Contrastive Class Concentration

• arxiv url: http://arxiv.org/abs/2107.12308v2
• Date: Tue, 27 Jul 2021 04:23:55 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-28 11:25:15.174796
• Title: Alleviate Representation Overlapping in Class Incremental Learning by Contrastive Class Concentration
• Title（参考訳）: クラスインクリメンタル学習におけるコントラストクラス濃度による緩和表現の重複
• Authors: Zixuan Ni and Haizhou Shi and Siliang Tang and Yueting Zhuang
• Abstract要約: 本稿では,CIL (Contrastive Class concentration for C4IL) を提案する。 我々のフレームワークは、クラス内コンパクト性とクラス間セパビリティを向上した表現分布を生成する。
• 参考スコア（独自算出の注目度）: 47.57071867510225
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The challenge of the Class Incremental Learning (CIL) lies in difficulty for a learner to discern the old classes' data from the new while no previous data is preserved. Namely, the representation distribution of different phases overlaps with each other. In this paper, to alleviate the phenomenon of representation overlapping for both memory-based and memory-free methods, we propose a new CIL framework, Contrastive Class Concentration for CIL (C4IL). Our framework leverages the class concentration effect of contrastive representation learning, therefore yielding a representation distribution with better intra-class compactibility and inter-class separability. Quantitative experiments showcase our framework that is effective in both memory-based and memory-free cases: it outperforms the baseline methods of both cases by 5% in terms of the average and top-1 accuracy in 10-phase and 20-phase CIL. Qualitative results also demonstrate that our method generates a more compact representation distribution that alleviates the overlapping problem.
• Abstract（参考訳）: 授業インクリメンタルラーニング(cil)の課題は、学習者が古いクラスのデータと新しいクラスデータを区別することが困難であり、以前のデータは保存されないことである。 すなわち、異なる位相の表現分布は互いに重なり合う。 本稿では,メモリベースとメモリフリーの両方で重複する表現の現象を軽減するために,CILのための新しいCILフレームワークであるContrastive Class concentration for CIL (C4IL)を提案する。 本フレームワークは,コントラスト表現学習のクラス集中効果を活用し,クラス内コンパクト性とクラス間分離性を向上させる。 メモリベースのケースとメモリフリーケースの両方で有効なフレームワークを定量的に検証し,10フェーズと20フェーズのCILの平均とトップ1の精度で,両ケースのベースライン手法を5%上回った。 また,提案手法は重なり合う問題を緩和する,よりコンパクトな表現分布を生成することを示す。

関連論文リスト

• Bayesian Learning-driven Prototypical Contrastive Loss for Class-Incremental Learning [42.14439854721613]
  本稿では,クラス増分学習シナリオに特化して,ベイズ学習駆動型コントラスト損失(BLCL)を持つプロトタイプネットワークを提案する。 提案手法は,ベイズ学習手法を用いて,クロスエントロピーとコントラスト損失関数のバランスを動的に適用する。
  論文  参考訳（メタデータ） (2024-05-17T19:49:02Z)
• Exploiting Inter-sample and Inter-feature Relations in Dataset Distillation [25.552810713735873]
  クラス集中化制約と共分散マッチング制約を導入する。 CIFAR10では最大6.6%、SVHNでは2.9%、CIFAR100では2.5%、TinyImageNetでは2.5%となる。 本手法は,4つのアーキテクチャにおいて最大1.7%の性能低下を伴って,クロスアーキテクチャ環境でのロバストな性能を維持している。
  論文  参考訳（メタデータ） (2024-03-31T05:07:06Z)
• Memory Consistency Guided Divide-and-Conquer Learning for Generalized Category Discovery [56.172872410834664]
  一般カテゴリー発見(GCD)は、半教師付き学習のより現実的で挑戦的な設定に対処することを目的としている。 メモリ一貫性を誘導する分枝・分枝学習フレームワーク(MCDL)を提案する。 本手法は,画像認識の目に見えるクラスと見えないクラスの両方において,最先端のモデルよりも優れた性能を示す。
  論文  参考訳（メタデータ） (2024-01-24T09:39:45Z)
• Shrinking Class Space for Enhanced Certainty in Semi-Supervised Learning [59.44422468242455]
  そこで我々はShrinkMatchと呼ばれる新しい手法を提案し、不確実なサンプルを学習する。 それぞれの不確実なサンプルに対して、元の Top-1 クラスを単に含むスランク類空間を適応的に求める。 次に、スランク空間における強と弱に強化された2つのサンプル間の整合正則化を課し、識別的表現を試みます。
  論文  参考訳（メタデータ） (2023-08-13T14:05:24Z)
• Center Contrastive Loss for Metric Learning [8.433000039153407]
  本稿では,Central Contrastive Lossと呼ばれる新しいメトリック学習機能を提案する。 クラスワイド・センタ・バンクを維持し、コントラッシブ・ロスを用いてカテゴリセンターとクエリデータポイントを比較している。 提案した損失は、対比法と分類法の両方の利点を組み合わせたものである。
  論文  参考訳（メタデータ） (2023-08-01T11:22:51Z)
• Subclass-balancing Contrastive Learning for Long-tailed Recognition [38.31221755013738]
  不均衡なクラス分布を持つロングテール認識は、実践的な機械学習アプリケーションで自然に現れる。 そこで我々は,各ヘッドクラスを複数のサブクラスにクラスタリングする,新しいサブクラスバランス・コントラッシブ・ラーニング・アプローチを提案する。 我々は,長期化ベンチマークデータセットの一覧からSBCLを評価し,最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2023-06-28T05:08:43Z)
• Towards Calibrated Hyper-Sphere Representation via Distribution Overlap Coefficient for Long-tailed Learning [8.208237033120492]
  ロングテール学習は、現実世界のシナリオにおいて、厳しいクラス不均衡の下で、ヘッドクラスがトレーニング手順を支配しているという課題に取り組むことを目的としている。 これを動機として、コサインに基づく分類器をフォン・ミセス・フィッシャー混合モデル(vMF)に一般化する。 分布重なり係数の計算により超球面上の表現品質を測定する。
  論文  参考訳（メタデータ） (2022-08-22T03:53:29Z)
• Neighborhood Contrastive Learning for Novel Class Discovery [79.14767688903028]
  我々は,クラスタリング性能に重要な識別表現を学習するために,Neighborhood Contrastive Learningという新しいフレームワークを構築した。 これらの2つの成分がクラスタリング性能に大きく寄与し、我々のモデルが最先端の手法よりも大きなマージンで優れていることを実験的に実証した。
  論文  参考訳（メタデータ） (2021-06-20T17:34:55Z)
• Semi-supervised Contrastive Learning with Similarity Co-calibration [72.38187308270135]
  SsCL(Semi-supervised Contrastive Learning)と呼ばれる新しいトレーニング戦略を提案する。 ssclは、自己教師付き学習におけるよく知られたコントラスト損失と、半教師付き学習におけるクロスエントロピー損失を組み合わせる。 SsCLはより差別的な表現を生じさせ,ショット学習に有益であることを示す。
  論文  参考訳（メタデータ） (2021-05-16T09:13:56Z)
• Graph Contrastive Clustering [131.67881457114316]
  本稿では,クラスタリングタスクに適用可能な新しいグラフコントラスト学習フレームワークを提案し,gcc(graph constrastive clustering)法を考案した。 特に、グラフラプラシアンに基づくコントラスト損失は、より識別的かつクラスタリングフレンドリーな特徴を学ぶために提案されている。 一方で、よりコンパクトなクラスタリング割り当てを学ぶために、グラフベースのコントラスト学習戦略が提案されている。
  論文  参考訳（メタデータ） (2021-04-03T15:32:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。