論文の概要: Complementary Calibration: Boosting General Continual Learning with Collaborative Distillation and Self-Supervision

• arxiv url: http://arxiv.org/abs/2109.02426v1
• Date: Fri, 3 Sep 2021 06:35:27 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-09 04:52:02.363983
• Title: Complementary Calibration: Boosting General Continual Learning with Collaborative Distillation and Self-Supervision
• Title（参考訳）: 補足校正:協調蒸留と自己監督による総合連続学習の促進
• Authors: Zhong Ji, Jin Li, Qiang Wang, Zhongfei Zhang
• Abstract要約: General Continual Learning (GCL)は、非独立および同一の分散ストリームデータから学習することを目的としている。 破滅的な忘れ方にとって,関係性や特徴の偏りが重要な問題であることが明らかとなった。 補足モデルの出力と特徴をマイニングして補足的(CoCa)フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 47.374412281270594
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: General Continual Learning (GCL) aims at learning from non independent and identically distributed stream data without catastrophic forgetting of the old tasks that don't rely on task boundaries during both training and testing stages. We reveal that the relation and feature deviations are crucial problems for catastrophic forgetting, in which relation deviation refers to the deficiency of the relationship among all classes in knowledge distillation, and feature deviation refers to indiscriminative feature representations. To this end, we propose a Complementary Calibration (CoCa) framework by mining the complementary model's outputs and features to alleviate the two deviations in the process of GCL. Specifically, we propose a new collaborative distillation approach for addressing the relation deviation. It distills model's outputs by utilizing ensemble dark knowledge of new model's outputs and reserved outputs, which maintains the performance of old tasks as well as balancing the relationship among all classes. Furthermore, we explore a collaborative self-supervision idea to leverage pretext tasks and supervised contrastive learning for addressing the feature deviation problem by learning complete and discriminative features for all classes. Extensive experiments on four popular datasets show that our CoCa framework achieves superior performance against state-of-the-art methods.
• Abstract（参考訳）: General Continual Learning(GCL)は、トレーニングとテストの段階でタスク境界に依存しない古いタスクを壊滅的に忘れることなく、非独立および同一の分散ストリームデータから学習することを目的としています。 その結果, 関係偏差は知識蒸留におけるすべてのクラス間の関係の欠如, 特徴偏差は識別的特徴表現の欠如を示す。 この目的のために,補完モデルの出力と特徴をマイニングすることで,GCLのプロセスにおける2つの偏差を緩和する補足校正(CoCa)フレームワークを提案する。 具体的には,関係の偏りに対処する新しい共同蒸留手法を提案する。 新モデルのアウトプットとリザーブドアウトプットのアンサンブルダーク知識を利用してモデルのアウトプットを蒸留し、古いタスクのパフォーマンスを維持し、すべてのクラス間の関係のバランスをとる。 さらに,すべてのクラスで完全かつ判別的な特徴を学習することで,前文課題を活用し,特徴偏差問題に対処するためのコントラスト学習を行うための協調的自己スーパービジョンアイデアを探求する。 一般的な4つのデータセットに対する大規模な実験は、CoCaフレームワークが最先端の手法に対して優れたパフォーマンスを達成することを示している。

関連論文リスト

• Joint Input and Output Coordination for Class-Incremental Learning [84.36763449830812]
  本稿では,これらの問題に対処するためのJIOC機構を提案する。 このメカニズムは、出力スコアの勾配に応じて異なるカテゴリのデータに異なる重みを割り当てる。 メモリストレージを使用するさまざまなインクリメンタルな学習アプローチに組み込むことができる。
  論文  参考訳（メタデータ） (2024-09-09T13:55:07Z)
• Relaxed Contrastive Learning for Federated Learning [48.96253206661268]
  本稿では,フェデレート学習におけるデータ不均一性の課題に対処する,新しいコントラスト学習フレームワークを提案する。 当社のフレームワークは,既存のフェデレート学習アプローチを,標準ベンチマークにおいて大きなマージンで上回ります。
  論文  参考訳（メタデータ） (2024-01-10T04:55:24Z)
• Towards Distribution-Agnostic Generalized Category Discovery [51.52673017664908]
  データ不均衡とオープンエンドの分布は、現実の視覚世界の本質的な特性である。 我々は,BaCon(Self-Balanced Co-Advice contrastive framework)を提案する。 BaConは、対照的な学習ブランチと擬似ラベルブランチで構成され、DA-GCDタスクを解決するためのインタラクティブな監視を提供するために協力して動作する。
  論文  参考訳（メタデータ） (2023-10-02T17:39:58Z)
• Towards Causal Foundation Model: on Duality between Causal Inference and Attention [18.046388712804042]
  治療効果推定のための因果認識基盤モデルの構築に向けて第一歩を踏み出す。 我々はCInA(Causal Inference with Attention)と呼ばれる新しい理論的に正当化された手法を提案する。
  論文  参考訳（メタデータ） (2023-10-01T22:28:34Z)
• Cluster-aware Semi-supervised Learning: Relational Knowledge Distillation Provably Learns Clustering [15.678104431835772]
  我々はリレーショナル知識蒸留(RKD)の理論的理解に向けて最初の一歩を踏み出した。 半教師付き学習では,クラスタ認識学習の一般的な枠組みを通じて,RKDのラベル効率を実証する。 正確なクラスタリングを学習する共通の効果にもかかわらず、RKDは"グローバル"な視点を促進する。
  論文  参考訳（メタデータ） (2023-07-20T17:05:51Z)
• Integrating Prior Knowledge in Contrastive Learning with Kernel [4.050766659420731]
  我々は、カーネル理論を用いて、(i)事前知識の統合を可能にし、(i)元のInfoNCE損失における負の正の結合を取り除くという、分離均一性(decoupled uniformity)と呼ばれる新しい損失を提案する。 教師なしの環境では、CLは自然画像と医用画像の両方で表現を改善するために生成モデルから恩恵を受けることを実証的に実証する。
  論文  参考訳（メタデータ） (2022-06-03T15:43:08Z)
• Adversarial Dual-Student with Differentiable Spatial Warping for Semi-Supervised Semantic Segmentation [70.2166826794421]
  本研究では、教師なしデータ拡張を行うために、微分可能な幾何ワープを提案する。 また,平均教師数を改善するために,新しい対角的二重学習フレームワークを提案する。 我々のソリューションは、両方のデータセットで得られるパフォーマンスと最先端の結果を大幅に改善します。
  論文  参考訳（メタデータ） (2022-03-05T17:36:17Z)
• Task-Feature Collaborative Learning with Application to Personalized Attribute Prediction [166.87111665908333]
  本稿では,TFCL(Task-Feature Collaborative Learning)と呼ばれる新しいマルチタスク学習手法を提案する。 具体的には、まず、特徴とタスクの協調的なグループ化を活用するために、不均一なブロック対角構造正規化器を用いたベースモデルを提案する。 実際の拡張として,重なり合う機能と難易度を区別することで,基本モデルを拡張します。
  論文  参考訳（メタデータ） (2020-04-29T02:32:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。