論文の概要: G-ACIL: Analytic Learning for Exemplar-Free Generalized Class Incremental Learning

• arxiv url: http://arxiv.org/abs/2403.15706v2
• Date: Sat, 13 Apr 2024 12:06:35 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-16 20:00:41.622229
• Title: G-ACIL: Analytic Learning for Exemplar-Free Generalized Class Incremental Learning
• Title（参考訳）: G-ACIL:先進的な一般化クラスインクリメンタルラーニングのための分析学習
• Authors: Huiping Zhuang, Yizhu Chen, Di Fang, Run He, Kai Tong, Hongxin Wei, Ziqian Zeng, Cen Chen,
• Abstract要約: クラスインクリメンタルラーニング(CIL)は、カテゴリーを分けた逐次的なタスクでネットワークをトレーニングするが、破滅的な忘れ込みに悩まされる。 本稿では,G-ACIL(Exemplar-free generalized analysis class incremental learning)を提案する。 G-ACILは解析学習(勾配のない訓練手法)を採用し、GCILのシナリオに解析的解(すなわちクローズドフォーム)を提供する。
• 参考スコア（独自算出の注目度）: 20.49481895737308
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Class incremental learning (CIL) trains a network on sequential tasks with separated categories but suffers from catastrophic forgetting, where models quickly lose previously learned knowledge when acquiring new tasks. The generalized CIL (GCIL) aims to address the CIL problem in a more real-world scenario, where incoming data have mixed data categories and unknown sample size distribution, leading to intensified forgetting. Existing attempts for the GCIL either have poor performance, or invade data privacy by saving historical exemplars. To address this, in this paper, we propose an exemplar-free generalized analytic class incremental learning (G-ACIL). The G-ACIL adopts analytic learning (a gradient-free training technique), and delivers an analytical solution (i.e., closed-form) to the GCIL scenario. This solution is derived via decomposing the incoming data into exposed and unexposed classes, allowing an equivalence between the incremental learning and its joint training, i.e., the weight-invariant property. Such an equivalence is theoretically validated through matrix analysis tools, and hence contributes interpretability in GCIL. It is also empirically evidenced by experiments on various datasets and settings of GCIL. The results show that the G-ACIL exhibits leading performance with high robustness compared with existing competitive GCIL methods. Codes will be ready at \url{https://github.com/ZHUANGHP/Analytic-continual-learning}.
• Abstract（参考訳）: クラスインクリメンタルラーニング(CIL)は、カテゴリーを分けたシーケンシャルなタスクでネットワークをトレーニングするが、破滅的な忘れ込みに苦しむ。 一般化されたCIL(GCIL)は、より現実的なシナリオにおいてCILの問題に対処することを目的としている。 GCILの既存の試みはパフォーマンスが劣っているか、過去の例を保存してデータのプライバシーを侵害している。 そこで本稿では,G-ACIL(Exemplar-free generalized analysis class incremental learning)を提案する。 G-ACILは解析学習(勾配のない訓練手法)を採用し、GCILのシナリオに解析的解(すなわちクローズドフォーム)を提供する。 この解は、入力データを露出クラスと露出クラスに分解することで導出され、インクリメンタルラーニングとジョイントトレーニング、すなわちウェイト不変性の間の等価性を実現する。 このような等価性は、行列解析ツールを通じて理論的に検証され、GCILの解釈可能性に寄与する。 また、様々なデータセットやGCILの設定に関する実験によって実証されている。 その結果, G-ACILは, 既存の競合GCIL法と比較して, 高い強靭性を示すことがわかった。 コードは \url{https://github.com/ZHUANGHP/Analytic-Continual-learning} で準備が整う。

関連論文リスト

• CARL-G: Clustering-Accelerated Representation Learning on Graphs [18.763104937800215]
  本稿では,クラスタ検証指標(CVI)にインスパイアされた損失を利用したグラフ表現学習のための新しいクラスタリングベースのフレームワークを提案する。 CARL-Gはクラスタリング法やCVIに適応し,クラスタリング法とCVIの適切な選択により,CARL-Gは4/5データセットのノード分類ベースラインを最大79倍のトレーニングスピードアップで上回ることを示す。
  論文  参考訳（メタデータ） (2023-06-12T08:14:42Z)
• Dynamic Conceptional Contrastive Learning for Generalized Category Discovery [76.82327473338734]
  Generalized category discovery (GCD) は、部分的にラベル付けされたデータを自動でクラスタリングすることを目的としている。 ラベル付きデータには、ラベル付きデータの既知のカテゴリだけでなく、新しいカテゴリのインスタンスも含まれている。 GCDの効果的な方法の1つは、ラベルなしデータの識別表現を学習するために自己教師付き学習を適用することである。 本稿では,クラスタリングの精度を効果的に向上する動的概念コントラスト学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-30T14:04:39Z)
• GCNet: Probing Self-Similarity Learning for Generalized Counting Network [24.09746233447471]
  一般カウントネットワーク(GCNet)は、画像全体の適応的な例を認識するために開発された。 GCNetは、慎重に設計された自己相似学習戦略を通じてそれらを適応的にキャプチャすることができる。 既存の例によるメソッドと同等に動作し、クラウド固有のデータセット上で、驚くべきクロスデータセットの汎用性を示している。
  論文  参考訳（メタデータ） (2023-02-10T09:31:37Z)
• Analyzing Data-Centric Properties for Contrastive Learning on Graphs [32.69353929886551]
  コントラスト学習(CL)のようなグラフSSLメソッドはどのように機能するかを検討する。 我々の研究は、実験的にも理論的にも、データ中心のプロパティがグラフSSLの強化戦略や学習パラダイムに与える影響を厳格に文脈化しています。
  論文  参考訳（メタデータ） (2022-08-04T17:58:37Z)
• Revisiting Contrastive Methods for Unsupervised Learning of Visual Representations [78.12377360145078]
  対照的な自己教師型学習は、セグメンテーションやオブジェクト検出といった多くの下流タスクにおいて教師付き事前訓練よりも優れています。 本稿では,データセットのバイアスが既存手法にどのように影響するかを最初に検討する。 現在のコントラストアプローチは、(i)オブジェクト中心対シーン中心、(ii)一様対ロングテール、(iii)一般対ドメイン固有データセットなど、驚くほどうまく機能することを示す。
  論文  参考訳（メタデータ） (2021-06-10T17:59:13Z)
• Gradient Coding with Dynamic Clustering for Straggler-Tolerant Distributed Learning [55.052517095437]
  勾配降下(GD)は、複数の労働者にデータセットを分散することで学習タスクの並列化に広く用いられている。 分散同期gdにおけるイテレーション完了時間ごとの重要なパフォーマンスボトルネックは$straggling$ workersである。 コード化された分散技術は、最近ストラグラーを緩和し、労働者に冗長な計算を割り当てることでgdイテレーションを高速化するために導入された。 本稿では,従来のトラグリング動作に依存する可能性のあるコードの中から,冗長なデータを労働者に割り当てて選択する動的GC方式を提案する。
  論文  参考訳（メタデータ） (2021-03-01T18:51:29Z)
• The Devil is in Classification: A Simple Framework for Long-tail Object Detection and Instance Segmentation [93.17367076148348]
  本稿では,最新のロングテールLVISデータセットを用いて,最先端の2段階のインスタンスセグメンテーションモデルMask R-CNNの性能低下について検討する。 主な原因は、オブジェクト提案の不正確な分類である。 そこで本研究では,2段階のクラスバランスサンプリング手法により,分類ヘッドバイアスをより効果的に緩和する,簡単な校正フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-23T12:49:07Z)
• UniT: Unified Knowledge Transfer for Any-shot Object Detection and Segmentation [52.487469544343305]
  オブジェクト検出とセグメンテーションの方法は、トレーニングのための大規模インスタンスレベルのアノテーションに依存します。 本稿では,直感的かつ統一的な半教師付きモデルを提案する。
  論文  参考訳（メタデータ） (2020-06-12T22:45:47Z)
• Generalized Canonical Correlation Analysis: A Subspace Intersection Approach [30.475159163815505]
  Generalized Canonical correlation Analysis (GCCA)は、データマイニング、機械学習、人工知能に多くの応用を見出す重要なツールである。 本稿では,GCCAの本質を自然に捉えた(双線形)生成モデルに基づく,GCCAの新たな代数的視点を提供する。 大規模GCCAタスクを処理するためにスケールアップする部分空間交叉に基づく新しいGCCAアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-03-25T04:04:25Z)
• Unshuffling Data for Improved Generalization [65.57124325257409]
  トレーニングディストリビューションを越えた一般化は、マシンラーニングにおける中核的な課題である。 本研究では,複数の学習環境として扱われる非d.d.サブセットにデータを分割することで,アウト・オブ・ディストリビューションの一般化を向上したモデル学習を導出できることを示す。
  論文  参考訳（メタデータ） (2020-02-27T03:07:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。