論文の概要: GACL: Exemplar-Free Generalized Analytic Continual Learning

• arxiv url: http://arxiv.org/abs/2403.15706v3
• Date: Mon, 04 Nov 2024 09:06:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-05 14:42:01.517885
• Title: GACL: Exemplar-Free Generalized Analytic Continual Learning
• Title（参考訳）: GACL: 既成の一般分析連続学習
• Authors: Huiping Zhuang, Yizhu Chen, Di Fang, Run He, Kai Tong, Hongxin Wei, Ziqian Zeng, Cen Chen,
• Abstract要約: クラスインクリメンタルラーニング(CIL)は、各タスクにカテゴリを分けた逐次的なタスクでネットワークをトレーニングするが、破滅的な忘れに苦しむ。 一般化されたCIL(GCIL)は、より現実的なシナリオにおいてCILの問題に対処することを目的としている。 汎用解析連続学習(GACL)という,先進的なGCIL手法を提案する。
• 参考スコア（独自算出の注目度）: 20.49481895737308
• License:
• Abstract: Class incremental learning (CIL) trains a network on sequential tasks with separated categories in each task but suffers from catastrophic forgetting, where models quickly lose previously learned knowledge when acquiring new tasks. The generalized CIL (GCIL) aims to address the CIL problem in a more real-world scenario, where incoming data have mixed data categories and unknown sample size distribution. Existing attempts for the GCIL either have poor performance or invade data privacy by saving exemplars. In this paper, we propose a new exemplar-free GCIL technique named generalized analytic continual learning (GACL). The GACL adopts analytic learning (a gradient-free training technique) and delivers an analytical (i.e., closed-form) solution to the GCIL scenario. This solution is derived via decomposing the incoming data into exposed and unexposed classes, thereby attaining a weight-invariant property, a rare yet valuable property supporting an equivalence between incremental learning and its joint training. Such an equivalence is crucial in GCIL settings as data distributions among different tasks no longer pose challenges to adopting our GACL. Theoretically, this equivalence property is validated through matrix analysis tools. Empirically, we conduct extensive experiments where, compared with existing GCIL methods, our GACL exhibits a consistently leading performance across various datasets and GCIL settings. Source code is available at https://github.com/CHEN-YIZHU/GACL.
• Abstract（参考訳）: クラスインクリメンタルラーニング(CIL)は、各タスクにカテゴリを分けたシーケンシャルなタスクでネットワークをトレーニングするが、破滅的な忘れに苦しむ。 一般化されたCIL(GCIL)は、より現実的なシナリオにおいてCILの問題に対処することを目的としている。 GCILの既存の試みはパフォーマンスが悪いか、例えを節約してデータのプライバシに侵入する。 本稿では,GACL (Generalized Analysis Continuousal Learning) という,非標準GCIL手法を提案する。 GACLは解析学習(勾配のない訓練手法)を採用し、GCILシナリオに解析的(つまりクローズドな)ソリューションを提供する。 この解は、入力したデータを露光および露光されたクラスに分解することで導出され、これにより、インクリメンタルラーニングとジョイントトレーニングの等価性を支持する希少かつ価値ある特性である重み不変性が得られる。 このような等価性はGCILの設定において重要である。 理論的には、この等価性は行列解析ツールによって検証される。 実験的には、既存のGCILメソッドと比較して、GACLはさまざまなデータセットとGCIL設定で一貫してパフォーマンスを向上する。 ソースコードはhttps://github.com/CHEN-YIZHU/GACLで入手できる。

関連論文リスト

• CARL-G: Clustering-Accelerated Representation Learning on Graphs [18.763104937800215]
  本稿では,クラスタ検証指標(CVI)にインスパイアされた損失を利用したグラフ表現学習のための新しいクラスタリングベースのフレームワークを提案する。 CARL-Gはクラスタリング法やCVIに適応し,クラスタリング法とCVIの適切な選択により,CARL-Gは4/5データセットのノード分類ベースラインを最大79倍のトレーニングスピードアップで上回ることを示す。
  論文  参考訳（メタデータ） (2023-06-12T08:14:42Z)
• Dynamic Conceptional Contrastive Learning for Generalized Category Discovery [76.82327473338734]
  Generalized category discovery (GCD) は、部分的にラベル付けされたデータを自動でクラスタリングすることを目的としている。 ラベル付きデータには、ラベル付きデータの既知のカテゴリだけでなく、新しいカテゴリのインスタンスも含まれている。 GCDの効果的な方法の1つは、ラベルなしデータの識別表現を学習するために自己教師付き学習を適用することである。 本稿では,クラスタリングの精度を効果的に向上する動的概念コントラスト学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-30T14:04:39Z)
• GCNet: Probing Self-Similarity Learning for Generalized Counting Network [24.09746233447471]
  一般カウントネットワーク(GCNet)は、画像全体の適応的な例を認識するために開発された。 GCNetは、慎重に設計された自己相似学習戦略を通じてそれらを適応的にキャプチャすることができる。 既存の例によるメソッドと同等に動作し、クラウド固有のデータセット上で、驚くべきクロスデータセットの汎用性を示している。
  論文  参考訳（メタデータ） (2023-02-10T09:31:37Z)
• Analyzing Data-Centric Properties for Contrastive Learning on Graphs [32.69353929886551]
  コントラスト学習(CL)のようなグラフSSLメソッドはどのように機能するかを検討する。 我々の研究は、実験的にも理論的にも、データ中心のプロパティがグラフSSLの強化戦略や学習パラダイムに与える影響を厳格に文脈化しています。
  論文  参考訳（メタデータ） (2022-08-04T17:58:37Z)
• Revisiting Contrastive Methods for Unsupervised Learning of Visual Representations [78.12377360145078]
  対照的な自己教師型学習は、セグメンテーションやオブジェクト検出といった多くの下流タスクにおいて教師付き事前訓練よりも優れています。 本稿では,データセットのバイアスが既存手法にどのように影響するかを最初に検討する。 現在のコントラストアプローチは、(i)オブジェクト中心対シーン中心、(ii)一様対ロングテール、(iii)一般対ドメイン固有データセットなど、驚くほどうまく機能することを示す。
  論文  参考訳（メタデータ） (2021-06-10T17:59:13Z)
• Gradient Coding with Dynamic Clustering for Straggler-Tolerant Distributed Learning [55.052517095437]
  勾配降下(GD)は、複数の労働者にデータセットを分散することで学習タスクの並列化に広く用いられている。 分散同期gdにおけるイテレーション完了時間ごとの重要なパフォーマンスボトルネックは$straggling$ workersである。 コード化された分散技術は、最近ストラグラーを緩和し、労働者に冗長な計算を割り当てることでgdイテレーションを高速化するために導入された。 本稿では,従来のトラグリング動作に依存する可能性のあるコードの中から,冗長なデータを労働者に割り当てて選択する動的GC方式を提案する。
  論文  参考訳（メタデータ） (2021-03-01T18:51:29Z)
• The Devil is in Classification: A Simple Framework for Long-tail Object Detection and Instance Segmentation [93.17367076148348]
  本稿では,最新のロングテールLVISデータセットを用いて,最先端の2段階のインスタンスセグメンテーションモデルMask R-CNNの性能低下について検討する。 主な原因は、オブジェクト提案の不正確な分類である。 そこで本研究では,2段階のクラスバランスサンプリング手法により,分類ヘッドバイアスをより効果的に緩和する,簡単な校正フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-23T12:49:07Z)
• UniT: Unified Knowledge Transfer for Any-shot Object Detection and Segmentation [52.487469544343305]
  オブジェクト検出とセグメンテーションの方法は、トレーニングのための大規模インスタンスレベルのアノテーションに依存します。 本稿では,直感的かつ統一的な半教師付きモデルを提案する。
  論文  参考訳（メタデータ） (2020-06-12T22:45:47Z)
• Generalized Canonical Correlation Analysis: A Subspace Intersection Approach [30.475159163815505]
  Generalized Canonical correlation Analysis (GCCA)は、データマイニング、機械学習、人工知能に多くの応用を見出す重要なツールである。 本稿では,GCCAの本質を自然に捉えた(双線形)生成モデルに基づく,GCCAの新たな代数的視点を提供する。 大規模GCCAタスクを処理するためにスケールアップする部分空間交叉に基づく新しいGCCAアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-03-25T04:04:25Z)
• Unshuffling Data for Improved Generalization [65.57124325257409]
  トレーニングディストリビューションを越えた一般化は、マシンラーニングにおける中核的な課題である。 本研究では,複数の学習環境として扱われる非d.d.サブセットにデータを分割することで,アウト・オブ・ディストリビューションの一般化を向上したモデル学習を導出できることを示す。
  論文  参考訳（メタデータ） (2020-02-27T03:07:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。