論文の概要: Learning Equi-angular Representations for Online Continual Learning

• arxiv url: http://arxiv.org/abs/2404.01628v1
• Date: Tue, 2 Apr 2024 04:29:01 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-03 17:58:09.522839
• Title: Learning Equi-angular Representations for Online Continual Learning
• Title（参考訳）: オンライン連続学習のための等角表現の学習
• Authors: Minhyuk Seo, Hyunseo Koh, Wonje Jeung, Minjae Lee, San Kim, Hankook Lee, Sungjun Cho, Sungik Choi, Hyunwoo Kim, Jonghyun Choi,
• Abstract要約: 特に, 神経崩壊を誘発し, 表現空間に単純な等角的タイトフレーム(ETF)構造を形成する。 提案手法は,様々なオンライン連続学習シナリオにおいて,最先端の手法よりも顕著に優れていることを示す。
• 参考スコア（独自算出の注目度）: 28.047867978274358
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Online continual learning suffers from an underfitted solution due to insufficient training for prompt model update (e.g., single-epoch training). To address the challenge, we propose an efficient online continual learning method using the neural collapse phenomenon. In particular, we induce neural collapse to form a simplex equiangular tight frame (ETF) structure in the representation space so that the continuously learned model with a single epoch can better fit to the streamed data by proposing preparatory data training and residual correction in the representation space. With an extensive set of empirical validations using CIFAR-10/100, TinyImageNet, ImageNet-200, and ImageNet-1K, we show that our proposed method outperforms state-of-the-art methods by a noticeable margin in various online continual learning scenarios such as disjoint and Gaussian scheduled continuous (i.e., boundary-free) data setups.
• Abstract（参考訳）: オンライン連続学習は、プロンプトモデル更新(例えば、シングルエポックトレーニング)のトレーニングが不十分なため、不適合なソリューションに悩まされる。 この課題に対処するために,ニューラル崩壊現象を用いた効率的なオンライン連続学習手法を提案する。 特に,1つのエポックを持つ連続学習モデルが,表現空間における予備データトレーニングと残差補正を提案してストリームデータに適合するように,表現空間に単純な等角的タイトフレーム(ETF)構造を形成するように神経崩壊を誘導する。 CIFAR-10/100, TinyImageNet, ImageNet-200, ImageNet-1K を用いた実験的な検証により, 提案手法は, 分割やガウス的連続(境界のない)データ設定などのオンライン連続学習シナリオにおいて, 最先端の手法よりも顕著に優れていることを示す。

関連論文リスト

• Adversarial Robustification via Text-to-Image Diffusion Models [56.37291240867549]
  アドリラルロバスト性は、ニューラルネットワークをエンコードする難しい性質として伝統的に信じられてきた。 データを使わずに敵の堅牢性を実現するために,スケーラブルでモデルに依存しないソリューションを開発した。
  論文  参考訳（メタデータ） (2024-07-26T10:49:14Z)
• EfficientTrain++: Generalized Curriculum Learning for Efficient Visual Backbone Training [79.96741042766524]
  訓練カリキュラムをソフトセレクション機能として再構築する。 自然画像の内容の露光は,データ拡張の強度によって容易に達成できることを示す。 結果のメソッドであるEfficientTrain++は単純で汎用的だが驚くほど効果的である。
  論文  参考訳（メタデータ） (2024-05-14T17:00:43Z)
• Random Representations Outperform Online Continually Learned Representations [68.42776779425978]
  既存のオンライン学習深層ネットワークは、単純な事前定義されたランダム変換に比べて劣った表現を生成することを示す。 我々の手法はRanDumbと呼ばれ、あらゆるオンライン連続学習ベンチマークにおいて、最先端の学習表現を著しく上回っている。 本研究は, 表現学習の大きな限界, 特に低経験, オンライン連続学習のシナリオについて明らかにした。
  論文  参考訳（メタデータ） (2024-02-13T22:07:29Z)
• Learn to Unlearn for Deep Neural Networks: Minimizing Unlearning Interference with Gradient Projection [56.292071534857946]
  最近のデータプライバシ法は、機械学習への関心を喚起している。 課題は、残りのデータセットに関する知識を変更することなく、忘れたデータに関する情報を捨てることである。 我々は、プロジェクテッド・グラディエント・アンラーニング(PGU)という、プロジェクテッド・グラディエント・ベースの学習手法を採用する。 トレーニングデータセットがもはやアクセスできない場合でも、スクラッチからスクラッチで再トレーニングされたモデルと同じような振る舞いをするモデルを、我々のアンラーニング手法が生成できることを実証するための実証的な証拠を提供する。
  論文  参考訳（メタデータ） (2023-12-07T07:17:24Z)
• On-the-Fly Guidance Training for Medical Image Registration [14.309599960641242]
  本研究は,既存の学習ベース画像登録モデルを改善するための新しいトレーニングフレームワークであるOn-the-Fly Guidance(OFG)を紹介する。 本手法では,ラベル付きデータを必要としない登録モデルをトレーニングするための教師付き手法を提案する。 提案手法は,複数のベンチマークデータセットおよび先行モデルでテストされ,性能が大幅に向上した。
  論文  参考訳（メタデータ） (2023-08-29T11:12:53Z)
• Continual Vision-Language Representation Learning with Off-Diagonal Information [112.39419069447902]
  CLIPのようなマルチモーダルなコントラスト学習フレームワークは通常、トレーニングに大量の画像テキストサンプルを必要とする。 本稿では,ストリーミングデータを用いた連続CLIPトレーニングの実現可能性について論じる。
  論文  参考訳（メタデータ） (2023-05-11T08:04:46Z)
• DLCFT: Deep Linear Continual Fine-Tuning for General Incremental Learning [29.80680408934347]
  事前学習した表現からモデルを連続的に微調整するインクリメンタルラーニングのための代替フレームワークを提案する。 本手法は, ニューラルネットワークの線形化手法を利用して, 単純かつ効果的な連続学習を行う。 本手法は,データ増分,タスク増分およびクラス増分学習問題において,一般的な連続学習設定に適用可能であることを示す。
  論文  参考訳（メタデータ） (2022-08-17T06:58:14Z)
• Continual Learning with Guarantees via Weight Interval Constraints [18.791232422083265]
  ニューラルネットパラメータ空間の間隔制約を適用して、忘れを抑える新しいトレーニングパラダイムを導入する。 本稿では,モデルの連続的学習をパラメータ空間の連続的縮約として再構成することで,忘れることに制限を加える方法を示す。
  論文  参考訳（メタデータ） (2022-06-16T08:28:37Z)
• Improving the Accuracy of Early Exits in Multi-Exit Architectures via Curriculum Learning [88.17413955380262]
  マルチエクイットアーキテクチャにより、ディープニューラルネットワークは、正確なコストで厳密な期限に従うために、実行を早期に終了することができる。 カリキュラム学習を活用したマルチエクジットカリキュラム学習という新しい手法を紹介します。 本手法は, 標準訓練手法と比較して, 早期終了の精度を一貫して向上させる。
  論文  参考訳（メタデータ） (2021-04-21T11:12:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。