論文の概要: Natural Gradient Descent for Online Continual Learning

• arxiv url: http://arxiv.org/abs/2603.20898v1
• Date: Sat, 21 Mar 2026 18:08:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-24 19:11:39.140659
• Title: Natural Gradient Descent for Online Continual Learning
• Title（参考訳）: オンライン連続学習のための自然なグラディエントDescent
• Authors: Joe Khawand, David Colliaux,
• Abstract要約: 画像分類のためのオンライン連続学習(OCL)は、連続学習の挑戦的なサブセットである。 この文脈における最大の課題は、それまでのタスクにおけるモデルのパフォーマンスが、新しいタスクを学ぶと劣化する、破滅的な忘れを防止することである。 我々は、Kronecker Approximate Curvature (KFAC)によるFisher Information Matrix (FIM)の近似を取り入れて、Natural Gradient Descentを利用したOCLモデルのトレーニング手法を導入する。
• 参考スコア（独自算出の注目度）: 0.8602553195689513
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Online Continual Learning (OCL) for image classification represents a challenging subset of Continual Learning, focusing on classifying images from a stream without assuming data independence and identical distribution (i.i.d). The primary challenge in this context is to prevent catastrophic forgetting, where the model's performance on previous tasks deteriorates as it learns new ones. Although various strategies have been proposed to address this issue, achieving rapid convergence remains a significant challenge in the online setting. In this work, we introduce a novel approach to training OCL models that utilizes the Natural Gradient Descent optimizer, incorporating an approximation of the Fisher Information Matrix (FIM) through Kronecker Factored Approximate Curvature (KFAC). This method demonstrates substantial improvements in performance across all OCL methods, particularly when combined with existing OCL tricks, on datasets such as Split CIFAR-100, CORE50, and Split miniImageNet.
• Abstract（参考訳）: 画像分類のためのオンライン連続学習(OCL)は連続学習の挑戦的なサブセットであり、データの独立性と同一分布(すなわちd)を仮定することなく、ストリームから画像を分類することに焦点を当てている。 この文脈における最大の課題は、それまでのタスクにおけるモデルのパフォーマンスが、新しいタスクを学ぶと劣化する、破滅的な忘れを防止することである。 この問題に対処するために様々な戦略が提案されているが、迅速な収束を達成することは、オンライン環境において重要な課題である。 そこで本研究では,Kronecker Factored Approximate Curvature (KFAC) によるFisher Information Matrix (FIM) の近似を取り入れ,Natural Gradient Descent Optimizationr を利用したOCLモデルのトレーニング手法を提案する。 この方法は、特に既存のOCLトリックと組み合わせて、Split CIFAR-100、CORE50、Split mini ImageNetなどのデータセット上で、すべてのOCLメソッドのパフォーマンスが大幅に改善されたことを示す。

関連論文リスト

• Unbiased Online Curvature Approximation for Regularized Graph Continual Learning [9.70311578832594]
  グラフ連続学習(GCL)は、グラフベースのタスクの連続的なシーケンスから学習することを目的としている。 規則化法はGCLの破滅的な忘れ込みを防ぐのに不可欠である。 本稿では,モデルの現在の学習状況に基づいて,フルフィッシャー情報行列(FIM)の非バイアスオンライン曲率近似を提案する。
  論文  参考訳（メタデータ） (2025-09-16T06:35:13Z)
• Distill CLIP (DCLIP): Enhancing Image-Text Retrieval via Cross-Modal Transformer Distillation [4.063715077687089]
  Distill CLIP (DCLIP) はCLIPモデルの微調整版である。 オリジナルのモデルの強力なゼロショット分類機能を保ちながら、マルチモーダルな画像テキスト検索を強化する。
  論文  参考訳（メタデータ） (2025-05-25T07:08:07Z)
• DeeCLIP: A Robust and Generalizable Transformer-Based Framework for Detecting AI-Generated Images [14.448350657613368]
  DeeCLIPはAI生成画像を検出するための新しいフレームワークである。 DeeFuserは、高レベルと低レベルの機能を組み合わせたフュージョンモジュールである。 4クラスのProGANデータのみをトレーニングし,平均精度は89.90%に達した。
  論文  参考訳（メタデータ） (2025-04-28T15:06:28Z)
• ECLIPSE: Efficient Continual Learning in Panoptic Segmentation with Visual Prompt Tuning [54.68180752416519]
  パノプティカルセグメンテーション(英: Panoptic segmentation)は、コンピュータビジョンの最先端タスクである。 ECLIPSE と呼ばれる Visual Prompt Tuning をベースとした,新規で効率的なパノプティカルセグメンテーション手法を提案する。 我々のアプローチは、基本モデルのパラメータを凍結し、小さなプロンプト埋め込みだけを微調整することであり、破滅的な忘れ物と塑性の両方に対処する。
  論文  参考訳（メタデータ） (2024-03-29T11:31:12Z)
• Dynamic Sub-graph Distillation for Robust Semi-supervised Continual Learning [47.64252639582435]
  半教師付き連続学習(SSCL)に焦点をあて、そのモデルが未知のカテゴリを持つ部分ラベル付きデータから徐々に学習する。 半教師付き連続学習のための動的サブグラフ蒸留法(DSGD)を提案する。
  論文  参考訳（メタデータ） (2023-12-27T04:40:12Z)
• SLCA: Slow Learner with Classifier Alignment for Continual Learning on a Pre-trained Model [73.80068155830708]
  予備学習モデル(CLPM)を用いた連続学習のための広範囲な解析法を提案する。 Slow Learner with Alignment (SLCA) というシンプルなアプローチを提案する。 さまざまなシナリオにおいて、私たちの提案はCLPMの大幅な改善を提供します。
  論文  参考訳（メタデータ） (2023-03-09T08:57:01Z)
• Mitigating Forgetting in Online Continual Learning via Contrasting Semantically Distinct Augmentations [22.289830907729705]
  オンライン連続学習(OCL)は、非定常データストリームからモデル学習を可能とし、新たな知識を継続的に獲得し、学習した知識を維持することを目的としている。 主な課題は、"破滅的な忘れる"問題、すなわち、新しい知識を学習しながら学習した知識を十分に記憶できないことにある。
  論文  参考訳（メタデータ） (2022-11-10T05:29:43Z)
• Learning Deep Representations via Contrastive Learning for Instance Retrieval [11.736450745549792]
  本稿では、インスタンス識別に基づくコントラスト学習(CL)を用いて、この問題に取り組むための最初の試みを行う。 本研究では、事前学習されたCLモデルと微調整されたCLモデルから識別表現を導出する能力を探求することにより、この問題に対処する。
  論文  参考訳（メタデータ） (2022-09-28T04:36:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。