論文の概要: Natural Gradient Descent for Online Continual Learning

• arxiv url: http://arxiv.org/abs/2603.20898v1
• Date: Sat, 21 Mar 2026 18:08:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-24 19:11:39.140659
• Title: Natural Gradient Descent for Online Continual Learning
• Title（参考訳）: オンライン連続学習のための自然なグラディエントDescent
• Abstract要約: 画像分類のためのオンライン連続学習(OCL)は、連続学習の挑戦的なサブセットである。 この文脈における最大の課題は、それまでのタスクにおけるモデルのパフォーマンスが、新しいタスクを学ぶと劣化する、破滅的な忘れを防止することである。 我々は、Kronecker Approximate Curvature (KFAC)によるFisher Information Matrix (FIM)の近似を取り入れて、Natural Gradient Descentを利用したOCLモデルのトレーニング手法を導入する。
• 参考スコア（独自算出の注目度）: 0.8602553195689513
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Online Continual Learning (OCL) for image classification represents a challenging subset of Continual Learning, focusing on classifying images from a stream without assuming data independence and identical distribution (i.i.d). The primary challenge in this context is to prevent catastrophic forgetting, where the model's performance on previous tasks deteriorates as it learns new ones. Although various strategies have been proposed to address this issue, achieving rapid convergence remains a significant challenge in the online setting. In this work, we introduce a novel approach to training OCL models that utilizes the Natural Gradient Descent optimizer, incorporating an approximation of the Fisher Information Matrix (FIM) through Kronecker Factored Approximate Curvature (KFAC). This method demonstrates substantial improvements in performance across all OCL methods, particularly when combined with existing OCL tricks, on datasets such as Split CIFAR-100, CORE50, and Split miniImageNet.
• Abstract（参考訳）: 画像分類のためのオンライン連続学習(OCL)は連続学習の挑戦的なサブセットであり、データの独立性と同一分布(すなわちd)を仮定することなく、ストリームから画像を分類することに焦点を当てている。 この文脈における最大の課題は、それまでのタスクにおけるモデルのパフォーマンスが、新しいタスクを学ぶと劣化する、破滅的な忘れを防止することである。 この問題に対処するために様々な戦略が提案されているが、迅速な収束を達成することは、オンライン環境において重要な課題である。 そこで本研究では,Kronecker Factored Approximate Curvature (KFAC) によるFisher Information Matrix (FIM) の近似を取り入れ,Natural Gradient Descent Optimizationr を利用したOCLモデルのトレーニング手法を提案する。 この方法は、特に既存のOCLトリックと組み合わせて、Split CIFAR-100、CORE50、Split mini ImageNetなどのデータセット上で、すべてのOCLメソッドのパフォーマンスが大幅に改善されたことを示す。

関連論文リスト

• Preserving Cross-Modal Consistency for CLIP-based Class-Incremental Learning [77.82901519692378]
  クラスインクリメンタルラーニング(CIL)は、モデルが獲得した知識を忘れることなく、シーケンシャルなタスクから新しいカテゴリを継続的に学習することを可能にする。 視覚エンコーダの適応とテキストソフトプロンプトの最適化を分離するCLIPベースのCILのための2段階フレームワークであるDMCを提案する。 CIFAR-100, Imagenet-R, CUB-200, UCF-101 の大規模な実験により, DMC と DMC-OT の両者が最先端の性能を発揮することが示された。
  論文  参考訳（メタデータ） (2025-11-14T05:36:36Z)
• Unbiased Online Curvature Approximation for Regularized Graph Continual Learning [9.70311578832594]
  グラフ連続学習(GCL)は、グラフベースのタスクの連続的なシーケンスから学習することを目的としている。 規則化法はGCLの破滅的な忘れ込みを防ぐのに不可欠である。 本稿では,モデルの現在の学習状況に基づいて,フルフィッシャー情報行列(FIM)の非バイアスオンライン曲率近似を提案する。
  論文  参考訳（メタデータ） (2025-09-16T06:35:13Z)
• Distill CLIP (DCLIP): Enhancing Image-Text Retrieval via Cross-Modal Transformer Distillation [4.063715077687089]
  Distill CLIP (DCLIP) はCLIPモデルの微調整版である。 オリジナルのモデルの強力なゼロショット分類機能を保ちながら、マルチモーダルな画像テキスト検索を強化する。
  論文  参考訳（メタデータ） (2025-05-25T07:08:07Z)
• AmorLIP: Efficient Language-Image Pretraining via Amortization [52.533088120633785]
  Contrastive Language-Image Pretraining (CLIP) は、様々な下流のテキストイメージタスクにまたがる強力なゼロショット性能を示している。 軽量ニューラルネットワークによるコントラスト学習に関わる高価な計算を記憶する,効率的なCLIP事前学習フレームワークであるAmorLIPを提案する。
  論文  参考訳（メタデータ） (2025-05-25T05:30:37Z)
• DeeCLIP: A Robust and Generalizable Transformer-Based Framework for Detecting AI-Generated Images [14.448350657613368]
  DeeCLIPはAI生成画像を検出するための新しいフレームワークである。 DeeFuserは、高レベルと低レベルの機能を組み合わせたフュージョンモジュールである。 4クラスのProGANデータのみをトレーニングし,平均精度は89.90%に達した。
  論文  参考訳（メタデータ） (2025-04-28T15:06:28Z)
• Enhancing Robustness of Vision-Language Models through Orthogonality Learning and Self-Regularization [77.62516752323207]
  そこで本研究では,事前訓練した重みを効率よく微調整する直交微調整法を導入し,頑健さと一般化の強化を実現した。 自己正規化戦略は、OrthSRと呼ばれるVLMのゼロショット一般化の観点から安定性を維持するためにさらに活用される。 筆者らはCLIPとCoOpを再検討し,少数の画像のクラスフィシエーションシナリオにおけるモデルの改善を効果的に行う。
  論文  参考訳（メタデータ） (2024-07-11T10:35:53Z)
• ECLIPSE: Efficient Continual Learning in Panoptic Segmentation with Visual Prompt Tuning [54.68180752416519]
  パノプティカルセグメンテーション(英: Panoptic segmentation)は、コンピュータビジョンの最先端タスクである。 ECLIPSE と呼ばれる Visual Prompt Tuning をベースとした,新規で効率的なパノプティカルセグメンテーション手法を提案する。 我々のアプローチは、基本モデルのパラメータを凍結し、小さなプロンプト埋め込みだけを微調整することであり、破滅的な忘れ物と塑性の両方に対処する。
  論文  参考訳（メタデータ） (2024-03-29T11:31:12Z)
• Dynamic Sub-graph Distillation for Robust Semi-supervised Continual Learning [47.64252639582435]
  半教師付き連続学習(SSCL)に焦点をあて、そのモデルが未知のカテゴリを持つ部分ラベル付きデータから徐々に学習する。 半教師付き連続学習のための動的サブグラフ蒸留法(DSGD)を提案する。
  論文  参考訳（メタデータ） (2023-12-27T04:40:12Z)
• RanPAC: Random Projections and Pre-trained Models for Continual Learning [59.07316955610658]
  継続学習(CL)は、古いタスクを忘れずに、非定常データストリームで異なるタスク(分類など)を学習することを目的としている。 本稿では,事前学習モデルを用いたCLの簡潔かつ効果的なアプローチを提案する。
  論文  参考訳（メタデータ） (2023-07-05T12:49:02Z)
• SLCA: Slow Learner with Classifier Alignment for Continual Learning on a Pre-trained Model [73.80068155830708]
  予備学習モデル(CLPM)を用いた連続学習のための広範囲な解析法を提案する。 Slow Learner with Alignment (SLCA) というシンプルなアプローチを提案する。 さまざまなシナリオにおいて、私たちの提案はCLPMの大幅な改善を提供します。
  論文  参考訳（メタデータ） (2023-03-09T08:57:01Z)
• Mitigating Forgetting in Online Continual Learning via Contrasting Semantically Distinct Augmentations [22.289830907729705]
  オンライン連続学習(OCL)は、非定常データストリームからモデル学習を可能とし、新たな知識を継続的に獲得し、学習した知識を維持することを目的としている。 主な課題は、"破滅的な忘れる"問題、すなわち、新しい知識を学習しながら学習した知識を十分に記憶できないことにある。
  論文  参考訳（メタデータ） (2022-11-10T05:29:43Z)
• Learning Deep Representations via Contrastive Learning for Instance Retrieval [11.736450745549792]
  本稿では、インスタンス識別に基づくコントラスト学習(CL)を用いて、この問題に取り組むための最初の試みを行う。 本研究では、事前学習されたCLモデルと微調整されたCLモデルから識別表現を導出する能力を探求することにより、この問題に対処する。
  論文  参考訳（メタデータ） (2022-09-28T04:36:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。