論文の概要: Fisher-Orthogonal Projected Natural Gradient Descent for Continual Learning

• arxiv url: http://arxiv.org/abs/2601.12816v1
• Date: Mon, 19 Jan 2026 08:23:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-21 22:47:22.807375
• Title: Fisher-Orthogonal Projected Natural Gradient Descent for Continual Learning
• Title（参考訳）: 連続学習のための水産直交予測自然勾配日射
• Authors: Ishir Garg, Neel Kolhe, Andy Peng, Rohan Gopalam,
• Abstract要約: 我々はFOPNG(Fisher-Orthogonal Projected Natural Gradient Descent)を提案する。 FOPNGは、新しいタスクを学習しながら古いタスクパフォーマンスを維持するために、パラメータ更新に対するFisher-orthogonalの制約を強制する。 我々は,Permuted-MNIST, Split-MNIST, Rotated-MNIST, Split-CIFAR10, Split-CIFAR100などの標準連続学習ベンチマークにおいて,強力な結果を示した。
• 参考スコア（独自算出の注目度）: 0.6999740786886536
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Continual learning aims to enable neural networks to acquire new knowledge on sequential tasks. However, the key challenge in such settings is to learn new tasks without catastrophically forgetting previously learned tasks. We propose the Fisher-Orthogonal Projected Natural Gradient Descent (FOPNG) optimizer, which enforces Fisher-orthogonal constraints on parameter updates to preserve old task performance while learning new tasks. Unlike existing methods that operate in Euclidean parameter space, FOPNG projects gradients onto the Fisher-orthogonal complement of previous task gradients. This approach unifies natural gradient descent with orthogonal gradient methods within an information-geometric framework. The resulting update direction is invariant under reparameterization, guarantees descent in the Fisher metric, and helps preserve prior task outputs. We provide theoretical analysis establishing the properties of the projected update, describe efficient and practical implementations using the diagonal Fisher, and demonstrate strong results on standard continual learning benchmarks such as Permuted-MNIST, Split-MNIST, Rotated-MNIST, Split-CIFAR10, and Split-CIFAR100.
• Abstract（参考訳）: 連続学習は、ニューラルネットワークがシーケンシャルなタスクに関する新しい知識を獲得できるようにすることを目的としている。 しかし、そのような設定の鍵となる課題は、これまで学んだタスクを忘れずに新しいタスクを学習することである。 本稿では,FOPNG(Fisher-Orthogonal Projected Natural Gradient Descent)オプティマイザを提案する。 ユークリッドパラメータ空間で作用する既存の方法とは異なり、FOPNGは以前のタスク勾配のフィッシャー-直交補集合に勾配を計画する。 このアプローチは、情報幾何学的枠組みの中で直交勾配法と自然な勾配勾配を統一する。 結果として得られた更新方向は、再パラメータ化の下で不変であり、フィッシャー計量の降下を保証し、以前のタスク出力を保存するのに役立つ。 本稿では,予測更新の特性を確立した理論的解析を行い,対角的フィッシャーを用いた効率的かつ実用的な実装を記述し,Permuted-MNIST, Split-MNIST, Rotated-MNIST, Split-CIFAR10, Split-CIFAR100などの標準連続学習ベンチマークで強い結果を示す。

関連論文リスト

• Efficient Continual Learning in Neural Machine Translation: A Low-Rank Adaptation Approach [0.4870012761464388]
  ニューラルネットワーク翻訳(NMT)における継続的な学習は、破滅的な忘れ込みと、再訓練の計算コストの増大という2つの課題に直面している。 本研究は,これらの課題に対処するためのパラメータ効率の高いフレームワークとしてローランド適応(LoRA)を確立する。
  論文  参考訳（メタデータ） (2025-12-10T18:37:57Z)
• ONG: Orthogonal Natural Gradient Descent [0.0]
  直交自然勾配Descent (ONG) アルゴリズムを導入する。 ONGは、逆フィッシャー情報行列の効率的なEKFAC近似を用いて、それぞれ新しいタスク固有勾配を規定する。 以前に学習したタスクのパフォーマンスを維持するため、ONGはこれらの自然な勾配を以前のタスクの勾配を補完するものとして提案する。
  論文  参考訳（メタデータ） (2025-08-24T00:27:23Z)
• Orthogonal Projection Subspace to Aggregate Online Prior-knowledge for Continual Test-time Adaptation [67.80294336559574]
  連続テスト時間適応(CTTA)は、新しいシナリオに継続的に適応するために、ソース事前訓練されたモデルを必要とするタスクである。 我々は、OoPkと呼ばれるオンライン事前知識を集約する新しいパイプラインOrthogonal Projection Subspaceを提案する。
  論文  参考訳（メタデータ） (2025-06-23T18:17:39Z)
• Enhancing Robustness of Vision-Language Models through Orthogonality Learning and Self-Regularization [77.62516752323207]
  そこで本研究では,事前訓練した重みを効率よく微調整する直交微調整法を導入し,頑健さと一般化の強化を実現した。 自己正規化戦略は、OrthSRと呼ばれるVLMのゼロショット一般化の観点から安定性を維持するためにさらに活用される。 筆者らはCLIPとCoOpを再検討し,少数の画像のクラスフィシエーションシナリオにおけるモデルの改善を効果的に行う。
  論文  参考訳（メタデータ） (2024-07-11T10:35:53Z)
• Towards Continual Learning Desiderata via HSIC-Bottleneck Orthogonalization and Equiangular Embedding [55.107555305760954]
  本稿では,レイヤワイドパラメータのオーバーライトや決定境界の歪みに起因する,概念的にシンプルで効果的な手法を提案する。 提案手法は,ゼロの指数バッファと1.02倍の差が絶対的に優れていても,競争精度が向上する。
  論文  参考訳（メタデータ） (2024-01-17T09:01:29Z)
• Continual Learning via Sequential Function-Space Variational Inference [65.96686740015902]
  連続学習を逐次関数空間変動推論として定式化した目的を提案する。 ニューラルネットワークの予測を直接正規化する目的と比較して、提案した目的はより柔軟な変動分布を可能にする。 タスクシーケンスの範囲で、逐次関数空間変動推論によってトレーニングされたニューラルネットワークは、関連する手法でトレーニングされたネットワークよりも予測精度が良いことを実証した。
  論文  参考訳（メタデータ） (2023-12-28T18:44:32Z)
• Continual Learning with Scaled Gradient Projection [8.847574864259391]
  ニューラルネットワークでは、連続学習はシーケンシャルタスク間の勾配干渉を引き起こし、新しいタスクを学習しながら古いタスクを忘れてしまう。 本稿では,忘れを最小化しつつ,新しい学習を改善するためのスケールドグラディエント・プロジェクション(SGP)手法を提案する。 画像の連続的分類から強化学習タスクまでに及ぶ実験を行い、最先端の手法よりも訓練オーバーヘッドの少ない性能を報告した。
  論文  参考訳（メタデータ） (2023-02-02T19:46:39Z)
• Natural continual learning: success is a journey, not (just) a destination [9.462808515258464]
  自然継続学習(NCL)は、重み付け正規化と射影勾配降下を統一する新しい手法である。 提案手法は,RNNにおける連続学習問題に適用した場合,標準重み付け正規化手法とプロジェクションベースアプローチの両方に優れる。 トレーニングされたネットワークは、生体回路の実験的な発見と同様に、新しいタスクが学習されると強く保存されるタスク固有ダイナミクスを進化させる。
  論文  参考訳（メタデータ） (2021-06-15T12:24:53Z)
• AdaS: Adaptive Scheduling of Stochastic Gradients [50.80697760166045]
  我々は、textit "knowledge gain" と textit "mapping condition" の概念を導入し、Adaptive Scheduling (AdaS) と呼ばれる新しいアルゴリズムを提案する。 実験によると、AdaSは派生した指標を用いて、既存の適応学習手法よりも高速な収束と優れた一般化、そして(b)いつトレーニングを中止するかを決定するための検証セットへの依存の欠如を示す。
  論文  参考訳（メタデータ） (2020-06-11T16:36:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。