論文の概要: ONG: Orthogonal Natural Gradient Descent

• arxiv url: http://arxiv.org/abs/2508.17169v2
• Date: Sun, 31 Aug 2025 04:34:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-03 12:29:36.772054
• Title: ONG: Orthogonal Natural Gradient Descent
• Title（参考訳）: OnG: 直交自然グラディエント染料
• Authors: Yajat Yadav, Patrick Mendoza, Jathin Korrapati,
• Abstract要約: 直交自然勾配Descent (ONG) アルゴリズムを導入する。 ONGは、逆フィッシャー情報行列の効率的なEKFAC近似を用いて、それぞれ新しいタスク固有勾配を規定する。 以前に学習したタスクのパフォーマンスを維持するため、ONGはこれらの自然な勾配を以前のタスクの勾配を補完するものとして提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Orthogonal Gradient Descent (OGD) has emerged as a powerful method for continual learning. However, its Euclidean projections do not leverage the underlying information-geometric structure of the problem, which can lead to suboptimal convergence in learning tasks. To address this, we propose incorporating the natural gradient into OGD and present \textbf{ONG (Orthogonal Natural Gradient Descent)}. ONG preconditions each new task-specific gradient with an efficient EKFAC approximation of the inverse Fisher information matrix, yielding updates that follow the steepest descent direction under a Riemannian metric. To preserve performance on previously learned tasks, ONG projects these natural gradients onto the orthogonal complement of prior tasks' gradients. We provide an initial theoretical justification for this procedure, introduce the Orthogonal Natural Gradient Descent (ONG) algorithm, and present preliminary results on the Permuted and Rotated MNIST benchmarks. Our preliminary results, however, indicate that a naive combination of natural gradients and orthogonal projections can have potential issues. This finding motivates continued future work focused on robustly reconciling these geometric perspectives to develop a continual learning method, establishing a more rigorous theoretical foundation with formal convergence guarantees, and extending empirical validation to large-scale continual learning benchmarks. The anonymized version of our code can be found as the zip file here: https://drive.google.com/drive/folders/11PyU6M8pNgOUB5pwdGORtbnMtD8Shiw_?usp=sharing.
• Abstract（参考訳）: OGD(Orthogonal Gradient Descent)は、継続的な学習の強力な方法として登場した。 しかしながら、ユークリッド射影は、問題の根底にある情報幾何学的構造を活用せず、学習タスクにおける最適下限収束をもたらす可能性がある。 これを解決するために、自然勾配をOGDに組み入れ、現在 \textbf{ONG (Orthogonal Natural Gradient Descent)} を提案する。 ONGは、逆フィッシャー情報行列の効率的なEKFAC近似を用いて、それぞれ新しいタスク固有勾配を前提条件とし、リーマン計量の下で最も急降下方向に従う更新を生成する。 以前に学習したタスクのパフォーマンスを維持するため、ONGはこれらの自然な勾配を以前のタスクの勾配の直交的な補完に向けている。 本手法の最初の理論的正当性を示し, 直交自然勾配Descent (ONG) アルゴリズムを導入し, 可変および回転MNISTベンチマークの予備結果を示す。 しかし、予備的な結果は、自然勾配と直交射影の単純な組み合わせが潜在的な問題を引き起こす可能性を示唆している。 この発見の動機は、これらの幾何学的視点を堅牢に整合させて連続的な学習法を開発し、形式的な収束を保証するより厳密な理論基盤を確立し、大規模な連続的な学習ベンチマークに実証的検証を拡張することに集中することであった。 コードの匿名化バージョンは、次のようにzipファイルとして見ることができる。 https://drive.google.com/drive/folders/11PyU6M8pNgOUB5pdGORtbnMtD8Shiw_? usp=共有。

関連論文リスト

• Neural Gradient Learning and Optimization for Oriented Point Normal Estimation [53.611206368815125]
  本研究では,3次元点雲から勾配ベクトルを一貫した向きで学習し,正規推定を行うためのディープラーニング手法を提案する。 局所平面幾何に基づいて角距離場を学習し、粗勾配ベクトルを洗練する。 本手法は,局所特徴記述の精度と能力の一般化を図りながら,グローバル勾配近似を効率的に行う。
  論文  参考訳（メタデータ） (2023-09-17T08:35:11Z)
• DoWG Unleashed: An Efficient Universal Parameter-Free Gradient Descent Method [31.891933360081342]
  我々は、DWGが最適に効率的であることを証明し、凸最適化における調整勾配勾配の収束率をパラメータを調整せずに対数係数に一致させ、普遍的であることを示した。 DoWGはランニング平均の新しい距離ベース重み付きバージョンを維持しており、これは所望の特性を達成するために不可欠である。 本理論を補完するため,DoWGは安定性の限界に到達し,実践的な機械学習タスクにおけるその有効性を検証することを実証的に示す。
  論文  参考訳（メタデータ） (2023-05-25T17:40:43Z)
• Achieving High Accuracy with PINNs via Energy Natural Gradients [0.0]
  エネルギー自然勾配から生じる関数空間の更新方向は、モデルの接空間への射影をニュートン方向変調する。 エネルギー自然勾配降下法は,標準勾配降下法あるいはアダム法を用いてPINNを訓練する際に得られるものよりも数桁小さい誤差で高精度な解が得られることを示した。
  論文  参考訳（メタデータ） (2023-02-25T21:17:19Z)
• RawlsGCN: Towards Rawlsian Difference Principle on Graph Convolutional Network [102.27090022283208]
  グラフ畳み込みネットワーク(GCN)は多くの現実世界のアプリケーションにおいて重要な役割を担っている。 GCNはしばしばノードの次数に対する性能の相違を示し、結果として低次ノードの予測精度が悪化する。 我々は、Rawlsian差分原理の観点から、GCNの次数関連性能格差を緩和する問題を定式化する。
  論文  参考訳（メタデータ） (2022-02-28T05:07:57Z)
• Natural continual learning: success is a journey, not (just) a destination [9.462808515258464]
  自然継続学習(NCL)は、重み付け正規化と射影勾配降下を統一する新しい手法である。 提案手法は,RNNにおける連続学習問題に適用した場合,標準重み付け正規化手法とプロジェクションベースアプローチの両方に優れる。 トレーニングされたネットワークは、生体回路の実験的な発見と同様に、新しいタスクが学習されると強く保存されるタスク固有ダイナミクスを進化させる。
  論文  参考訳（メタデータ） (2021-06-15T12:24:53Z)
• Efficient Semi-Implicit Variational Inference [65.07058307271329]
  効率的でスケーラブルな半単純外挿 (SIVI) を提案する。 本手法はSIVIの証拠を低勾配値の厳密な推測にマッピングする。
  論文  参考訳（メタデータ） (2021-01-15T11:39:09Z)
• Sinkhorn Natural Gradient for Generative Models [125.89871274202439]
  本研究では,シンクホーンの発散による確率空間上の最も急降下法として機能するシンクホーン自然勾配(SiNG)アルゴリズムを提案する。 本稿では,SiNG の主要成分であるシンクホーン情報行列 (SIM) が明示的な表現を持ち,対数的スケールの複雑さを正確に評価できることを示す。 本実験では,SiNGと最先端のSGD型解法を定量的に比較し,その有効性と有効性を示す。
  論文  参考訳（メタデータ） (2020-11-09T02:51:17Z)
• Cogradient Descent for Bilinear Optimization [124.45816011848096]
  双線形問題に対処するために、CoGDアルゴリズム(Cogradient Descent Algorithm)を導入する。 一方の変数は、他方の変数との結合関係を考慮し、同期勾配降下をもたらす。 本アルゴリズムは,空間的制約下での1変数の問題を解くために応用される。
  論文  参考訳（メタデータ） (2020-06-16T13:41:54Z)
• Towards Better Understanding of Adaptive Gradient Algorithms in Generative Adversarial Nets [71.05306664267832]
  適応アルゴリズムは勾配の歴史を用いて勾配を更新し、深層ニューラルネットワークのトレーニングにおいてユビキタスである。 本稿では,非コンケーブ最小値問題に対するOptimisticOAアルゴリズムの変種を解析する。 実験の結果,適応型GAN非適応勾配アルゴリズムは経験的に観測可能であることがわかった。
  論文  参考訳（メタデータ） (2019-12-26T22:10:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。