論文の概要: ONG: Orthogonal Natural Gradient Descent

• arxiv url: http://arxiv.org/abs/2508.17169v1
• Date: Sun, 24 Aug 2025 00:27:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-26 18:43:45.381508
• Title: ONG: Orthogonal Natural Gradient Descent
• Title（参考訳）: OnG: 直交自然グラディエント染料
• Authors: Yajat Yadav, Jathin Korrapati, Patrick Mendoza,
• Abstract要約: OnG (Orthogonal Natural Gradient Descent) について紹介する。 ONGは、逆フィッシャー情報行列の効率的なEKFAC近似を用いて、それぞれ新しいタスク勾配を規定する。 提案手法を理論的に正当化し,ONGアルゴリズムを導入し,その性能をPermutedおよびRotated MNISTデータセット上でベンチマークする。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Orthogonal gradient descent has emerged as a powerful method for continual learning tasks. However, its Euclidean projections overlook the underlying information-geometric structure of the space of distributions parametrized by neural networks, which can lead to suboptimal convergence in learning tasks. To counteract this, we combine it with the idea of the natural gradient and present ONG (Orthogonal Natural Gradient Descent). ONG preconditions each new task gradient with an efficient EKFAC approximation of the inverse Fisher information matrix, yielding updates that follow the steepest descent direction under a Riemannian metric. To preserve performance on previously learned tasks, ONG projects these natural gradients onto the orthogonal complement of prior task gradients. We provide a theoretical justification for this procedure, introduce the ONG algorithm, and benchmark its performance on the Permuted and Rotated MNIST datasets. All code for our experiments/reproducibility can be found at https://github.com/yajatyadav/orthogonal-natural-gradient.
• Abstract（参考訳）: 直交勾配降下は連続的な学習課題の強力な方法として現れてきた。 しかしながら、ユークリッド射影は、ニューラルネットワークによってパラメータ化された分布空間の基本的な情報幾何学的構造を見落とし、学習タスクの最適下収束につながる可能性がある。 これに対応するために、自然勾配の概念とONG(Orthogonal Natural Gradient Descent)を結合する。 ONGは、逆フィッシャー情報行列の効率的なEKFAC近似を用いて、それぞれ新しいタスク勾配を前提条件とし、リーマン計量の下で最も急降下方向に従う更新を生成する。 以前に学習したタスクのパフォーマンスを維持するため、ONGはこれらの自然な勾配を以前のタスク勾配の直交的な補完に向けている。 提案手法を理論的に正当化し,ONGアルゴリズムを導入し,その性能をPermutedおよびRotated MNISTデータセット上でベンチマークする。 実験/再現性に関するコードは、https://github.com/yajatyadav/orthogonal-natural-gradient.comで確認できます。

関連論文リスト

• Neural Gradient Learning and Optimization for Oriented Point Normal Estimation [53.611206368815125]
  本研究では,3次元点雲から勾配ベクトルを一貫した向きで学習し,正規推定を行うためのディープラーニング手法を提案する。 局所平面幾何に基づいて角距離場を学習し、粗勾配ベクトルを洗練する。 本手法は,局所特徴記述の精度と能力の一般化を図りながら,グローバル勾配近似を効率的に行う。
  論文  参考訳（メタデータ） (2023-09-17T08:35:11Z)
• DoWG Unleashed: An Efficient Universal Parameter-Free Gradient Descent Method [31.891933360081342]
  我々は、DWGが最適に効率的であることを証明し、凸最適化における調整勾配勾配の収束率をパラメータを調整せずに対数係数に一致させ、普遍的であることを示した。 DoWGはランニング平均の新しい距離ベース重み付きバージョンを維持しており、これは所望の特性を達成するために不可欠である。 本理論を補完するため,DoWGは安定性の限界に到達し,実践的な機械学習タスクにおけるその有効性を検証することを実証的に示す。
  論文  参考訳（メタデータ） (2023-05-25T17:40:43Z)
• Achieving High Accuracy with PINNs via Energy Natural Gradients [0.0]
  エネルギー自然勾配から生じる関数空間の更新方向は、モデルの接空間への射影をニュートン方向変調する。 エネルギー自然勾配降下法は,標準勾配降下法あるいはアダム法を用いてPINNを訓練する際に得られるものよりも数桁小さい誤差で高精度な解が得られることを示した。
  論文  参考訳（メタデータ） (2023-02-25T21:17:19Z)
• RawlsGCN: Towards Rawlsian Difference Principle on Graph Convolutional Network [102.27090022283208]
  グラフ畳み込みネットワーク(GCN)は多くの現実世界のアプリケーションにおいて重要な役割を担っている。 GCNはしばしばノードの次数に対する性能の相違を示し、結果として低次ノードの予測精度が悪化する。 我々は、Rawlsian差分原理の観点から、GCNの次数関連性能格差を緩和する問題を定式化する。
  論文  参考訳（メタデータ） (2022-02-28T05:07:57Z)
• Natural continual learning: success is a journey, not (just) a destination [9.462808515258464]
  自然継続学習(NCL)は、重み付け正規化と射影勾配降下を統一する新しい手法である。 提案手法は,RNNにおける連続学習問題に適用した場合,標準重み付け正規化手法とプロジェクションベースアプローチの両方に優れる。 トレーニングされたネットワークは、生体回路の実験的な発見と同様に、新しいタスクが学習されると強く保存されるタスク固有ダイナミクスを進化させる。
  論文  参考訳（メタデータ） (2021-06-15T12:24:53Z)
• Efficient Semi-Implicit Variational Inference [65.07058307271329]
  効率的でスケーラブルな半単純外挿 (SIVI) を提案する。 本手法はSIVIの証拠を低勾配値の厳密な推測にマッピングする。
  論文  参考訳（メタデータ） (2021-01-15T11:39:09Z)
• Sinkhorn Natural Gradient for Generative Models [125.89871274202439]
  本研究では,シンクホーンの発散による確率空間上の最も急降下法として機能するシンクホーン自然勾配(SiNG)アルゴリズムを提案する。 本稿では,SiNG の主要成分であるシンクホーン情報行列 (SIM) が明示的な表現を持ち,対数的スケールの複雑さを正確に評価できることを示す。 本実験では,SiNGと最先端のSGD型解法を定量的に比較し,その有効性と有効性を示す。
  論文  参考訳（メタデータ） (2020-11-09T02:51:17Z)
• Cogradient Descent for Bilinear Optimization [124.45816011848096]
  双線形問題に対処するために、CoGDアルゴリズム(Cogradient Descent Algorithm)を導入する。 一方の変数は、他方の変数との結合関係を考慮し、同期勾配降下をもたらす。 本アルゴリズムは,空間的制約下での1変数の問題を解くために応用される。
  論文  参考訳（メタデータ） (2020-06-16T13:41:54Z)
• Towards Better Understanding of Adaptive Gradient Algorithms in Generative Adversarial Nets [71.05306664267832]
  適応アルゴリズムは勾配の歴史を用いて勾配を更新し、深層ニューラルネットワークのトレーニングにおいてユビキタスである。 本稿では,非コンケーブ最小値問題に対するOptimisticOAアルゴリズムの変種を解析する。 実験の結果,適応型GAN非適応勾配アルゴリズムは経験的に観測可能であることがわかった。
  論文  参考訳（メタデータ） (2019-12-26T22:10:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。