論文の概要: KOALA++: Efficient Kalman-Based Optimization of Neural Networks with Gradient-Covariance Products

• arxiv url: http://arxiv.org/abs/2506.04432v1
• Date: Wed, 04 Jun 2025 20:33:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-06 21:53:49.416012
• Title: KOALA++: Efficient Kalman-Based Optimization of Neural Networks with Gradient-Covariance Products
• Title（参考訳）: KOALA++: 勾配共分散製品を用いたニューラルネットワークの効率的なカルマン最適化
• Authors: Zixuan Xia, Aram Davtyan, Paolo Favaro,
• Abstract要約: KOALA++は、ニューラルネットワークトレーニングのためのスケーラブルなKalmanベースの最適化アルゴリズムである。 ニューラルネットワークトレーニングにおける構造的不確実性を明示的にモデル化する。 最先端の1次法よりも精度が高い。
• 参考スコア（独自算出の注目度）: 19.802128119541077
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose KOALA++, a scalable Kalman-based optimization algorithm that explicitly models structured gradient uncertainty in neural network training. Unlike second-order methods, which rely on expensive second order gradient calculation, our method directly estimates the parameter covariance matrix by recursively updating compact gradient covariance products. This design improves upon the original KOALA framework that assumed diagonal covariance by implicitly capturing richer uncertainty structure without storing the full covariance matrix and avoiding large matrix inversions. Across diverse tasks, including image classification and language modeling, KOALA++ achieves accuracy on par or better than state-of-the-art first- and second-order optimizers while maintaining the efficiency of first-order methods.
• Abstract（参考訳）: ニューラルネットワークトレーニングにおける構造的勾配の不確かさを明示的にモデル化する,スケーラブルなKalmanベースの最適化アルゴリズムである KOALA++ を提案する。 高価な2階勾配計算に依存する2階法とは異なり, パラメータ共分散行列をコンパクトな勾配共分散積を再帰的に更新することで直接推定する。 この設計は、完全な共分散行列を格納せず、大きな行列反転を避けることなく、よりリッチな不確実性構造を暗黙的にキャプチャすることで、対角共分散を仮定するオリジナルのKOALAフレームワークを改善した。 KOALA++は、画像分類や言語モデリングなど、さまざまなタスクにまたがって、最先端の1階と2階のオプティマイザよりも精度を向上し、一階のメソッドの効率を維持できる。

関連論文リスト

• Improving Adaptive Moment Optimization via Preconditioner Diagonalization [11.01832755213396]
  提案手法は,現代適応法の収束速度を大幅に向上させることができることを示す。 LLaMAのような大きな言語モデルでは、ベースラインであるAdamと比較して2倍のスピードアップが達成できます。
  論文  参考訳（メタデータ） (2025-02-11T11:48:04Z)
• Efficient Second-Order Neural Network Optimization via Adaptive Trust Region Methods [0.0]
  SecondOrderAdaptive (SOAA) は、従来の二階法の限界を克服するために設計された新しい最適化アルゴリズムである。 私たちは、SOAAが1次近似よりも速く、より安定した収束を達成することを実証的に実証します。
  論文  参考訳（メタデータ） (2024-10-03T08:23:06Z)
• An Alternative Graphical Lasso Algorithm for Precision Matrices [0.0]
  本稿では,スパース精度行列を推定するためのDP-GLassoアルゴリズムを提案する。 正規化された正規対数型は自然に凸関数を最小化しやすい2つの和に分解するが、そのうちの1つはラッソ回帰問題である。 提案アルゴリズムは,最適化対象とする精度行列を最初から備えており,DP-GLassoアルゴリズムの良好な特性をすべて保持している。
  論文  参考訳（メタデータ） (2024-03-19T02:01:01Z)
• SGD with Partial Hessian for Deep Neural Networks Optimization [18.78728272603732]
  本稿では,チャネルワイドパラメータを更新するための2次行列と,他のパラメータを更新するための1次勾配降下(SGD)アルゴリズムを組み合わせた化合物を提案する。 一階述語と比較して、最適化を支援するためにヘッセン行列からの一定の量の情報を採用するが、既存の二階述語一般化と比較すると、一階述語一般化の性能は不正確である。
  論文  参考訳（メタデータ） (2024-03-05T06:10:21Z)
• Fast Computation of Optimal Transport via Entropy-Regularized Extragradient Methods [75.34939761152587]
  2つの分布間の最適な輸送距離の効率的な計算は、様々な応用を促進するアルゴリズムとして機能する。 本稿では,$varepsilon$加法精度で最適な輸送を計算できるスケーラブルな一階最適化法を提案する。
  論文  参考訳（メタデータ） (2023-01-30T15:46:39Z)
• Cogradient Descent for Dependable Learning [64.02052988844301]
  双線形最適化問題に対処するために,CoGDアルゴリズムに基づく信頼度の高い学習法を提案する。 CoGDは、ある変数がスパーシティ制約を持つ場合の双線形問題を解くために導入された。 また、特徴と重みの関連を分解するためにも使用できるため、畳み込みニューラルネットワーク(CNN)をより良く訓練するための我々の手法をさらに一般化することができる。
  論文  参考訳（メタデータ） (2021-06-20T04:28:20Z)
• Efficient Learning of Generative Models via Finite-Difference Score Matching [111.55998083406134]
  有限差分で任意の順序方向微分を効率的に近似する汎用戦略を提案する。 我々の近似は関数評価にのみ関係しており、これは並列で実行でき、勾配計算は行わない。
  論文  参考訳（メタデータ） (2020-07-07T10:05:01Z)
• Cogradient Descent for Bilinear Optimization [124.45816011848096]
  双線形問題に対処するために、CoGDアルゴリズム(Cogradient Descent Algorithm)を導入する。 一方の変数は、他方の変数との結合関係を考慮し、同期勾配降下をもたらす。 本アルゴリズムは,空間的制約下での1変数の問題を解くために応用される。
  論文  参考訳（メタデータ） (2020-06-16T13:41:54Z)
• Effective Dimension Adaptive Sketching Methods for Faster Regularized Least-Squares Optimization [56.05635751529922]
  スケッチに基づくL2正規化最小二乗問題の解法を提案する。 我々は、最も人気のあるランダム埋め込みの2つ、すなわちガウス埋め込みとサブサンプリングランダム化アダマール変換(SRHT)を考える。
  論文  参考訳（メタデータ） (2020-06-10T15:00:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。