論文の概要: Inversion-Free Natural Gradient Descent on Riemannian Manifolds

• arxiv url: http://arxiv.org/abs/2604.02969v1
• Date: Fri, 03 Apr 2026 11:08:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-06 17:20:24.456433
• Title: Inversion-Free Natural Gradient Descent on Riemannian Manifolds
• Title（参考訳）: リーマン多様体上の反転自由自然勾配線
• Authors: Dario Draca, Takuo Matsubara, Minh-Ngoc Tran,
• Abstract要約: 本稿では,凸パラメータを持つ確率分布に対する逆フリーな自然勾配法を提案する。 多様体の設定にはいくつかの利点がある: パラメータ制約を暗黙的に強制することができる。 サブクアドラティックストレージの複雑さを伴うアルゴリズムの限定メモリ変種が提案されている。
• 参考スコア（独自算出の注目度）: 5.556612138252781
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The natural gradient method is widely used in statistical optimization, but its standard formulation assumes a Euclidean parameter space. This paper proposes an inversion-free stochastic natural gradient method for probability distributions whose parameters lie on a Riemannian manifold. The manifold setting offers several advantages: one can implicitly enforce parameter constraints such as positive definiteness and orthogonality, ensure parameters are identifiable, or guarantee regularity properties of the objective like geodesic convexity. Building on an intrinsic formulation of the Fisher information matrix (FIM) on a manifold, our method maintains an online approximation of the inverse FIM, which is efficiently updated at quadratic cost using score vectors sampled at successive iterates. In the Riemannian setting, these score vectors belong to different tangent spaces and must be combined using transport operations. We prove almost-sure convergence rates of $O(\log{s}/s^α)$ for the squared distance to the minimizer when the step size exponent $α>2/3$. We also establish almost-sure rates for the approximate FIM, which now accumulates transport-based errors. A limited-memory variant of the algorithm with sub-quadratic storage complexity is proposed. Finally, we demonstrate the effectiveness of our method relative to its Euclidean counterparts on variational Bayes with Gaussian approximations and normalizing flows.
• Abstract（参考訳）: 自然勾配法は統計最適化において広く用いられているが、その標準定式化はユークリッドパラメータ空間を仮定する。 本稿では、リーマン多様体上のパラメータを持つ確率分布に対する逆自由確率的自然勾配法を提案する。 多様体の設定にはいくつかの利点がある: 正の定性や直交性のようなパラメータの制約を暗黙的に強制し、パラメータが特定可能であることを保証する、あるいは測地的凸性のような目的の正則性を保証する。 本手法は, 多様体上のフィッシャー情報行列(FIM)の内在的な定式化に基づいて, 逐次反復でサンプリングしたスコアベクトルを用いて, 2次的コストで効率的に更新される逆FIMのオンライン近似を維持する。 リーマン的設定では、これらのスコアベクトルは異なる接空間に属し、輸送演算を用いて組み合わせなければならない。 ステップサイズ指数$α>2/3$のとき、最小化器への2乗距離に対して$O(\log{s}/s^α)$のほぼ公理収束率を証明する。 また、FIMを近似してほぼ確実に設定し、現在ではトランスポートベースのエラーを蓄積している。 サブクアドラティックストレージの複雑さを伴うアルゴリズムの限定メモリ変種が提案されている。 最後に,ガウス近似と正規化流を用いた変分ベイに対するユークリッド法の有効性を示す。

関連論文リスト

• Variational Entropic Optimal Transport [67.76725267984578]
  本稿では,ドメイン翻訳問題に対する変分エントロピー最適輸送(VarEOT)を提案する。 VarEOTは、補助正の正規化子上のトラクタブルな一般化として、log-partition $log mathbbE[exp(cdot)$の正確な変分再構成に基づいている。 合成データと画像と画像の変換に関する実験は、競争力のあるか、あるいはより良い翻訳品質を示す。
  論文  参考訳（メタデータ） (2026-02-02T15:48:44Z)
• Trust-Region Sequential Quadratic Programming for Stochastic Optimization with Random Models [57.52124921268249]
  本稿では,1次と2次の両方の定常点を見つけるための信頼逐次準計画法を提案する。 本手法は, 1次定常点に収束するため, 対象対象の近似を最小化して定義された各イテレーションの勾配ステップを計算する。 2階定常点に収束するため,本手法は負曲率を減少するヘッセン行列を探索する固有ステップも計算する。
  論文  参考訳（メタデータ） (2024-09-24T04:39:47Z)
• Decomposed Global Optimization for Robust Point Matching with Low-Dimensional Branching [41.05165517541873]
  部分重なり合う点集合を整列する新しい大域的最適化手法を提案する。 本手法は非剛性変形, 位置雑音, 外れ値に優れた強靭性を示す。 2次元および3次元合成および実世界のデータを用いた実験により,本手法は最先端の手法と比較して,外れ値に対して優れた強靭性を示すことが示された。
  論文  参考訳（メタデータ） (2024-05-14T13:28:57Z)
• Low-complexity subspace-descent over symmetric positive definite manifold [9.346050098365648]
  対称正定値多様体(SPD)上の関数の最小化のための低複素性アルゴリズムを開発する。 提案手法は、慎重に選択された部分空間を利用して、更新をイテレートのコレスキー因子とスパース行列の積として記述することができる。
  論文  参考訳（メタデータ） (2023-05-03T11:11:46Z)
• Kernel-based off-policy estimation without overlap: Instance optimality beyond semiparametric efficiency [53.90687548731265]
  本研究では,観測データに基づいて線形関数を推定するための最適手順について検討する。 任意の凸および対称函数クラス $mathcalF$ に対して、平均二乗誤差で有界な非漸近局所ミニマックスを導出する。
  論文  参考訳（メタデータ） (2023-01-16T02:57:37Z)
• MARS via LASSO [1.5199437137239338]
  我々はMARS法の自然変種を提案し,研究する。 提案手法は,関数の凸クラス上での少なくとも2乗推定に基づいている。 我々の推定器は有限次元凸最適化によって計算できる。
  論文  参考訳（メタデータ） (2021-11-23T07:30:33Z)
• Unified Convergence Analysis for Adaptive Optimization with Moving Average Estimator [75.05106948314956]
  1次モーメントに対する大きな運動量パラメータの増大は適応的スケーリングに十分であることを示す。 また,段階的に減少するステップサイズに応じて,段階的に運動量を増加させるための洞察を与える。
  論文  参考訳（メタデータ） (2021-04-30T08:50:24Z)
• Understanding Implicit Regularization in Over-Parameterized Single Index Model [55.41685740015095]
  我々は高次元単一インデックスモデルのための正規化自由アルゴリズムを設計する。 暗黙正則化現象の理論的保証を提供する。
  論文  参考訳（メタデータ） (2020-07-16T13:27:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。