論文の概要: How Inefficient Is Natural Gradient Descent? From Exact Optimality to Θ( \sqrt{ \log d } ) Divergence

• arxiv url: http://arxiv.org/abs/2610.07228v1
• Date: Mon, 05 Oct 2026 18:35:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 02:58:29.599562
• Title: How Inefficient Is Natural Gradient Descent? From Exact Optimality to Θ( \sqrt{ \log d } ) Divergence
• Title（参考訳）: 自然の勾配がどれだけ非効率か : 厳密な最適性から ( \sqrt{ \log d } ) 多様性へ
• Abstract要約: 自然勾配降下(NGD)はMLにおいて一般的な方法である。 非効率比(R ge 1)、混合測地線のフィッシャー長をフィッシャー-ラオ距離で定量化する。 実験は、二次ポテンシャル族に対する機械精度の3つの条件をすべて確認した。
• 参考スコア（独自算出の注目度）: 11.728136614961885
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Natural gradient descent (NGD) underlies common methods in ML. For dually flat families, idealized NGD on the forward Kullback--Leibler objective follows the mixture geodesic which is often longer than the shortest Fisher--Rao path. We quantify this overhead by the inefficiency ratio \(R \ge 1\), the Fisher length of the mixture geodesic divided by the Fisher--Rao distance, and bound its supremum over endpoint pairs as a function of the parameter dimension \(d\). A tensor criterion identifies the regime (I) families, with \(R=1\) everywhere: exactly those with quadratic potential or dimension one, such as fixed-covariance Gaussians. For non-quadratic families, we prove two further regimes: (II) bounded third-order skewness plus finite Fisher--Rao diameter yields a dimension-independent bound; and (III) for products of scale families---including Gaussian covariances and Gamma rates---\(R\) grows as \(Θ(\sqrt{\log d})\), unbounded in \(d\). Under a per-step Fisher-chord budget, \(R\) translates to a practical computational cost: NGD requires asymptotically at least \(R\) times as many steps as an optimizer following the Fisher--Rao geodesic. Experiments confirm all three regimes: \(R=1\) to machine precision for quadratic-potential families (I), the categorical bound \(π/(2\sqrt{2})\) is approached but not attained (II), and sampled scale-product \(R\) grows with \(d\), reaching \(R \approx 1.5\) for long, high-dimensional moves (III).
• Abstract（参考訳）: 自然勾配降下(NGD)はMLにおいて一般的な方法である。 二重平坦な族に対しては、前方のクルバック-リーブル目標上の理想化されたNGDは、しばしば最も短いフィッシャー-ラオ経路よりも長い混合測地線に従う。 このオーバーヘッドを非効率比 \(R \ge 1\) で定量化し、混合測地線のフィッシャー長をフィッシャー-ラオ距離で割って、その上限をパラメータ次元 \(d\) の関数として有界化する。 テンソル基準(テンソルぎょう、英: tensor criterion)は、(R=1\) を至る所で、正に2次ポテンシャルや次元 1 を持つもの、例えば固定共分散ガウス(英語版)のような状態(I)族を識別する。 非二次族に対しては、 (II) 有界な三階スキューネスと有限のフィッシャー-ラオ径は次元非依存な有界となること、 (III) ガウス的共分散とガンマ率を含むスケール族の積に対して---\(R\) は \(\sqrt{\log d})\ として成長し、非有界な \(d\) となる。 NGD はフィッシャー-ラオ測地線に追従するオプティマイザとして、漸近的に少なくとも \(R\) 倍のステップを必要とする。 実験により、3つの状態が確認される: 二次ポテンシャル族に対する機械の精度(I)、カテゴリー境界 \(π/(2\sqrt{2})\) は接近するが到達しない(II)、サンプリングされたスケール積 \(R\) は \(d\) で成長し、長い高次元移動 (III) に対して \(R \approx 1.5\) に達する。

関連論文リスト

• Root-system structure of sloppiness in passive Gaussian metrology [0.0]
  量子フィッシャー行列がランクを失うと、$n$モードの圧縮プローブの受動的変換は局所的に識別不可能になる。 我々は、$mathrmSp(2n,mathbbR)/mathrmU(n)$の$C_n$制限根系が、この厳密性を支配することを示す。 標準ベースで等級が$r_1,ldots,r_n$の場合、根は$r_j$と$r_jpm r_kである。
  論文  参考訳（メタデータ） (2026-09-29T02:56:42Z)
• Loss-Parameterized Fisher Width Along Learning Trajectories [0.0]
  まず、固定されたコンパクトプローブに対して、正確なトレース形状の分解と決定論的安定性を導出する。 結果はフィッシャー幅の普遍的損失パラメトリゼーションよりも分岐的に支持される。
  論文  参考訳（メタデータ） (2026-08-21T18:52:04Z)
• Intrinsic Wasserstein Rates for Score-Based Generative Models on Smooth Manifolds [61.14405512940818]
  Scoreベースの生成モデルは高次元空間で訓練されていることを示す。 有限固有アンカーとガウス・ニュートンによる最も近い射影座標のReLU実装を用いる。
  論文  参考訳（メタデータ） (2026-05-15T10:20:05Z)
• Provably Adaptive Linear Approximation for the Shapley Value and Beyond [73.0940890296463]
  基本的で長期にわたる課題は、その効率的な近似である。 一般に用いられるすべての半値に対して$P(|hatboldsymbol-boldsymbol|_2geq)leq$を必要とする線形空間アルゴリズムを開発する。 本アルゴリズムは,各ユーティリティ関数の平均二乗誤差の明示的最小化を可能にする。
  論文  参考訳（メタデータ） (2026-04-09T16:38:14Z)
• Regularized Online RLHF with Generalized Bilinear Preferences [68.44113000390544]
  一般的な嗜好を伴う文脈的オンラインRLHFの問題を考える。 一般化された双線形選好モデルを用いて、低ランクなスキュー対称行列による選好を捉える。 グリーディポリシーの双対ギャップは推定誤差の正方形によって有界であることを示す。
  論文  参考訳（メタデータ） (2026-02-26T15:27:53Z)
• Hessian-guided Perturbed Wasserstein Gradient Flows for Escaping Saddle Points [54.06226763868876]
  ワッサーシュタインフロー (WGF) は測度空間上で最適化を行う一般的な方法である。 PWGFは一般の非目的の観点で大域的最適に収束することを示す。
  論文  参考訳（メタデータ） (2025-09-21T08:14:20Z)
• Bregman Linearized Augmented Lagrangian Method for Nonconvex Constrained Stochastic Zeroth-order Optimization [9.482573620753442]
  本稿では,0階推定器と分散手法を組み合わせたBregman線形化ラグランジアン法を提案する。 その結果,提案手法の複雑性は,必要条件(O(d))よりも低次元依存性を実現することができることがわかった。
  論文  参考訳（メタデータ） (2025-04-13T02:44:47Z)
• Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
  近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。 本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
  論文  参考訳（メタデータ） (2024-04-29T15:04:07Z)
• A Mean-Field Analysis of Neural Stochastic Gradient Descent-Ascent for Functional Minimax Optimization [90.87444114491116]
  本稿では,超パラメトリック化された2層ニューラルネットワークの無限次元関数クラス上で定義される最小最適化問題について検討する。 i) 勾配降下指数アルゴリズムの収束と, (ii) ニューラルネットワークの表現学習に対処する。 その結果、ニューラルネットワークによって誘導される特徴表現は、ワッサーシュタイン距離で測定された$O(alpha-1)$で初期表現から逸脱することが許された。
  論文  参考訳（メタデータ） (2024-04-18T16:46:08Z)
• Last iterate convergence of SGD for Least-Squares in the Interpolation regime [19.05750582096579]
  基本最小二乗構成におけるノイズレスモデルについて検討する。 最適予測器が完全に入力に適合すると仮定し、$langletheta_*, phi(X) rangle = Y$, ここで$phi(X)$は無限次元の非線型特徴写像を表す。
  論文  参考訳（メタデータ） (2021-02-05T14:02:20Z)
• Dual Stochastic Natural Gradient Descent and convergence of interior half-space gradient approximations [0.0]
  多項ロジスティック回帰(MLR)は統計学や機械学習で広く使われている。 勾配降下(SGD)は、ビッグデータシナリオにおけるMLRモデルのパラメータを決定する最も一般的な手法である。
  論文  参考訳（メタデータ） (2020-01-19T00:53:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。