論文の概要: Dual Riemannian Newton Method on Statistical Manifolds

• arxiv url: http://arxiv.org/abs/2511.11318v1
• Date: Fri, 14 Nov 2025 13:58:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-17 22:42:18.640347
• Title: Dual Riemannian Newton Method on Statistical Manifolds
• Title（参考訳）: 統計多様体上の2次元リーマンニュートン法
• Authors: Derun Zhou, Keisuke Yano, Mahito Sugiyama,
• Abstract要約: 距離と2対のアフィン接続を持つ多様体上のニュートン型最適化アルゴリズムを提案する。 局所的な二次収束を確立し、代表的統計モデルの実験により理論を検証する。
• 参考スコア（独自算出の注目度）: 9.966217183746961
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In probabilistic modeling, parameter estimation is commonly formulated as a minimization problem on a parameter manifold. Optimization in such spaces requires geometry-aware methods that respect the underlying information structure. While the natural gradient leverages the Fisher information metric as a form of Riemannian gradient descent, it remains a first-order method and often exhibits slow convergence near optimal solutions. Existing second-order manifold algorithms typically rely on the Levi-Civita connection, thus overlooking the dual-connection structure that is central to information geometry. We propose the dual Riemannian Newton method, a Newton-type optimization algorithm on manifolds endowed with a metric and a pair of dual affine connections. The dual Riemannian Newton method explicates how duality shapes second-order updates: when the retraction (a local surrogate of the exponential map) is defined by one connection, the associated Newton equation is posed with its dual. We establish local quadratic convergence and validate the theory with experiments on representative statistical models. Thus, the dual Riemannian Newton method thus delivers second-order efficiency while remaining compatible with the dual structures that underlie modern information-geometric learning and inference.
• Abstract（参考訳）: 確率的モデリングでは、パラメータ推定はパラメータ多様体上の最小化問題として一般的に定式化される。 そのような空間における最適化には、基礎となる情報構造を尊重する幾何学的手法が必要である。 自然勾配は、フィッシャー情報計量をリーマン勾配勾配の形式として活用するが、これは一階法であり、しばしば最適解の近くで緩やかな収束を示す。 既存の2階多様体のアルゴリズムは、通常はレヴィ・チヴィタ接続に依存しており、情報幾何学の中心となる双対接続構造を見下ろしている。 距離と双対アフィン接続を持つ多様体上のニュートン型最適化アルゴリズムである双対リーマンニュートン法を提案する。 双対リーマン・ニュートン法(英語版)は双対性がどのように二階更新を形作るかが説明される: 簡約(指数写像の局所的な代理)が1つの接続で定義されるとき、関連するニュートン方程式はその双対で表される。 局所的な二次収束を確立し、代表的統計モデルの実験により理論を検証する。 したがって、二重リーマンニュートン法は、現代の情報幾何学的学習と推論の基盤となる双対構造と互換性を保ちながら、二階効率をもたらす。

関連論文リスト

• Machine learning and optimization-based approaches to duality in statistical physics [2.3727769223905515]
  双対性(英: duality)とは、ある物理系が2つの異なる数学的記述を持つことができるという考え方である。 この問題を数値的に解き、2次元イジングモデルのクラマース・ワニエ双対性を再発見できることを示す。 また、トポロジカルラインの写像の既知の特徴を利用して問題を減らし、双対ハミルトニアンのカップリングを最適化する別のアプローチについても論じる。
  論文  参考訳（メタデータ） (2024-11-07T16:29:03Z)
• Online Learning Guided Quasi-Newton Methods with Global Non-Asymptotic Convergence [20.766358513158206]
  双対性ギャップの観点から、大域収束率を$O(min1/k,sqrtd/k1.25)$とする。 これらの結果は、外勾配法よりも準ニュートン法の証明可能な利点を示す最初の大域収束結果である。
  論文  参考訳（メタデータ） (2024-10-03T16:08:16Z)
• Symplectic Stiefel manifold: tractable metrics, second-order geometry and Newton's methods [1.190653833745802]
  我々は、シンプレクティック・スティーフェル多様体上の明示的な二階幾何学とニュートンの方法を開発する。 次にニュートン方程式をニュートン法の中心的なステップとして解く。 提案手法を検証するために, 種々の数値実験を行った。
  論文  参考訳（メタデータ） (2024-06-20T13:26:06Z)
• FORML: A Riemannian Hessian-free Method for Meta-learning on Stiefel Manifolds [4.757859522106933]
  本稿では、スティーフェル多様体上の微分の1次近似を用いたヘッセンフリーアプローチを提案する。 本手法は計算負荷とメモリフットプリントを大幅に削減する。
  論文  参考訳（メタデータ） (2024-02-28T10:57:30Z)
• Decentralized Riemannian Conjugate Gradient Method on the Stiefel Manifold [59.73080197971106]
  本稿では,最急降下法よりも高速に収束する一階共役最適化法を提案する。 これはスティーフェル多様体上の大域収束を達成することを目的としている。
  論文  参考訳（メタデータ） (2023-08-21T08:02:16Z)
• Explicit Second-Order Min-Max Optimization: Practical Algorithms and Complexity Analysis [71.05708939639537]
  本研究では,非制約問題に対するグローバルなサドル点を求めるために,不正確なNewton型手法をいくつか提案し,解析する。 提案手法は,Sur分解の必要回数の$O(log(1/eps)$因子をシェービングすることで,既存のライン検索に基づくmin-max最適化を改善する。
  論文  参考訳（メタデータ） (2022-10-23T21:24:37Z)
• Bayesian Quadrature on Riemannian Data Manifolds [79.71142807798284]
  データに固有の非線形幾何学構造をモデル化する原則的な方法が提供される。 しかし、これらの演算は通常計算的に要求される。 特に、正規法則上の積分を数値計算するためにベイズ二次(bq)に焦点を当てる。 先行知識と活発な探索手法を両立させることで,BQは必要な評価回数を大幅に削減できることを示す。
  論文  参考訳（メタデータ） (2021-02-12T17:38:04Z)
• Manifold Learning via Manifold Deflation [105.7418091051558]
  次元削減法は、高次元データの可視化と解釈に有用な手段を提供する。 多くの一般的な手法は単純な2次元のマニフォールドでも劇的に失敗する。 本稿では,グローバルな構造を座標として組み込んだ,新しいインクリメンタルな空間推定器の埋め込み手法を提案する。 実験により,本アルゴリズムは実世界および合成データセットに新規で興味深い埋め込みを復元することを示した。
  論文  参考訳（メタデータ） (2020-07-07T10:04:28Z)
• Enhance Curvature Information by Structured Stochastic Quasi-Newton Methods [26.712594117460817]
  非線型関数の有限和を最小化する2次計算法を考える。 真のヘッセン行列は、しばしば安価な部分と高価な部分の組み合わせであるため、構造化された準ニュートン収束法を提案する。 提案手法は最先端の手法と非常に競合する。
  論文  参考訳（メタデータ） (2020-06-17T02:16:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。