論文の概要: Beyond IGO-Flow: Toward Convergence Analysis of IGO in Continuous Spaces

• arxiv url: http://arxiv.org/abs/2606.17523v1
• Date: Tue, 16 Jun 2026 05:03:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-17 17:15:32.2786
• Title: Beyond IGO-Flow: Toward Convergence Analysis of IGO in Continuous Spaces
• Title（参考訳）: IGO-Flowを超えて - 継続的空間におけるIGOの収束分析に向けて
• Authors: Ryosuke Kimura, Youhei Akimoto,
• Abstract要約: 情報幾何学最適化はブラックボックス最適化のための統一されたフレームワークを提供する。 その概念的重要性にもかかわらず、IGOの収束理論は限定的である。
• 参考スコア（独自算出の注目度）: 4.026354668375411
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Information-Geometric Optimization (IGO) provides a unified framework for black-box optimization by interpreting the adaptation of a search distribution as a natural gradient update. Despite its conceptual importance, the convergence theory of IGO remains limited: most existing results concern continuous-time idealizations such as the IGO flow, rather than discrete-time updates with non-infinitesimal learning rates. In this paper, we study discrete-time IGO in continuous spaces, formulated as natural gradient updates in the expectation-parameter coordinates of an exponential family. In particular, we analyze IGO over the multivariate Gaussian family on strongly convex quadratic objective functions. Our analysis covers a setting that simultaneously incorporates full covariance adaptation, a fixed positive learning rate, and quantile-based weights. In this setting, we prove that the covariance matrix converges to the zero matrix. We further show that the mean vector converges to the global optimum, provided that the condition number of the appropriately scaled covariance matrix is bounded at sufficiently frequent iterations. These results advance the convergence theory of IGO and help bridge the gap between the mathematical theory of IGO and practical covariance-adaptive search methods such as CMA-ES.
• Abstract（参考訳）: 情報幾何最適化(IGO)は,探索分布の適応を自然な勾配更新として解釈することにより,ブラックボックス最適化のための統一的なフレームワークを提供する。 既存の結果の多くは、非無限の学習率を持つ離散時間更新よりも、IGOフローのような連続的な時間的理想化に関するものである。 本稿では,指数関数系の期待パラメータ座標における自然勾配更新として定式化された連続空間における離散時間IGOについて検討する。 特に,多変量ガウス族上の IGO を強凸二次目的関数上で解析する。 本分析では, 完全共分散適応, 正の正の学習率, および量子的重みを同時に組み込んだ設定について述べる。 この設定では、共分散行列が零行列に収束することを証明する。 さらに、適切にスケールされた共分散行列の条件数が十分に頻繁な反復で有界であることから、平均ベクトルが大域的最適値に収束することを示す。 これらの結果は、IGOの収束理論を前進させ、IGOの数学的理論とCMA-ESのような実践的共分散適応探索法とのギャップを埋める助けとなる。

関連論文リスト

• Convex Distance Operator Transport: A Convex and Geometry-Preserving Formulation [9.94046521985351]
  異種領域間の分散を整列する最初の凸最適輸送フレームワークであるConvex Distance Transport Operator (CDOT)を紹介する。 CDOTは、距離と条件付き期待演算子を導入することで集約された距離構造を整列する演算子ベースの正規化を用いる。
  論文  参考訳（メタデータ） (2026-06-01T10:38:09Z)
• Convergence Analysis of Evolution Strategies for Mixed-Integer Optimization [1.6822770693792826]
  (1+1)-LB-ESは整数変数の数が大きい場合、初期収束に悩まされる。 (1+1)-LUB-ESは適切なパラメータ設定の下で線形収束を達成する。
  論文  参考訳（メタデータ） (2026-05-20T10:38:12Z)
• Implicit Bias and Fast Convergence Rates for Self-attention [26.766649949420746]
  本稿では,変圧器の定義機構である自己注意の基本的な最適化原理について考察する。 線形分類におけるデコーダを用いた自己アテンション層における勾配ベースの暗黙バイアスを解析する。
  論文  参考訳（メタデータ） (2024-02-08T15:15:09Z)
• Convergence of Expectation-Maximization Algorithm with Mixed-Integer Optimization [5.319361976450982]
  本稿では,特定の種類のEMアルゴリズムの収束を保証する一連の条件を紹介する。 本研究では,混合整数非線形最適化問題の解法として,反復アルゴリズムの新しい解析手法を提案する。
  論文  参考訳（メタデータ） (2024-01-31T11:42:46Z)
• Convergence of Adam Under Relaxed Assumptions [72.24779199744954]
  我々は、アダムがより現実的な条件下で、$O(epsilon-4)$勾配複雑性で$epsilon$-定常点に収束することを示している。 また、Adamの分散還元版を$O(epsilon-3)$の加速勾配複雑性で提案する。
  論文  参考訳（メタデータ） (2023-04-27T06:27:37Z)
• Stochastic Gradient Descent-Ascent and Consensus Optimization for Smooth Games: Convergence Analysis under Expected Co-coercivity [49.66890309455787]
  本稿では,SGDA と SCO の最終的な収束保証として,期待されるコヒーレンシティ条件を導入し,その利点を説明する。 定常的なステップサイズを用いた場合、両手法の線形収束性を解の近傍に証明する。 我々の収束保証は任意のサンプリングパラダイムの下で保たれ、ミニバッチの複雑さに関する洞察を与える。
  論文  参考訳（メタデータ） (2021-06-30T18:32:46Z)
• On the Convergence of Stochastic Extragradient for Bilinear Games with Restarted Iteration Averaging [96.13485146617322]
  本稿では, ステップサイズが一定であるSEG法の解析を行い, 良好な収束をもたらす手法のバリエーションを示す。 平均化で拡張した場合、SEGはナッシュ平衡に確実に収束し、スケジュールされた再起動手順を組み込むことで、その速度が確実に加速されることを証明した。
  論文  参考訳（メタデータ） (2021-06-30T17:51:36Z)
• The Convergence Indicator: Improved and completely characterized parameter bounds for actual convergence of Particle Swarm Optimization [68.8204255655161]
  我々は、粒子が最終的に単一点に収束するか、分岐するかを計算するのに使用できる新しい収束指標を導入する。 この収束指標を用いて、収束群につながるパラメータ領域を完全に特徴づける実際の境界を提供する。
  論文  参考訳（メタデータ） (2020-06-06T19:08:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。