論文の概要: Warped geometric information on the optimisation of Euclidean functions

• arxiv url: http://arxiv.org/abs/2308.08305v1
• Date: Wed, 16 Aug 2023 12:08:50 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-17 13:45:41.006938
• Title: Warped geometric information on the optimisation of Euclidean functions
• Title（参考訳）: ユークリッド関数の最適化に関するワープ幾何情報
• Authors: Marcelo Hartmann, Bernardo Williams, Hanlin Yu, Mark Girolami, Alessandro Barp and Arto Klami
• Abstract要約: 我々は、潜在的に高次元ユークリッド空間で定義される実数値関数を最適化する基本的なタスクを考える。 近似測地線曲線に沿ってテイラー近似を3階まで解析的に導出できることが示される。 提案アルゴリズムは,測地学の3次近似を用いて,収束までの反復数で標準ユークリッド勾配に基づく近似よりも優れる。
• 参考スコア（独自算出の注目度）: 45.61411184107272
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: We consider the fundamental task of optimizing a real-valued function defined in a potentially high-dimensional Euclidean space, such as the loss function in many machine-learning tasks or the logarithm of the probability distribution in statistical inference. We use the warped Riemannian geometry notions to redefine the optimisation problem of a function on Euclidean space to a Riemannian manifold with a warped metric, and then find the function's optimum along this manifold. The warped metric chosen for the search domain induces a computational friendly metric-tensor for which optimal search directions associate with geodesic curves on the manifold becomes easier to compute. Performing optimization along geodesics is known to be generally infeasible, yet we show that in this specific manifold we can analytically derive Taylor approximations up to third-order. In general these approximations to the geodesic curve will not lie on the manifold, however we construct suitable retraction maps to pull them back onto the manifold. Therefore, we can efficiently optimize along the approximate geodesic curves. We cover the related theory, describe a practical optimization algorithm and empirically evaluate it on a collection of challenging optimisation benchmarks. Our proposed algorithm, using third-order approximation of geodesics, outperforms standard Euclidean gradient-based counterparts in term of number of iterations until convergence and an alternative method for Hessian-based optimisation routines.
• Abstract（参考訳）: 多くの機械学習タスクにおける損失関数や統計的推論における確率分布の対数といった、潜在的に高次元ユークリッド空間で定義される実数値関数を最適化する基本的なタスクを考える。 有向リーマン幾何学の概念を用いてユークリッド空間上の函数の最適化問題を有向計量を持つリーマン多様体に再定義し、この多様体に沿って関数の最適を求める。 探索領域に選択された歪んだ計量は、多様体上の測地線曲線に付随する最適な探索方向が計算し易くなる計算フレンドリーな計量テンソルを誘導する。 測地線に沿った最適化の実行は一般に不可能であることが知られているが、この特定の多様体ではテイラー近似を3階まで解析的に導出できることが示される。 一般に、これらの測地線曲線への近似は多様体上には存在しないが、多様体上に引き戻すのに適した引き算写像を構築する。 したがって、近似測地線曲線に沿って効率的に最適化できる。 関連する理論を取り上げ,実用的な最適化アルゴリズムを記述し,挑戦的最適化ベンチマークを用いて実証的に評価する。 提案アルゴリズムは,測地学の3次近似を用いて,収束までの反復回数の点において標準ユークリッド勾配に基づく近似を上回り,ヘッセン系最適化ルーチンの代替手法である。

関連論文リスト

• Curvature-Independent Last-Iterate Convergence for Games on Riemannian Manifolds [77.4346324549323]
  本研究では, 多様体の曲率に依存しないステップサイズが, 曲率非依存かつ直線的最終点収束率を達成することを示す。 我々の知る限りでは、曲率非依存率や/または最終点収束の可能性はこれまでに検討されていない。
  論文  参考訳（メタデータ） (2023-06-29T01:20:44Z)
• Short and Straight: Geodesics on Differentiable Manifolds [6.85316573653194]
  本研究では,測地線長を最小化するための既存の手法をまず解析する。 次に,連続多様体上の距離場と測地流のモデルに基づくパラメータ化を提案する。 第3に,Ricciスカラーのより大きい値を示す多様体の領域において,曲率に基づくトレーニング機構,サンプリングおよびスケーリングポイントを開発する。
  論文  参考訳（メタデータ） (2023-05-24T15:09:41Z)
• Extrinsic Bayesian Optimizations on Manifolds [1.3477333339913569]
  オイクリッド多様体上の一般最適化問題に対する外部ベイズ最適化(eBO)フレームワークを提案する。 我々のアプローチは、まず多様体を高次元空間に埋め込むことによって、外部ガウス過程を採用することである。 これにより、複素多様体上の最適化のための効率的でスケーラブルなアルゴリズムが導かれる。
  論文  参考訳（メタデータ） (2022-12-21T06:10:12Z)
• On a class of geodesically convex optimization problems solved via Euclidean MM methods [50.428784381385164]
  ユークリッド凸化関数の違いは、統計学と機械学習の異なるタイプの問題の違いとして記述できることを示す。 最終的に、より広い範囲、より広い範囲の作業を支援するのです。
  論文  参考訳（メタデータ） (2022-06-22T23:57:40Z)
• First-Order Algorithms for Min-Max Optimization in Geodesic Metric Spaces [93.35384756718868]
  min-maxアルゴリズムはユークリッド設定で解析されている。 指数関数法 (RCEG) が線形速度で最終収束を補正したことを証明した。
  論文  参考訳（メタデータ） (2022-06-04T18:53:44Z)
• Unified Convergence Analysis for Adaptive Optimization with Moving Average Estimator [75.05106948314956]
  1次モーメントに対する大きな運動量パラメータの増大は適応的スケーリングに十分であることを示す。 また,段階的に減少するステップサイズに応じて,段階的に運動量を増加させるための洞察を与える。
  論文  参考訳（メタデータ） (2021-04-30T08:50:24Z)
• Sequential Subspace Search for Functional Bayesian Optimization Incorporating Experimenter Intuition [63.011641517977644]
  本アルゴリズムは,実験者のガウス過程から引き出された一組の引き数で区切られた関数空間の有限次元ランダム部分空間列を生成する。 標準ベイズ最適化は各部分空間に適用され、次の部分空間の出発点(オリジン)として用いられる最良の解である。 シミュレーションおよび実世界の実験,すなわちブラインド関数マッチング,アルミニウム合金の最適析出強化関数の探索,深層ネットワークの学習速度スケジュール最適化において,本アルゴリズムを検証した。
  論文  参考訳（メタデータ） (2020-09-08T06:54:11Z)
• Curvature-Dependant Global Convergence Rates for Optimization on Manifolds of Bounded Geometry [6.85316573653194]
  1-有界幾何多様体上で定義される弱凸函数に対する曲率依存性収束率を与える。 最適化文献でよく用いられる多様体に対して、これらの境界を明示的に計算する。 指数写像の微分のノルムに完全一般境界の自己完備証明を与える。
  論文  参考訳（メタデータ） (2020-08-06T08:30:35Z)
• Stochastic Zeroth-order Riemannian Derivative Estimation and Optimization [15.78743548731191]
  多様体非線型性の非線型性の難しさを克服するために、ガウス滑らか化関数のオラクル版を提案する。 ニューラルネットワークに対するロボティクスとブラックボックス攻撃に対するブラックボックス剛性制御における,結果によるアルゴリズムの適用性と実世界の応用を実証する。
  論文  参考訳（メタデータ） (2020-03-25T06:58:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。