論文の概要: A Framework for Bilevel Optimization on Riemannian Manifolds
- arxiv url: http://arxiv.org/abs/2402.03883v1
- Date: Tue, 6 Feb 2024 10:45:51 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-07 15:16:39.392432
- Title: A Framework for Bilevel Optimization on Riemannian Manifolds
- Title(参考訳): リーマン多様体上の双レベル最適化の枠組み
- Authors: Andi Han, Bamdev Mishra, Pratik Jawanpuria, Akiko Takeda
- Abstract要約: バイレベル最適化は、様々な分野のアプリケーションに存在感を増している。
本研究では、リーマン多様体上で下層および上層問題の変数が制約される双位最適化問題を解くための枠組みを提案する。
本研究では,888-269-5556上での過次推定手法を提案し,その推定誤差について検討する。
各種アプリケーションにおける提案フレームワークの有用性について紹介する。
- 参考スコア(独自算出の注目度): 17.647523412871628
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Bilevel optimization has seen an increasing presence in various domains of
applications. In this work, we propose a framework for solving bilevel
optimization problems where variables of both lower and upper level problems
are constrained on Riemannian manifolds. We provide several hypergradient
estimation strategies on manifolds and study their estimation error. We provide
convergence and complexity analysis for the proposed hypergradient descent
algorithm on manifolds. We also extend the developments to stochastic bilevel
optimization and to the use of general retraction. We showcase the utility of
the proposed framework on various applications.
- Abstract(参考訳): バイレベル最適化は、様々な分野のアプリケーションに存在感を増している。
本研究では,下層および上層問題の変数がリーマン多様体上で制約されるような二段階最適化問題の解法を提案する。
多様体上の過次推定戦略を複数提供し,その推定誤差について検討する。
多様体上の超勾配降下アルゴリズムの収束と複雑性解析を提供する。
また、確率的二段階最適化や一般リトラクションの利用にも発展を拡大する。
各種アプリケーションにおける提案フレームワークの有用性について紹介する。
関連論文リスト
- Contextual Stochastic Bilevel Optimization [50.36775806399861]
文脈情報と上層変数の期待を最小化する2レベル最適化フレームワークCSBOを導入する。
メタラーニング、パーソナライズドラーニング、エンド・ツー・エンドラーニング、Wassersteinはサイド情報(WDRO-SI)を分散的に最適化している。
論文 参考訳(メタデータ) (2023-10-27T23:24:37Z) - Linearization Algorithms for Fully Composite Optimization [61.20539085730636]
本稿では,完全合成最適化問題を凸コンパクト集合で解くための一階アルゴリズムについて検討する。
微分可能および非微分可能を別々に扱い、滑らかな部分のみを線形化することで目的の構造を利用する。
論文 参考訳(メタデータ) (2023-02-24T18:41:48Z) - Faster Riemannian Newton-type Optimization by Subsampling and Cubic
Regularization [3.867143522757309]
この研究は、制約集合が多様体構造を意味するような制約付き大規模非制約最適化に関するものである。
本稿では,収束性の向上と計算コストの削減を目的とした2階サドル最適化アルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-02-22T00:37:44Z) - Extrinsic Bayesian Optimizations on Manifolds [1.3477333339913569]
オイクリッド多様体上の一般最適化問題に対する外部ベイズ最適化(eBO)フレームワークを提案する。
我々のアプローチは、まず多様体を高次元空間に埋め込むことによって、外部ガウス過程を採用することである。
これにより、複素多様体上の最適化のための効率的でスケーラブルなアルゴリズムが導かれる。
論文 参考訳(メタデータ) (2022-12-21T06:10:12Z) - The Dynamics of Riemannian Robbins-Monro Algorithms [101.29301565229265]
本稿では,Robins と Monro のセミナル近似フレームワークを一般化し拡張するリーマンアルゴリズムの族を提案する。
ユークリッドのそれと比較すると、リーマンのアルゴリズムは多様体上の大域線型構造が欠如しているため、はるかに理解されていない。
ユークリッド・ロビンス=モンロスキームの既存の理論を反映し拡張するほぼ確実な収束結果の一般的なテンプレートを提供する。
論文 参考訳(メタデータ) (2022-06-14T12:30:11Z) - First-Order Algorithms for Min-Max Optimization in Geodesic Metric
Spaces [93.35384756718868]
min-maxアルゴリズムはユークリッド設定で解析されている。
指数関数法 (RCEG) が線形速度で最終収束を補正したことを証明した。
論文 参考訳(メタデータ) (2022-06-04T18:53:44Z) - Amortized Implicit Differentiation for Stochastic Bilevel Optimization [53.12363770169761]
決定論的条件と決定論的条件の両方において、二段階最適化問題を解決するアルゴリズムのクラスについて検討する。
厳密な勾配の推定を補正するために、ウォームスタート戦略を利用する。
このフレームワークを用いることで、これらのアルゴリズムは勾配の偏りのない推定値にアクセス可能な手法の計算複雑性と一致することを示す。
論文 参考訳(メタデータ) (2021-11-29T15:10:09Z) - On Riemannian Approach for Constrained Optimization Model in Extreme
Classification Problems [2.7436792484073638]
制約付き最適化問題は行列多様体上の最適化問題として定式化される。
提案手法は,複数の実世界の大規模マルチラベルデータセットで検証される。
論文 参考訳(メタデータ) (2021-09-30T11:28:35Z) - Enhanced Bilevel Optimization via Bregman Distance [104.96004056928474]
本稿では,Bregman Bregman関数に基づく二段階最適化手法を提案する。
また,分散還元法によるSBiO-BreD法(ASBiO-BreD)の高速化版も提案する。
論文 参考訳(メタデータ) (2021-07-26T16:18:43Z) - Trilevel and Multilevel Optimization using Monotone Operator Theory [5.927983571004003]
そこで我々は,2つの下位層の目的が滑らかな項と非滑らかな項の和からなる三段階最適化問題を考える。
自然一階法アルゴリズムを提案し,その収束率と収束率をいくつかのパラメーターで解析する。
論文 参考訳(メタデータ) (2021-05-19T21:31:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。