論文の概要: A Framework for Bilevel Optimization on Riemannian Manifolds
- arxiv url: http://arxiv.org/abs/2402.03883v1
- Date: Tue, 6 Feb 2024 10:45:51 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-07 15:16:39.392432
- Title: A Framework for Bilevel Optimization on Riemannian Manifolds
- Title（参考訳）: リーマン多様体上の双レベル最適化の枠組み
- Authors: Andi Han, Bamdev Mishra, Pratik Jawanpuria, Akiko Takeda
- Abstract要約: バイレベル最適化は、様々な分野のアプリケーションに存在感を増している。
本研究では、リーマン多様体上で下層および上層問題の変数が制約される双位最適化問題を解くための枠組みを提案する。
本研究では,888-269-5556上での過次推定手法を提案し,その推定誤差について検討する。
各種アプリケーションにおける提案フレームワークの有用性について紹介する。
- 参考スコア（独自算出の注目度）: 17.647523412871628
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Bilevel optimization has seen an increasing presence in various domains of
applications. In this work, we propose a framework for solving bilevel
optimization problems where variables of both lower and upper level problems
are constrained on Riemannian manifolds. We provide several hypergradient
estimation strategies on manifolds and study their estimation error. We provide
convergence and complexity analysis for the proposed hypergradient descent
algorithm on manifolds. We also extend the developments to stochastic bilevel
optimization and to the use of general retraction. We showcase the utility of
the proposed framework on various applications.
- Abstract（参考訳）: バイレベル最適化は、様々な分野のアプリケーションに存在感を増している。
本研究では,下層および上層問題の変数がリーマン多様体上で制約されるような二段階最適化問題の解法を提案する。
多様体上の過次推定戦略を複数提供し,その推定誤差について検討する。
多様体上の超勾配降下アルゴリズムの収束と複雑性解析を提供する。
また、確率的二段階最適化や一般リトラクションの利用にも発展を拡大する。
各種アプリケーションにおける提案フレームワークの有用性について紹介する。
関連論文リスト
- Towards Differentiable Multilevel Optimization: A Gradient-Based Approach [1.6114012813668932]
本稿では,多レベル最適化のための新しい勾配に基づくアプローチを提案する。
本手法は解の精度と収束速度を両立させながら計算複雑性を著しく低減する。
私たちの知る限りでは、これは暗黙の微分の一般的なバージョンを提供する最初のアルゴリズムの1つである。
論文 参考訳（メタデータ） (2024-10-15T06:17:59Z) - SPABA: A Single-Loop and Probabilistic Stochastic Bilevel Algorithm Achieving Optimal Sample Complexity [5.046146134689904]
SPABAを実装する際には,双レベル最適化と単レベル最適化の間に複雑性解析のギャップがないことが示されている。
本稿では,複雑性解析の状況を改善するために,他の2ループあるいはネストした2レベルアルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-05-29T05:36:03Z) - Contextual Stochastic Bilevel Optimization [50.36775806399861]
文脈情報と上層変数の期待を最小化する2レベル最適化フレームワークCSBOを導入する。
メタラーニング、パーソナライズドラーニング、エンド・ツー・エンドラーニング、Wassersteinはサイド情報(WDRO-SI)を分散的に最適化している。
論文 参考訳（メタデータ） (2023-10-27T23:24:37Z) - Linearization Algorithms for Fully Composite Optimization [61.20539085730636]
本稿では,完全合成最適化問題を凸コンパクト集合で解くための一階アルゴリズムについて検討する。
微分可能および非微分可能を別々に扱い、滑らかな部分のみを線形化することで目的の構造を利用する。
論文 参考訳（メタデータ） (2023-02-24T18:41:48Z) - Faster Riemannian Newton-type Optimization by Subsampling and Cubic
Regularization [3.867143522757309]
この研究は、制約集合が多様体構造を意味するような制約付き大規模非制約最適化に関するものである。
本稿では,収束性の向上と計算コストの削減を目的とした2階サドル最適化アルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-02-22T00:37:44Z) - Amortized Implicit Differentiation for Stochastic Bilevel Optimization [53.12363770169761]
決定論的条件と決定論的条件の両方において、二段階最適化問題を解決するアルゴリズムのクラスについて検討する。
厳密な勾配の推定を補正するために、ウォームスタート戦略を利用する。
このフレームワークを用いることで、これらのアルゴリズムは勾配の偏りのない推定値にアクセス可能な手法の計算複雑性と一致することを示す。
論文 参考訳（メタデータ） (2021-11-29T15:10:09Z) - Enhanced Bilevel Optimization via Bregman Distance [104.96004056928474]
本稿では,Bregman Bregman関数に基づく二段階最適化手法を提案する。
また,分散還元法によるSBiO-BreD法(ASBiO-BreD)の高速化版も提案する。
論文 参考訳（メタデータ） (2021-07-26T16:18:43Z) - Unified Convergence Analysis for Adaptive Optimization with Moving Average Estimator [75.05106948314956]
1次モーメントに対する大きな運動量パラメータの増大は適応的スケーリングに十分であることを示す。
また,段階的に減少するステップサイズに応じて,段階的に運動量を増加させるための洞察を与える。
論文 参考訳（メタデータ） (2021-04-30T08:50:24Z) - A Generic Descent Aggregation Framework for Gradient-based Bi-level
Optimization [41.894281911990554]
両レベル学習タスクのための新しいBDA(Bi-level Descent Aggregation)フレームワークを開発した。
BDAは上層と下層の両方の階層的目的を集約する。
従来の勾配に基づくbiレベル法の収束結果を改善するための新しい証明法を提案する。
論文 参考訳（メタデータ） (2021-02-16T06:58:12Z) - Bilevel Optimization: Convergence Analysis and Enhanced Design [63.64636047748605]
バイレベル最適化は多くの機械学習問題に対するツールである。
Stoc-BiO という新しい確率効率勾配推定器を提案する。
論文 参考訳（メタデータ） (2020-10-15T18:09:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。