論文の概要: Unlocking Global Optimality in Bilevel Optimization: A Pilot Study

• arxiv url: http://arxiv.org/abs/2408.16087v1
• Date: Wed, 28 Aug 2024 18:34:54 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-30 17:43:40.855308
• Title: Unlocking Global Optimality in Bilevel Optimization: A Pilot Study
• Title（参考訳）: 双方向最適化におけるグローバルな最適性を解き放つ:パイロットスタディ
• Authors: Quan Xiao, Tianyi Chen,
• Abstract要約: バイレベル最適化は、機械学習アプリケーションにおける重要な役割を中心に、関心の復活を目撃している。 近年,多くの点や局所データを持つ効率的な手法を証明可能な表現で保証する手法が研究されている。 本稿では,地球環境における二段階最適化理論の確立に向けた課題について考察する。
• 参考スコア（独自算出の注目度）: 34.03577860935473
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Bilevel optimization has witnessed a resurgence of interest, driven by its critical role in trustworthy and efficient machine learning applications. Recent research has focused on proposing efficient methods with provable convergence guarantees. However, while many prior works have established convergence to stationary points or local minima, obtaining the global optimum of bilevel optimization remains an important yet open problem. The difficulty lies in the fact that unlike many prior non-convex single-level problems, this bilevel problem does not admit a ``benign" landscape, and may indeed have multiple spurious local solutions. Nevertheless, attaining the global optimality is indispensable for ensuring reliability, safety, and cost-effectiveness, particularly in high-stakes engineering applications that rely on bilevel optimization. In this paper, we first explore the challenges of establishing a global convergence theory for bilevel optimization, and present two sufficient conditions for global convergence. We provide algorithm-specific proofs to rigorously substantiate these sufficient conditions along the optimization trajectory, focusing on two specific bilevel learning scenarios: representation learning and data hypercleaning (a.k.a. reweighting). Experiments corroborate the theoretical findings, demonstrating convergence to global minimum in both cases.
• Abstract（参考訳）: バイレベル最適化は、信頼性が高く効率的な機械学習アプリケーションにおいて重要な役割を担っていることから、関心の復活を目撃している。 近年の研究では、証明可能な収束保証を伴う効率的な手法の提案に焦点が当てられている。 しかし、多くの先行研究が定常点や局所最小点への収束を確立しているが、双レベル最適化の大域的な最適化は依然として重要な問題である。 この難しさは、他の多くの非凸単層問題とは異なり、この二層問題には『良性』の風景が認められておらず、実際には複数の局所解が存在するという事実にある。 それでも、グローバルな最適性を達成することは、信頼性、安全性、コスト効率の確保に不可欠である。 本稿では,二段階最適化のための大域収束理論を確立する上での課題と,大域収束のための2つの条件について考察する。 我々は、アルゴリズム固有の証明を提供し、最適化軌道に沿って、表現学習とデータハイパークリーニング(再重み付け)という2つの特定の二段階学習シナリオに焦点を当て、これらの十分な条件を厳密に裏付ける。 実験は理論的な結果と相関し、両方のケースで世界最小値への収束を示す。

関連論文リスト

• Provably Faster Algorithms for Bilevel Optimization via Without-Replacement Sampling [96.47086913559289]
  勾配に基づくアルゴリズムはバイレベル最適化に広く用いられている。 本研究では,より高速な収束率を実現する非置換サンプリングに基づくアルゴリズムを提案する。 合成および実世界の両方のアプリケーションに対してアルゴリズムを検証する。
  論文  参考訳（メタデータ） (2024-11-07T17:05:31Z)
• A Primal-Dual-Assisted Penalty Approach to Bilevel Optimization with Coupled Constraints [66.61399765513383]
  We developed a BLOCC algorithm to tackle BiLevel Optimization problems with Coupled Constraints。 2つのよく知られた実世界のアプリケーションでその効果を実証する。
  論文  参考訳（メタデータ） (2024-06-14T15:59:36Z)
• Communication-Efficient Federated Bilevel Optimization with Local and Global Lower Level Problems [118.00379425831566]
  我々はFedBiOAccという通信効率の高いアルゴリズムを提案する。 我々は、FedBiOAcc-Localがこの種の問題に対して同じ速度で収束していることを証明する。 実験結果から,アルゴリズムの性能が向上した。
  論文  参考訳（メタデータ） (2023-02-13T21:28:53Z)
• Asynchronous Distributed Bilevel Optimization [20.074079852690048]
  本稿では,双方向最適化問題に対処するため,非同期分散双レベル(ADBO)アルゴリズムを提案する。 ADBOが$epsilon$-定常点を得る複雑さは$mathcalO(frac1epsilon 2)$によって上界される。
  論文  参考訳（メタデータ） (2022-12-20T07:44:48Z)
• Communication-Efficient Robust Federated Learning with Noisy Labels [144.31995882209932]
  フェデレーテッド・ラーニング(FL)は、分散した位置データの上で、将来性のあるプライバシ保護機械学習パラダイムである。 FLにおける雑音ラベルの効果を緩和する学習に基づく再重み付け手法を提案する。 提案手法は,複数の実世界のデータセットにおいて,各種ベースラインと比較して優れた性能を示した。
  論文  参考訳（メタデータ） (2022-06-11T16:21:17Z)
• A Constrained Optimization Approach to Bilevel Optimization with Multiple Inner Minima [49.320758794766185]
  そこで本研究では,両レベル問題を等価な制約付き最適化に変換する手法を提案する。 このようなアプローチには、(a)多重内極小問題への対処、(b)ジャコビアン計算のない完全一階効率など、いくつかの利点がある。
  論文  参考訳（メタデータ） (2022-03-01T18:20:01Z)
• AGGLIO: Global Optimization for Locally Convex Functions [5.221860952360943]
  本稿では,AGG(Accelerated Optimization Generalized LInear-model)をステージワイドでグローバルな手法として提案する。 AGGは、A-バッチSGD更新としてポイントを用いて容易に実装でき、証明可能な収束と収束実験を提供する。
  論文  参考訳（メタデータ） (2021-11-06T18:15:56Z)
• Fighting the curse of dimensionality: A machine learning approach to finding global optima [77.34726150561087]
  本稿では,構造最適化問題におけるグローバル最適化の方法を示す。 特定のコスト関数を利用することで、最適化手順が確立された場合と比較して、グローバルをベストに得るか、最悪の場合、優れた結果を得るかのどちらかを得る。
  論文  参考訳（メタデータ） (2021-10-28T09:50:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。