論文の概要: Towards Gradient-based Bilevel Optimization with Non-convex Followers and Beyond

• arxiv url: http://arxiv.org/abs/2110.00455v1
• Date: Fri, 1 Oct 2021 14:41:17 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-04 18:43:46.595737
• Title: Towards Gradient-based Bilevel Optimization with Non-convex Followers and Beyond
• Title（参考訳）: 非凸追従器を用いた勾配二値最適化に向けて
• Authors: Risheng Liu, Yaohua Liu, Shangzhi Zeng, Jin Zhang
• Abstract要約: Bi-LevelLOcation (BLO)は、学習コミュニティとビジョンコミュニティの両方から大きな注目を集めている。 我々はAuxiliaryization and Pessimy Truncated Gradient (IAPTT-GM)という新しいBLOのクラスを提案する。 特に,最適化力学を導く補助的手法を導入し,トラルン演算を設計することにより,元のBLO LLCの信頼性の高い近似バージョンを構築する。
• 参考スコア（独自算出の注目度）: 37.89147034158937
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In recent years, Bi-Level Optimization (BLO) techniques have received extensive attentions from both learning and vision communities. A variety of BLO models in complex and practical tasks are of non-convex follower structure in nature (a.k.a., without Lower-Level Convexity, LLC for short). However, this challenging class of BLOs is lack of developments on both efficient solution strategies and solid theoretical guarantees. In this work, we propose a new algorithmic framework, named Initialization Auxiliary and Pessimistic Trajectory Truncated Gradient Method (IAPTT-GM), to partially address the above issues. In particular, by introducing an auxiliary as initialization to guide the optimization dynamics and designing a pessimistic trajectory truncation operation, we construct a reliable approximate version of the original BLO in the absence of LLC hypothesis. Our theoretical investigations establish the convergence of solutions returned by IAPTT-GM towards those of the original BLO without LLC. As an additional bonus, we also theoretically justify the quality of our IAPTT-GM embedded with Nesterov's accelerated dynamics under LLC. The experimental results confirm both the convergence of our algorithm without LLC, and the theoretical findings under LLC.
• Abstract（参考訳）: 近年、BLO(Bi-Level Optimization)技術は、学習コミュニティと視覚コミュニティの両方から大きな注目を集めている。 複雑で実践的なタスクにおける様々なBLOモデルは、自然界における非凸追従構造(略して低レベル凸構造 LLC)である。 しかし、この難解なBLOのクラスは、効率的な解法戦略と確固たる理論的保証の両方に関する開発の欠如である。 本研究では,この問題を部分的に解決するために,IAPTT-GM(Initialization Auxiliary and Pessimistic Trajectory Truncated Gradient Method)という新しいアルゴリズムフレームワークを提案する。 特に,最適化力学を導出する補助的な初期化を導入し,悲観的トラジェクトリトランケーション演算を設計することにより,LLC仮説を欠いた元のBLOの信頼性の高い近似バージョンを構築する。 我々の理論的研究は、IAPTT-GMがLLCのない元のBLOの解に対する解の収束を確立する。 追加のボーナスとして、ネステロフの加速力学をLLCの下で組み込んだIAPTT-GMの品質を理論的に正当化する。 実験結果から,LLCを含まないアルゴリズムの収束と,LLCによる理論的結果が確認できた。

関連論文リスト

• Provably Faster Algorithms for Bilevel Optimization via Without-Replacement Sampling [96.47086913559289]
  勾配に基づくアルゴリズムはバイレベル最適化に広く用いられている。 本研究では,より高速な収束率を実現する非置換サンプリングに基づくアルゴリズムを提案する。 合成および実世界の両方のアプリケーションに対してアルゴリズムを検証する。
  論文  参考訳（メタデータ） (2024-11-07T17:05:31Z)
• Moreau Envelope for Nonconvex Bi-Level Optimization: A Single-loop and Hessian-free Solution Strategy [45.982542530484274]
  大規模非ビレベル問題(BLO)は、機械学習にますます適用されている。 これらの課題には、計算効率の確保と理論的保証が伴う。
  論文  参考訳（メタデータ） (2024-05-16T09:33:28Z)
• Communication-Efficient Federated Bilevel Optimization with Local and Global Lower Level Problems [118.00379425831566]
  我々はFedBiOAccという通信効率の高いアルゴリズムを提案する。 我々は、FedBiOAcc-Localがこの種の問題に対して同じ速度で収束していることを証明する。 実験結果から,アルゴリズムの性能が向上した。
  論文  参考訳（メタデータ） (2023-02-13T21:28:53Z)
• Averaged Method of Multipliers for Bi-Level Optimization without Lower-Level Strong Convexity [43.092883358935545]
  単ループ二値乗算器 (sl-BAMM) を両レベル最適化 (BLO) のために提案する。 我々は, sl-BAMMのKKT定常点への非漸近収束解析を行い, 解析の利点は強い勾配有界性仮定の欠如にある。
  論文  参考訳（メタデータ） (2023-02-07T11:29:05Z)
• ES-Based Jacobian Enables Faster Bilevel Optimization [53.675623215542515]
  バイレベル最適化(BO)は多くの現代の機械学習問題を解決する強力なツールとして生まれてきた。 既存の勾配法では、ヤコビアンあるいはヘッセンベクトル計算による二階微分近似が必要となる。 本稿では,進化戦略(ES)に基づく新しいBOアルゴリズムを提案し,BOの過勾配における応答ヤコビ行列を近似する。
  論文  参考訳（メタデータ） (2021-10-13T19:36:50Z)
• Value-Function-based Sequential Minimization for Bi-level Optimization [52.39882976848064]
  勾配に基づくBi-Level Optimization (BLO)法は、現代の学習課題に広く応用されている。 機能的制約のあるBLOや悲観的なBLOなど、難解なシナリオでBLOを解くことができる勾配ベースの方法はほとんどない。 上記の問題に対処するために,BVFSM(Bi-level Value-Function-based Sequential Minimization)を提案する。
  論文  参考訳（メタデータ） (2021-10-11T03:13:39Z)
• A Generic Descent Aggregation Framework for Gradient-based Bi-level Optimization [41.894281911990554]
  両レベル学習タスクのための新しいBDA(Bi-level Descent Aggregation)フレームワークを開発した。 BDAは上層と下層の両方の階層的目的を集約する。 従来の勾配に基づくbiレベル法の収束結果を改善するための新しい証明法を提案する。
  論文  参考訳（メタデータ） (2021-02-16T06:58:12Z)
• A Generic First-Order Algorithmic Framework for Bi-Level Programming Beyond Lower-Level Singleton [49.23948907229656]
  Bi-level Descent Aggregationは、汎用的な双方向最適化のためのフレキシブルでモジュール化されたアルゴリズムフレームワークである。 LLS条件なしでBDAの収束を証明する新しい手法を導出する。 我々の研究は、BDAが特定の一階計算モジュールの検証と互換性があることも示している。
  論文  参考訳（メタデータ） (2020-06-07T05:18:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。