論文の概要: DUET: Decentralized Bilevel Optimization without Lower-Level Strong Convexity

• arxiv url: http://arxiv.org/abs/2606.21153v1
• Date: Fri, 19 Jun 2026 06:45:13 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-06-23 11:33:52.514975
• Title: DUET: Decentralized Bilevel Optimization without Lower-Level Strong Convexity
• Title（参考訳）: DUET:低レベル強い凸性のない分散二レベル最適化
• Authors: Zhen Qin, Zhuqing Liu, Songtao Lu, Yingbin Liang, Jia Liu,
• Abstract要約: 二次正規化二段階分散最適化 (DUET) と呼ばれる新しい単一ループDBOアルゴリズムを導入する。 DUETは、低レベル(LL)の目的に2次正規化を減少させることにより、LLSCの必要性を排除する。 我々の知る限りでは、データを不均一に分散した設定の下でLLSCなしでDBOに取り組むのは、これが初めてです。
• 参考スコア（独自算出の注目度）: 77.51981761667302
• License:
• Abstract: Decentralized bilevel optimization (DBO) provides a powerful framework for multi-agent systems to solve local bilevel tasks in a decentralized fashion without the need for a central server. However, most existing DBO methods rely on lower-level strong convexity (LLSC) to guarantee unique solutions and a well-defined hypergradient for stationarity measure, hindering their applicability in many practical scenarios not satisfying LLSC. To overcome this limitation, we introduce a new single-loop DBO algorithm called diminishing quadratically-regularized bilevel decentralized optimization (DUET), which eliminates the need for LLSC by introducing a diminishing quadratic regularization to the lower-level (LL) objective. We show that DUET achieves an iteration complexity of $O(1/T^{1-5p-\frac{11}{4}τ})$ for approximate KKT-stationary point convergence under relaxed assumptions, where $p$ and $τ$ are control parameters for LL learning rate and averaging, respectively. In addition, our DUET algorithm incorporates gradient tracking to address data heterogeneity, a key challenge in DBO settings. To the best of our knowledge, this is the first work to tackle DBO without LLSC under decentralized settings with data heterogeneity. Numerical experiments validate the theoretical findings and demonstrate the practical effectiveness of our proposed algorithms.
• Abstract（参考訳）: 分散二段階最適化(DBO)は、中央サーバを必要とせずに、ローカル二段階タスクを分散的に解決する、マルチエージェントシステムのための強力なフレームワークを提供する。 しかし、既存のDBO法の多くは、ユニークな解を保証するために低レベルの強い凸性 (LLSC) に依存しており、定常度測定のための明確に定義された過次性は、LLSCを満足しない多くの実践シナリオにおいて適用性を妨げている。 この制限を克服するため,低次(LL)目標に対して2次正規化を減少させることによりLLSCの必要性を解消する,DBOアルゴリズムを新たに導入した。 そこで, DUET は LL 学習率と平均化の制御パラメータが $p$ と $τ$ であるような緩和された仮定の下で, 近似 KKT-定常点収束に対して $O(1/T^{1-5p-\frac{11}{4}τ})$ の反復複雑性を実現することを示す。 さらに,DBO設定において重要な課題であるデータ不均一性に対処するために,勾配追跡を組み込んだDUETアルゴリズムを提案する。 私たちの知る限りでは、データを不均一に分散した設定の下でLLSCなしでDBOに取り組むのは、これが初めてです。 数値実験により理論的結果が検証され,提案アルゴリズムの有効性が実証された。

関連論文リスト

• Efficient Penalty-Based Bilevel Methods: Improved Analysis, Novel Updates, and Flatness Condition [51.22672287601796]
  ペナルティに基づく手法は、双レベル最適化(BLO)問題を解くのに人気がある。 それらはしばしば、大きなペナルティ項によって引き起こされる滑らかさの増加に対応するために、低レベル(LL)問題と小さな外ループステップサイズを解決するためにインナーループ反復を必要とする。 この研究は、結合制約(CC)を伴う一般的なBLO問題を考察し、上位変数と下位変数を分離する新しいペナルティ改革を活用する。
  論文  参考訳（メタデータ） (2025-11-20T20:48:14Z)
• A Communication and Computation Efficient Fully First-order Method for Decentralized Bilevel Optimization [16.020878731214083]
  本稿では,分散バイレベル最適化のための完全一階分散手法である$textC2$DFBを提案する。 $textC2$DFBは計算効率と通信効率の両方です。
  論文  参考訳（メタデータ） (2024-10-18T02:00:45Z)
• A Primal-Dual-Assisted Penalty Approach to Bilevel Optimization with Coupled Constraints [66.61399765513383]
  We developed a BLOCC algorithm to tackle BiLevel Optimization problems with Coupled Constraints。 2つのよく知られた実世界のアプリケーションでその効果を実証する。
  論文  参考訳（メタデータ） (2024-06-14T15:59:36Z)
• DFedADMM: Dual Constraints Controlled Model Inconsistency for Decentralized Federated Learning [52.83811558753284]
  分散学習(DFL)は、中央サーバーを捨て、分散通信ネットワークを確立する。 既存のDFL手法は依然として、局所的な矛盾と局所的な過度なオーバーフィッティングという2つの大きな課題に悩まされている。
  論文  参考訳（メタデータ） (2023-08-16T11:22:36Z)
• Averaged Method of Multipliers for Bi-Level Optimization without Lower-Level Strong Convexity [43.092883358935545]
  単ループ二値乗算器 (sl-BAMM) を両レベル最適化 (BLO) のために提案する。 我々は, sl-BAMMのKKT定常点への非漸近収束解析を行い, 解析の利点は強い勾配有界性仮定の欠如にある。
  論文  参考訳（メタデータ） (2023-02-07T11:29:05Z)
• Asynchronous Distributed Bilevel Optimization [20.074079852690048]
  本稿では,双方向最適化問題に対処するため,非同期分散双レベル(ADBO)アルゴリズムを提案する。 ADBOが$epsilon$-定常点を得る複雑さは$mathcalO(frac1epsilon 2)$によって上界される。
  論文  参考訳（メタデータ） (2022-12-20T07:44:48Z)
• DIAMOND: Taming Sample and Communication Complexities in Decentralized Bilevel Optimization [27.317118892531827]
  我々は、DIAMOND(運動量と勾配追跡を伴う分散単時間スケール近似)と呼ばれる新しい分散二段階最適化を開発する。 我々はDIAMONDが$mathcalO(epsilon-3/2)$をサンプルと通信の複雑さで楽しむことを示し、$epsilon$-stationaryソリューションを実現する。
  論文  参考訳（メタデータ） (2022-12-05T15:58:00Z)
• A Generic First-Order Algorithmic Framework for Bi-Level Programming Beyond Lower-Level Singleton [49.23948907229656]
  Bi-level Descent Aggregationは、汎用的な双方向最適化のためのフレキシブルでモジュール化されたアルゴリズムフレームワークである。 LLS条件なしでBDAの収束を証明する新しい手法を導出する。 我々の研究は、BDAが特定の一階計算モジュールの検証と互換性があることも示している。
  論文  参考訳（メタデータ） (2020-06-07T05:18:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。