論文の概要: Provably Convergent Federated Trilevel Learning

• arxiv url: http://arxiv.org/abs/2312.11835v2
• Date: Mon, 22 Jan 2024 02:48:48 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-23 19:38:36.331357
• Title: Provably Convergent Federated Trilevel Learning
• Title（参考訳）: 有理収束型フェデレート三段階学習
• Authors: Yang Jiao, Kai Yang, Tiancheng Wu, Chengtao Jian, Jianwei Huang
• Abstract要約: 三段階学習は三段階最適化(TLO)とも呼ばれ、意思決定プロセスの強力なモデリングツールとして認識されている。 本稿では,TLO問題を解決するために,非同期なフェデレーショントリレベル最適化手法を提案する。
• 参考スコア（独自算出の注目度）: 19.15328400013401
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Trilevel learning, also called trilevel optimization (TLO), has been recognized as a powerful modelling tool for hierarchical decision process and widely applied in many machine learning applications, such as robust neural architecture search, hyperparameter optimization, and domain adaptation. Tackling TLO problems has presented a great challenge due to their nested decision-making structure. In addition, existing works on TLO face the following key challenges: 1) they all focus on the non-distributed setting, which may lead to privacy breach; 2) they do not offer any non-asymptotic convergence analysis which characterizes how fast an algorithm converges. To address the aforementioned challenges, this paper proposes an asynchronous federated trilevel optimization method to solve TLO problems. The proposed method utilizes $\mu$-cuts to construct a hyper-polyhedral approximation for the TLO problem and solve it in an asynchronous manner. We demonstrate that the proposed $\mu$-cuts are applicable to not only convex functions but also a wide range of non-convex functions that meet the $\mu$-weakly convex assumption. Furthermore, we theoretically analyze the non-asymptotic convergence rate for the proposed method by showing its iteration complexity to obtain $\epsilon$-stationary point is upper bounded by $\mathcal{O}(\frac{1}{\epsilon^2})$. Extensive experiments on real-world datasets have been conducted to elucidate the superiority of the proposed method, e.g., it has a faster convergence rate with a maximum acceleration of approximately 80$\%$.
• Abstract（参考訳）: trilevel learning、別名trilevel optimization(tlo)は、階層的意思決定プロセスのための強力なモデリングツールとして認識されており、ロバストなニューラルネットワーク探索、ハイパーパラメータ最適化、ドメイン適応など、多くの機械学習アプリケーションで広く使われている。 TLO問題に取り組むことは、ネストした意思決定構造のために大きな課題となっている。 さらに、TLOに関する既存の研究は、以下の大きな課題に直面している。 1) いずれも,プライバシー侵害につながる可能性のある非分散設定に焦点を当てている。 2) アルゴリズムの収束速度を特徴付ける非漸近収束解析は提供していない。 上記の課題に対処するため,本稿では,tlo問題を解くための非同期連帯三レベル最適化手法を提案する。 提案手法は,TLO問題に対する超多面体近似を構築し,非同期に解くために$\mu$-cutsを利用する。 提案された$\mu$-cutsは、凸関数だけでなく、$\mu$-weakly convexの仮定を満たす幅広い非凸関数にも適用可能であることを示す。 さらに,提案手法の非漸近収束率を理論的に解析し,その反復複雑性を示すことにより,$\epsilon$-定常点を$\mathcal{o}(\frac{1}{\epsilon^2})$で有界とする。 提案手法の優位性を明らかにするために, 実世界のデータセットに対する大規模な実験が行われ, 最大速度約80$\%$の収束速度が向上した。

関連論文リスト

• Optimal Hessian/Jacobian-Free Nonconvex-PL Bilevel Optimization [25.438298531555468]
  双レベル最適化は、ハイパーラーニング、メタラーニング、強化ラーニングなど、多くの機械学習タスクに広く適用されている。 最適収束$frac1TT(Hessian/BiO法)を軽度条件下で提案する。 バイレベルゲーム超定常数値収束に関するいくつかの実験を行う。
  論文  参考訳（メタデータ） (2024-07-25T07:25:06Z)
• Adaptive Variance Reduction for Stochastic Optimization under Weaker Assumptions [26.543628010637036]
  非函数に対して$mathcalO(log T)$の最適収束率を達成する新しい適応還元法を導入する。 また、提案手法を拡張して、合成最適化のために$mathcalO(log T)$と同じ最適率を得る。
  論文  参考訳（メタデータ） (2024-06-04T04:39:51Z)
• An Optimization-based Deep Equilibrium Model for Hyperspectral Image Deconvolution with Convergence Guarantees [71.57324258813675]
  本稿では,ハイパースペクトル画像のデコンボリューション問題に対処する新しい手法を提案する。 新しい最適化問題を定式化し、学習可能な正規化器をニューラルネットワークの形で活用する。 導出した反復解法は、Deep Equilibriumフレームワーク内の不動点計算問題として表現される。
  論文  参考訳（メタデータ） (2023-06-10T08:25:16Z)
• Stochastic Inexact Augmented Lagrangian Method for Nonconvex Expectation Constrained Optimization [88.0031283949404]
  多くの実世界の問題は複雑な非機能的制約を持ち、多くのデータポイントを使用する。 提案手法は,従来最もよく知られた結果で既存手法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2022-12-19T14:48:54Z)
• A Variance-Reduced Stochastic Gradient Tracking Algorithm for Decentralized Optimization with Orthogonality Constraints [7.028225540638832]
  直交制約付き分散最適化のための新しいアルゴリズムを提案する。 VRSGTは、サンプリングと通信の複雑さを同時に低減する直交制約付き分散最適化のための最初のアルゴリズムである。 数値実験では、VRGTSは現実の自律的なサンプルにおいて有望な性能を持つ。
  論文  参考訳（メタデータ） (2022-08-29T14:46:44Z)
• Faster Algorithm and Sharper Analysis for Constrained Markov Decision Process [56.55075925645864]
  制約付き意思決定プロセス (CMDP) の問題点について検討し, エージェントは, 複数の制約を条件として, 期待される累積割引報酬を最大化することを目的とする。 新しいユーティリティ・デュアル凸法は、正規化ポリシー、双対正則化、ネステロフの勾配降下双対という3つの要素の新たな統合によって提案される。 これは、凸制約を受ける全ての複雑性最適化に対して、非凸CMDP問題が$mathcal O (1/epsilon)$の低い境界に達する最初の実演である。
  論文  参考訳（メタデータ） (2021-10-20T02:57:21Z)
• Momentum Accelerates the Convergence of Stochastic AUPRC Maximization [80.8226518642952]
  高精度リコール曲線(AUPRC)に基づく領域の最適化について検討し,不均衡なタスクに広く利用されている。 我々は、$O (1/epsilon4)$のより優れた反復による、$epsilon$定常解を見つけるための新しい運動量法を開発する。 また,O(1/epsilon4)$と同じ複雑さを持つ適応手法の新たなファミリを設計し,実際により高速な収束を享受する。
  論文  参考訳（メタデータ） (2021-07-02T16:21:52Z)
• Efficient Methods for Structured Nonconvex-Nonconcave Min-Max Optimization [98.0595480384208]
  定常点に収束する一般化外空間を提案する。 このアルゴリズムは一般の$p$ノルド空間だけでなく、一般の$p$次元ベクトル空間にも適用される。
  論文  参考訳（メタデータ） (2020-10-31T21:35:42Z)
• A Feasible Level Proximal Point Method for Nonconvex Sparse Constrained Optimization [25.73397307080647]
  本稿では,汎用凸あるいは非汎用機械目標の新しいモデルを提案する。 本稿では,各サブプロブレムの点レベルを徐々に緩和した制約を解くアルゴリズムを提案する。 我々は,新しい数値スケール問題の有効性を実証する。
  論文  参考訳（メタデータ） (2020-10-23T05:24:05Z)
• Fast Objective & Duality Gap Convergence for Non-Convex Strongly-Concave Min-Max Problems with PL Condition [52.08417569774822]
  本稿では,深層学習(深層AUC)により注目度が高まっている,円滑な非凹部min-max問題の解法に焦点をあてる。
  論文  参考訳（メタデータ） (2020-06-12T00:32:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。