論文の概要: Min-Max Bilevel Multi-objective Optimization with Applications in Machine Learning

• arxiv url: http://arxiv.org/abs/2203.01924v1
• Date: Thu, 3 Mar 2022 18:56:13 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-04 17:12:24.559038
• Title: Min-Max Bilevel Multi-objective Optimization with Applications in Machine Learning
• Title（参考訳）: Min-Max Bilevel Multi-Objective Optimizationと機械学習への応用
• Authors: Alex Gu, Songtao Lu, Parikshit Ram, Lily Weng
• Abstract要約: 本稿では,min-maxバイレベル多目的最適化フレームワークを提案する。 表現学習と超目的学習の応用を強調している。
• 参考スコア（独自算出の注目度）: 30.25074797092709
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper is the first to propose a generic min-max bilevel multi-objective optimization framework, highlighting applications in representation learning and hyperparameter optimization. In many machine learning applications such as meta-learning, multi-task learning, and representation learning, a subset of the parameters are shared by all the tasks, while each specific task has its own set of additional parameters. By leveraging the recent advances of nonconvex min-max optimization, we propose a gradient descent-ascent bilevel optimization (MORBiT) algorithm which is able to extract a set of shared parameters that is robust over all tasks and further overcomes the distributional shift between training and testing tasks. Theoretical analyses show that MORBiT converges to the first-order stationary point at a rate of $\mathcal{O}(\sqrt{n}K^{-2/5})$ for a class of nonconvex problems, where $K$ denotes the total number of iterations and $n$ denotes the number of tasks. Overall, we formulate a min-max bilevel multi-objective optimization problem, provide a single loop two-timescale algorithm with convergence rate guarantees, and show theoretical bounds on the generalization abilities of the optimizer. Experimental results on sinusoid regression and representation learning showcase the superiority of MORBiT over state-of-the-art methods, validating our convergence and generalization results.
• Abstract（参考訳）: 本稿では,表現学習とハイパーパラメータ最適化の応用を強調する,汎用的min-max多目的最適化フレームワークを提案する。 メタラーニング、マルチタスク学習、表現学習といった多くの機械学習アプリケーションでは、パラメータのサブセットはすべてのタスクで共有され、各タスクは独自のパラメータセットを持っている。 非凸min-max最適化の最近の進歩を活かし,すべてのタスクに対して頑健な共有パラメータのセットを抽出し,さらにトレーニングとテストタスク間の分散シフトを克服できる,勾配下降2レベル最適化(morbit)アルゴリズムを提案する。 理論的解析によれば、MORBiT は非凸問題のクラスに対して $\mathcal{O}(\sqrt{n}K^{-2/5})$ の速度で一階定常点に収束し、$K$ は反復の総数を表し、$n$ はタスクの数を表す。 全体として、min-max二値多目的最適化問題を定式化し、収束率保証付き単一ループ2時間スケールアルゴリズムを提供し、最適化器の一般化能力に関する理論的境界を示す。 正弦波回帰と表現学習の実験結果は、最先端法よりもモービットが優れていることを示し、我々の収束と一般化の結果を検証する。

関連論文リスト

• Global Optimization of Gaussian Process Acquisition Functions Using a Piecewise-Linear Kernel Approximation [2.3342885570554652]
  本稿では,プロセスカーネルに対する一括近似と,取得関数に対するMIQP表現を紹介する。 我々は,合成関数,制約付きベンチマーク,ハイパーチューニングタスクに関するフレームワークを実証的に実証した。
  論文  参考訳（メタデータ） (2024-10-22T10:56:52Z)
• Federated Conditional Stochastic Optimization [110.513884892319]
  条件付き最適化は、不変学習タスク、AUPRC、AMLなど、幅広い機械学習タスクで見られる。 本稿では,分散フェデレーション学習のためのアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-10-04T01:47:37Z)
• Low-Rank Multitask Learning based on Tensorized SVMs and LSSVMs [65.42104819071444]
  マルチタスク学習(MTL)はタスク関連性を活用して性能を向上させる。 タスクインデックスに対応する各モードを持つ高次テンソルを用いて、複数のインデックスが参照するタスクを自然に表現する。 テンソル化サポートベクターマシン(SVM)と最小2乗サポートベクターマシン(LSSVM)を併用した低ランクMTL手法の汎用フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-30T14:28:26Z)
• Pareto Manifold Learning: Tackling multiple tasks via ensembles of single-task models [50.33956216274694]
  マルチタスク学習(MTL)では、タスクは、ソリューションへの最適化を導くのではなく、互いに達成したパフォーマンスを競い、制限することができる。 重み空間におけるアンサンブル手法であるTextitPareto Manifold Learningを提案する。
  論文  参考訳（メタデータ） (2022-10-18T11:20:54Z)
• Decentralized Gossip-Based Stochastic Bilevel Optimization over Communication Networks [42.76623191830371]
  本稿では,ゴシップに基づく分散二段階最適化アルゴリズムを提案する。 エージェントはネットワークと外部の両方の問題を一度に解くことができる。 我々のアルゴリズムは最先端の効率とテスト精度を達成する。
  論文  参考訳（メタデータ） (2022-06-22T06:38:54Z)
• Multi-block Min-max Bilevel Optimization with Applications in Multi-task Deep AUC Maximization [36.743632418094]
  マルチブロックのmin-max双レベル最適化問題に対処するシングルループアルゴリズムを提案する。 我々のアルゴリズムは数百のタスクで問題に取り組むのに利用できることを示す。
  論文  参考訳（メタデータ） (2022-06-01T06:42:36Z)
• Bilevel Optimization for Machine Learning: Algorithm Design and Convergence Analysis [12.680169619392695]
  この論文は、2レベル最適化アルゴリズムに対する総合収束率解析を提供する。 問題に基づく定式化では、AIDおよびITDに基づく2レベルアルゴリズムの収束率解析を行う。 そこで我々は,ゆるやかな仮定で形状収束解析を行う加速バイレベルアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2021-07-31T22:05:47Z)
• Minimax Optimization with Smooth Algorithmic Adversaries [59.47122537182611]
  対戦相手が展開するスムーズなアルゴリズムに対して,Min-playerの新しいアルゴリズムを提案する。 本アルゴリズムは,制限周期のない単調進行を保証し,適切な勾配上昇数を求める。
  論文  参考訳（メタデータ） (2021-06-02T22:03:36Z)
• Recent Theoretical Advances in Non-Convex Optimization [56.88981258425256]
  近年、深層ネットワークにおける非最適化アルゴリズムの解析やデータ問題への関心が高まっており、非最適化のための理論的最適化アルゴリズムの最近の結果の概要を概説する。
  論文  参考訳（メタデータ） (2020-12-11T08:28:51Z)
• Bilevel Optimization: Convergence Analysis and Enhanced Design [63.64636047748605]
  バイレベル最適化は多くの機械学習問題に対するツールである。 Stoc-BiO という新しい確率効率勾配推定器を提案する。
  論文  参考訳（メタデータ） (2020-10-15T18:09:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。