論文の概要: Implicit Bilevel Optimization: Differentiating through Bilevel Optimization Programming

• arxiv url: http://arxiv.org/abs/2302.14473v1
• Date: Tue, 28 Feb 2023 10:32:17 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-01 17:01:49.946574
• Title: Implicit Bilevel Optimization: Differentiating through Bilevel Optimization Programming
• Title（参考訳）: Implicit Bilevel Optimization: Bilevel Optimization Programmingによる微分
• Authors: Francesco Alesiani
• Abstract要約: 双レベル最適化プログラミングは、エージェント間の複雑な相互作用と矛盾する相互作用をモデル化するために使用される。 BiGradは、連続および双レベル最適化の問題に適用できる。 実験によると、BiGradは既存のシングルレベルアプローチをバイレベルプログラミングに拡張することに成功している。
• 参考スコア（独自算出の注目度）: 7.310043452300735
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Bilevel Optimization Programming is used to model complex and conflicting interactions between agents, for example in Robust AI or Privacy-preserving AI. Integrating bilevel mathematical programming within deep learning is thus an essential objective for the Machine Learning community. Previously proposed approaches only consider single-level programming. In this paper, we extend existing single-level optimization programming approaches and thus propose Differentiating through Bilevel Optimization Programming (BiGrad) for end-to-end learning of models that use Bilevel Programming as a layer. BiGrad has wide applicability and can be used in modern machine learning frameworks. BiGrad is applicable to both continuous and combinatorial Bilevel optimization problems. We describe a class of gradient estimators for the combinatorial case which reduces the requirements in terms of computation complexity; for the case of the continuous variable, the gradient computation takes advantage of the push-back approach (i.e. vector-jacobian product) for an efficient implementation. Experiments show that the BiGrad successfully extends existing single-level approaches to Bilevel Programming.
• Abstract（参考訳）: 双レベル最適化プログラミングは、ロバストAIやプライバシ保存AIなど、エージェント間の複雑で矛盾するインタラクションをモデル化するために使用される。 したがって、ディープラーニングに二段階数学プログラミングを統合することは、機械学習コミュニティにとって必須の目的である。 以前はシングルレベルプログラミングしか考慮していなかった。 本稿では,既存の単一レベル最適化プログラミングアプローチを拡張し,バイレベルプログラミングを層として使用するモデルのエンドツーエンド学習のためのバイレベル最適化プログラミング(BiGrad)による微分を提案する。 BiGradは幅広い適用性を持ち、現代の機械学習フレームワークで使用することができる。 BiGrad は連続と組合せの両双レベル最適化問題に適用できる。 連続変数の場合、勾配計算は効率的な実装のためにプッシュバックアプローチ(すなわちベクトル-ジャコビアン積)を利用する。 実験によると、bigradは既存のシングルレベルアプローチをバイレベルプログラミングにうまく拡張できた。

関連論文リスト

• Provably Faster Algorithms for Bilevel Optimization via Without-Replacement Sampling [96.47086913559289]
  勾配に基づくアルゴリズムはバイレベル最適化に広く用いられている。 本研究では,より高速な収束率を実現する非置換サンプリングに基づくアルゴリズムを提案する。 合成および実世界の両方のアプリケーションに対してアルゴリズムを検証する。
  論文  参考訳（メタデータ） (2024-11-07T17:05:31Z)
• Memory-Efficient Gradient Unrolling for Large-Scale Bi-level Optimization [71.35604981129838]
  従来の勾配に基づく二段階最適化アルゴリズムは、大規模アプリケーションの要求を満たすには不適である。 両レベル最適化のためのメタ勾配の偏りのない近似を実現するための$(textFG)2textU$を導入する。 $(textFG)2textU$は本質的に並列コンピューティングをサポートするように設計されており、大規模分散コンピューティングシステムを効果的に活用することができる。
  論文  参考訳（メタデータ） (2024-06-20T08:21:52Z)
• A Primal-Dual-Assisted Penalty Approach to Bilevel Optimization with Coupled Constraints [66.61399765513383]
  We developed a BLOCC algorithm to tackle BiLevel Optimization problems with Coupled Constraints。 2つのよく知られた実世界のアプリケーションでその効果を実証する。
  論文  参考訳（メタデータ） (2024-06-14T15:59:36Z)
• Contextual Stochastic Bilevel Optimization [50.36775806399861]
  文脈情報と上層変数の期待を最小化する2レベル最適化フレームワークCSBOを導入する。 メタラーニング、パーソナライズドラーニング、エンド・ツー・エンドラーニング、Wassersteinはサイド情報(WDRO-SI)を分散的に最適化している。
  論文  参考訳（メタデータ） (2023-10-27T23:24:37Z)
• Bilevel Optimization for Machine Learning: Algorithm Design and Convergence Analysis [12.680169619392695]
  この論文は、2レベル最適化アルゴリズムに対する総合収束率解析を提供する。 問題に基づく定式化では、AIDおよびITDに基づく2レベルアルゴリズムの収束率解析を行う。 そこで我々は,ゆるやかな仮定で形状収束解析を行う加速バイレベルアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2021-07-31T22:05:47Z)
• Enhanced Bilevel Optimization via Bregman Distance [104.96004056928474]
  本稿では,Bregman Bregman関数に基づく二段階最適化手法を提案する。 また,分散還元法によるSBiO-BreD法(ASBiO-BreD)の高速化版も提案する。
  論文  参考訳（メタデータ） (2021-07-26T16:18:43Z)
• A Value-Function-based Interior-point Method for Non-convex Bi-level Optimization [38.75417864443519]
  バイレベル最適化モデルは、実践的な関心を持って、幅広い複雑な学習タスクをキャプチャすることができる。 そこで我々は,下層問題における正規化値関数を上層目標にペナルティ化する,新しい内部Biレベル値に基づく内点法を提案する。
  論文  参考訳（メタデータ） (2021-06-15T09:10:40Z)
• Improved Bilevel Model: Fast and Optimal Algorithm with Theoretical Guarantee [110.16183719936629]
  本稿では,現行の定式化よりも高速に収束する2レベルモデルを提案する。 実験結果から,本モデルが現行のバイレベルモデルよりも大きなマージンで優れていたことが示唆された。
  論文  参考訳（メタデータ） (2020-09-01T20:52:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。