論文の概要: Improved Bilevel Model: Fast and Optimal Algorithm with Theoretical Guarantee

• arxiv url: http://arxiv.org/abs/2009.00690v1
• Date: Tue, 1 Sep 2020 20:52:57 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-23 00:25:17.257784
• Title: Improved Bilevel Model: Fast and Optimal Algorithm with Theoretical Guarantee
• Title（参考訳）: 改良された二レベルモデル:理論的保証による高速最適アルゴリズム
• Authors: Junyi Li, Bin Gu, Heng Huang
• Abstract要約: 本稿では,現行の定式化よりも高速に収束する2レベルモデルを提案する。 実験結果から,本モデルが現行のバイレベルモデルよりも大きなマージンで優れていたことが示唆された。
• 参考スコア（独自算出の注目度）: 110.16183719936629
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Due to the hierarchical structure of many machine learning problems, bilevel programming is becoming more and more important recently, however, the complicated correlation between the inner and outer problem makes it extremely challenging to solve. Although several intuitive algorithms based on the automatic differentiation have been proposed and obtained success in some applications, not much attention has been paid to finding the optimal formulation of the bilevel model. Whether there exists a better formulation is still an open problem. In this paper, we propose an improved bilevel model which converges faster and better compared to the current formulation. We provide theoretical guarantee and evaluation results over two tasks: Data Hyper-Cleaning and Hyper Representation Learning. The empirical results show that our model outperforms the current bilevel model with a great margin. \emph{This is a concurrent work with \citet{liu2020generic} and we submitted to ICML 2020. Now we put it on the arxiv for record.}
• Abstract（参考訳）: 多くの機械学習問題の階層構造のため、近年は二段階プログラミングがますます重要になっているが、内部問題と外部問題との複雑な相関が解決を極めて困難にしている。 自動微分に基づくいくつかの直感的なアルゴリズムが提案され、いくつかの応用で成功したが、双レベルモデルの最適定式化にはあまり注意が払われていない。 より良い定式化が存在するかどうかはまだ未解決の問題だ。 本稿では,現在の定式化よりも高速に収束する改良された2レベルモデルを提案する。 データハイパークリーニングとハイパー表現学習という2つのタスクに関する理論的保証と評価結果を提供する。 実験結果から,本モデルが現行のバイレベルモデルより優れた性能を示した。 \emph{これは \citet{liu2020generic} との同時研究であり、我々は icml 2020 に提出した。 そして今、記録のためにarxivに載せた。 }

関連論文リスト

• Provably Faster Algorithms for Bilevel Optimization via Without-Replacement Sampling [96.47086913559289]
  勾配に基づくアルゴリズムはバイレベル最適化に広く用いられている。 本研究では,より高速な収束率を実現する非置換サンプリングに基づくアルゴリズムを提案する。 合成および実世界の両方のアプリケーションに対してアルゴリズムを検証する。
  論文  参考訳（メタデータ） (2024-11-07T17:05:31Z)
• Contextual Stochastic Bilevel Optimization [50.36775806399861]
  文脈情報と上層変数の期待を最小化する2レベル最適化フレームワークCSBOを導入する。 メタラーニング、パーソナライズドラーニング、エンド・ツー・エンドラーニング、Wassersteinはサイド情報(WDRO-SI)を分散的に最適化している。
  論文  参考訳（メタデータ） (2023-10-27T23:24:37Z)
• Effective Bilevel Optimization via Minimax Reformulation [23.5093932552053]
  ミニマックス問題としてバイレベル最適化の再構成を提案する。 穏やかな条件下では、これらの2つの問題が等価であることを示す。 提案手法は, 計算コストを大幅に削減しつつ, 最先端の2段階法より優れる。
  論文  参考訳（メタデータ） (2023-05-22T15:41:33Z)
• Implicit Bilevel Optimization: Differentiating through Bilevel Optimization Programming [7.310043452300735]
  双レベル最適化プログラミングは、エージェント間の複雑な相互作用と矛盾する相互作用をモデル化するために使用される。 BiGradは、連続および双レベル最適化の問題に適用できる。 実験によると、BiGradは既存のシングルレベルアプローチをバイレベルプログラミングに拡張することに成功している。
  論文  参考訳（メタデータ） (2023-02-28T10:32:17Z)
• Local Stochastic Bilevel Optimization with Momentum-Based Variance Reduction [104.41634756395545]
  具体的には、まず、決定論的勾配に基づくアルゴリズムであるFedBiOを提案する。 FedBiOの複雑性は$O(epsilon-1.5)$である。 本アルゴリズムは数値実験において,他のベースラインと比較して優れた性能を示す。
  論文  参考訳（メタデータ） (2022-05-03T16:40:22Z)
• A Bi-Level Framework for Learning to Solve Combinatorial Optimization on Graphs [91.07247251502564]
  本稿では,2つの世界の長所を結合するハイブリッドな手法を提案する。この手法では,グラフを最適化する上層学習手法とバイレベルフレームワークを開発する。 このような二段階のアプローチは、元のハードCOでの学習を単純化し、モデルキャパシティの需要を効果的に軽減することができる。
  論文  参考訳（メタデータ） (2021-06-09T09:18:18Z)
• A Gradient Method for Multilevel Optimization [8.80899367147235]
  我々は、Franceschiらのアイデアに基づいて、多レベル$n$レベルの勾配に基づくアルゴリズムを開発した。 私たちの知る限り、これはマルチレベル最適化の理論的保証を持つ最初のアルゴリズムの1つである。
  論文  参考訳（メタデータ） (2021-05-28T16:22:10Z)
• Generalization Guarantees for Neural Architecture Search with Train-Validation Split [48.265305046655996]
  本稿では,列車検証分割の統計的側面について検討する。 リスクや高度勾配などの検証損失の洗練された特性は、真のテスト損失の指標であることを示す。 また、NAS、マルチカーネル学習、低ランク行列学習の厳密な接続も強調する。
  論文  参考訳（メタデータ） (2021-04-29T06:11:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。