論文の概要: Beyond backpropagation: implicit gradients for bilevel optimization
- arxiv url: http://arxiv.org/abs/2205.03076v1
- Date: Fri, 6 May 2022 08:53:46 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-09 14:27:48.460097
- Title: Beyond backpropagation: implicit gradients for bilevel optimization
- Title（参考訳）: beyond backpropagation:二レベル最適化のための暗黙の勾配
- Authors: Nicolas Zucchet and Jo\~ao Sacramento
- Abstract要約: 双レベル最適化は、最小限の量で暗黙的に定義されるシステムの学習をフレーム化する方法である。
ここでは、そのような問題を解決する勾配に基づくアプローチに焦点を当てる。
本稿では,これらの手法の背景にある数学的基礎について述べるとともに,勾配推定アルゴリズムを詳細に導入し,異なるアプローチの競争上の優位性を比較する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper reviews gradient-based techniques to solve bilevel optimization
problems. Bilevel optimization is a general way to frame the learning of
systems that are implicitly defined through a quantity that they minimize. This
characterization can be applied to neural networks, optimizers, algorithmic
solvers and even physical systems, and allows for greater modeling flexibility
compared to an explicit definition of such systems. Here we focus on
gradient-based approaches that solve such problems. We distinguish them in two
categories: those rooted in implicit differentiation, and those that leverage
the equilibrium propagation theorem. We present the mathematical foundations
that are behind such methods, introduce the gradient-estimation algorithms in
detail and compare the competitive advantages of the different approaches.
- Abstract（参考訳）: 本稿では,2段階最適化問題の解法として,勾配に基づく手法を概観する。
双レベル最適化は、最小限の量で暗黙的に定義されるシステムの学習をフレーム化する一般的な方法である。
この特徴付けは、ニューラルネットワーク、オプティマイザ、アルゴリズムソルバ、さらには物理システムにも適用でき、そのようなシステムの明示的な定義よりもモデリングの柔軟性が向上する。
ここでは,このような問題を解決するグラデーションベースアプローチに注目する。
我々はこれらを、暗黙の微分に根付いたものと、平衡伝播定理を利用するものとの2つのカテゴリで区別する。
このような手法の背景にある数学的基礎について,勾配推定アルゴリズムを詳細に導入し,異なるアプローチの競争上の優位性を比較する。
関連論文リスト
- Towards Differentiable Multilevel Optimization: A Gradient-Based Approach [1.6114012813668932]
本稿では,多レベル最適化のための新しい勾配に基づくアプローチを提案する。
本手法は解の精度と収束速度を両立させながら計算複雑性を著しく低減する。
私たちの知る限りでは、これは暗黙の微分の一般的なバージョンを提供する最初のアルゴリズムの1つである。
論文 参考訳（メタデータ） (2024-10-15T06:17:59Z) - Gradient-free neural topology optimization [0.0]
勾配のないアルゴリズムは勾配に基づくアルゴリズムと比較して多くの繰り返しを収束させる必要がある。
これにより、反復1回あたりの計算コストとこれらの問題の高次元性のため、トポロジ最適化では実現不可能となった。
我々は,潜時空間における設計を最適化する場合に,少なくとも1桁の繰り返し回数の減少につながる事前学習型ニューラルリパラメータ化戦略を提案する。
論文 参考訳（メタデータ） (2024-03-07T23:00:49Z) - Optimizing Solution-Samplers for Combinatorial Problems: The Landscape
of Policy-Gradient Methods [52.0617030129699]
本稿では,DeepMatching NetworksとReinforcement Learningメソッドの有効性を解析するための新しい理論フレームワークを提案する。
我々の主な貢献は、Max- and Min-Cut、Max-$k$-Bipartite-Bi、Maximum-Weight-Bipartite-Bi、Traveing Salesman Problemを含む幅広い問題である。
本分析の副産物として,バニラ降下による新たな正則化プロセスを導入し,失効する段階的な問題に対処し,悪い静止点から逃れる上で有効であることを示す理論的および実験的証拠を提供する。
論文 参考訳（メタデータ） (2023-10-08T23:39:38Z) - Faster Margin Maximization Rates for Generic and Adversarially Robust Optimization Methods [20.118513136686452]
一階最適化法は、未決定の訓練目標を最小化する際に、本質的に他よりも特定の解を優先する傾向がある。
本稿では,ミラー降下法と最急降下法について,最先端の暗黙バイアス率を示す。
私たちの加速速度は、このゲームフレームワークにおけるオンライン学習アルゴリズムの残念な部分を活用することによって導き出されます。
論文 参考訳（メタデータ） (2023-05-27T18:16:56Z) - Analyzing Inexact Hypergradients for Bilevel Learning [0.09669369645900441]
暗黙の関数定理と自動微分/バックプロパゲーションに基づいて既存の手法を一般化する過次計算のための統一的なフレームワークを提案する。
計算結果から,高次アルゴリズムの選択は低次解法の選択と同等に重要であることが明らかとなった。
論文 参考訳（メタデータ） (2023-01-11T23:54:27Z) - On the Convergence of Distributed Stochastic Bilevel Optimization
Algorithms over a Network [55.56019538079826]
バイレベル最適化は、幅広い機械学習モデルに適用されている。
既存のアルゴリズムの多くは、分散データを扱うことができないように、シングルマシンの設定を制限している。
そこで我々は,勾配追跡通信機構と2つの異なる勾配に基づく分散二段階最適化アルゴリズムを開発した。
論文 参考訳（メタデータ） (2022-06-30T05:29:52Z) - Amortized Implicit Differentiation for Stochastic Bilevel Optimization [53.12363770169761]
決定論的条件と決定論的条件の両方において、二段階最適化問題を解決するアルゴリズムのクラスについて検討する。
厳密な勾配の推定を補正するために、ウォームスタート戦略を利用する。
このフレームワークを用いることで、これらのアルゴリズムは勾配の偏りのない推定値にアクセス可能な手法の計算複雑性と一致することを示す。
論文 参考訳（メタデータ） (2021-11-29T15:10:09Z) - Leveraging Non-uniformity in First-order Non-convex Optimization [93.6817946818977]
目的関数の非一様洗練は、emphNon-uniform Smoothness(NS)とemphNon-uniform Lojasiewicz inequality(NL)につながる
新しい定義は、古典的な$Omega (1/t2)$下界よりも早く大域的最適性に収束する新しい幾何学的一階法を刺激する。
論文 参考訳（メタデータ） (2021-05-13T04:23:07Z) - Cogradient Descent for Bilinear Optimization [124.45816011848096]
双線形問題に対処するために、CoGDアルゴリズム(Cogradient Descent Algorithm)を導入する。
一方の変数は、他方の変数との結合関係を考慮し、同期勾配降下をもたらす。
本アルゴリズムは,空間的制約下での1変数の問題を解くために応用される。
論文 参考訳（メタデータ） (2020-06-16T13:41:54Z) - Towards Better Understanding of Adaptive Gradient Algorithms in
Generative Adversarial Nets [71.05306664267832]
適応アルゴリズムは勾配の歴史を用いて勾配を更新し、深層ニューラルネットワークのトレーニングにおいてユビキタスである。
本稿では,非コンケーブ最小値問題に対するOptimisticOAアルゴリズムの変種を解析する。
実験の結果,適応型GAN非適応勾配アルゴリズムは経験的に観測可能であることがわかった。
論文 参考訳（メタデータ） (2019-12-26T22:10:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。