論文の概要: Analyzing Inexact Hypergradients for Bilevel Learning
- arxiv url: http://arxiv.org/abs/2301.04764v2
- Date: Wed, 15 Nov 2023 01:07:38 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-16 21:18:11.118368
- Title: Analyzing Inexact Hypergradients for Bilevel Learning
- Title（参考訳）: 双レベル学習のための不規則なハイパーグラディエンスの分析
- Authors: Matthias J. Ehrhardt and Lindon Roberts
- Abstract要約: 暗黙の関数定理と自動微分/バックプロパゲーションに基づいて既存の手法を一般化する過次計算のための統一的なフレームワークを提案する。
計算結果から,高次アルゴリズムの選択は低次解法の選択と同等に重要であることが明らかとなった。
- 参考スコア（独自算出の注目度）: 0.09669369645900441
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Estimating hyperparameters has been a long-standing problem in machine
learning. We consider the case where the task at hand is modeled as the
solution to an optimization problem. Here the exact gradient with respect to
the hyperparameters cannot be feasibly computed and approximate strategies are
required. We introduce a unified framework for computing hypergradients that
generalizes existing methods based on the implicit function theorem and
automatic differentiation/backpropagation, showing that these two seemingly
disparate approaches are actually tightly connected. Our framework is extremely
flexible, allowing its subproblems to be solved with any suitable method, to
any degree of accuracy. We derive a priori and computable a posteriori error
bounds for all our methods, and numerically show that our a posteriori bounds
are usually more accurate. Our numerical results also show that, surprisingly,
for efficient bilevel optimization, the choice of hypergradient algorithm is at
least as important as the choice of lower-level solver.
- Abstract（参考訳）: ハイパーパラメータの推定は、機械学習における長年の問題だった。
我々は,手前のタスクが最適化問題の解としてモデル化される場合を考える。
ここでは、ハイパーパラメータに関する正確な勾配を計算できず、近似戦略が必要となる。
暗黙の関数定理と自動微分/バックプロパゲーションに基づいて既存の手法を一般化した過次関数計算のための統一的なフレームワークを導入し、これら2つの異なるアプローチが実際に密接な関係にあることを示す。
我々のフレームワークは非常に柔軟であり、そのサブプロブレムを任意の精度で適切な方法で解決することができる。
我々は全ての方法において、優先順位と計算可能な後方誤差境界を導出し、a後方境界は通常より正確であることが数値的に示される。
また, 計算結果から, 効率のよい2次最適化では, 低次解法の場合と同様に, 超次アルゴリズムの選択が重要であることが示された。
関連論文リスト
- Optimizing Solution-Samplers for Combinatorial Problems: The Landscape
of Policy-Gradient Methods [52.0617030129699]
本稿では,DeepMatching NetworksとReinforcement Learningメソッドの有効性を解析するための新しい理論フレームワークを提案する。
我々の主な貢献は、Max- and Min-Cut、Max-$k$-Bipartite-Bi、Maximum-Weight-Bipartite-Bi、Traveing Salesman Problemを含む幅広い問題である。
本分析の副産物として,バニラ降下による新たな正則化プロセスを導入し,失効する段階的な問題に対処し,悪い静止点から逃れる上で有効であることを示す理論的および実験的証拠を提供する。
論文 参考訳（メタデータ） (2023-10-08T23:39:38Z) - A Globally Convergent Gradient-based Bilevel Hyperparameter Optimization
Method [0.0]
ハイパーパラメータ最適化問題の解法として,勾配に基づく双レベル法を提案する。
提案手法は, より低い計算量に収束し, テストセットをより良く一般化するモデルに導かれることを示す。
論文 参考訳（メタデータ） (2022-08-25T14:25:16Z) - A Boosting Approach to Reinforcement Learning [59.46285581748018]
複雑度が状態数に依存しない意思決定プロセスにおける強化学習のための効率的なアルゴリズムについて検討する。
このような弱い学習手法の精度を向上させることができる効率的なアルゴリズムを提供する。
論文 参考訳（メタデータ） (2021-08-22T16:00:45Z) - Enhanced Bilevel Optimization via Bregman Distance [104.96004056928474]
本稿では,Bregman Bregman関数に基づく二段階最適化手法を提案する。
また,分散還元法によるSBiO-BreD法(ASBiO-BreD)の高速化版も提案する。
論文 参考訳（メタデータ） (2021-07-26T16:18:43Z) - SUPER-ADAM: Faster and Universal Framework of Adaptive Gradients [99.13839450032408]
一般的な問題を解決するための適応アルゴリズムのための普遍的な枠組みを設計することが望まれる。
特に,本フレームワークは,非収束的設定支援の下で適応的手法を提供する。
論文 参考訳（メタデータ） (2021-06-15T15:16:28Z) - Implicit differentiation for fast hyperparameter selection in non-smooth
convex learning [87.60600646105696]
内部最適化問題が凸であるが非滑らかである場合の一階法を研究する。
本研究では, ヤコビアンの近位勾配降下と近位座標降下収率列の前方モード微分が, 正確なヤコビアンに向かって収束していることを示す。
論文 参考訳（メタデータ） (2021-05-04T17:31:28Z) - Convergence Properties of Stochastic Hypergradients [38.64355126221992]
大規模データセットにおける低レベルの問題が経験的リスクである場合に重要となる過勾配の近似スキームについて検討する。
本研究では,理論解析を支援する数値実験を行い,実際にハイパーグラディエントを用いることの利点を示す。
論文 参考訳（メタデータ） (2020-11-13T20:50:36Z) - A Gradient-based Bilevel Optimization Approach for Tuning
Hyperparameters in Machine Learning [0.0]
本稿では,ハイパーパラメータ最適化問題の解法として,二段階解法を提案する。
提案手法は汎用的で,任意の種類の機械学習アルゴリズムに容易に適用可能である。
提案アルゴリズムの背景にある理論を議論し、2つのデータセットについて広範な計算研究を行う。
論文 参考訳（メタデータ） (2020-07-21T18:15:08Z) - On the Iteration Complexity of Hypergradient Computation [38.409444179509705]
機械学習では、上層目標(過度)の勾配は、正確に計算するのは難しいか、あるいは不可能である。
逆モード反復微分と近似的暗黙的微分に基づく過次微分を計算するための一般的なアプローチについて検討する。
この分析は, 共役勾配に基づく近似的暗黙差を最良とする, 上記の手法の計算効率の階層性を示す。
論文 参考訳（メタデータ） (2020-06-29T17:32:47Z) - Inexact Derivative-Free Optimization for Bilevel Learning [0.27074235008521236]
変分正則化技術は数理イメージングの分野で支配的である。
この問題を解決するための一般的な戦略は、これらのパラメータをデータから学習することだ。
上層問題の解法では、下層問題の正確な解にアクセスできると仮定することが一般的であり、実際は不可能である。
本稿では, 厳密な低レベル問題解を必要としない不正確な微分自由最適化アルゴリズムを用いて, これらの問題を解くことを提案する。
論文 参考訳（メタデータ） (2020-06-23T00:17:32Z) - Implicit differentiation of Lasso-type models for hyperparameter
optimization [82.73138686390514]
ラッソ型問題に適した行列逆転のない効率的な暗黙微分アルゴリズムを提案する。
提案手法は,解の空間性を利用して高次元データにスケールする。
論文 参考訳（メタデータ） (2020-02-20T18:43:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。