論文の概要: Learning Theory for Kernel Bilevel Optimization

• arxiv url: http://arxiv.org/abs/2502.08457v1
• Date: Wed, 12 Feb 2025 14:52:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-13 18:10:01.026355
• Title: Learning Theory for Kernel Bilevel Optimization
• Title（参考訳）: カーネルバイレベル最適化のための学習理論
• Authors: Fares El Khoury, Edouard Pauwels, Samuel Vaiter, Michael Arbel,
• Abstract要約: 再現カーネルヒルベルト空間上で内部目的を最適化するカーネル双レベル最適化問題に対する一般化特性について検討する。 有限サンプル近似の下で二値問題に対する新しい一般化誤差境界を確立する。 これらの一般化誤差推定は、二段階問題の経験的離散化に適用された勾配に基づく手法の統計的精度を特徴付けることができる。
• 参考スコア（独自算出の注目度）: 25.28618481877551
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Bilevel optimization has emerged as a technique for addressing a wide range of machine learning problems that involve an outer objective implicitly determined by the minimizer of an inner problem. In this paper, we investigate the generalization properties for kernel bilevel optimization problems where the inner objective is optimized over a Reproducing Kernel Hilbert Space. This setting enables rich function approximation while providing a foundation for rigorous theoretical analysis. In this context, we establish novel generalization error bounds for the bilevel problem under finite-sample approximation. Our approach adopts a functional perspective, inspired by (Petrulionyte et al., 2024), and leverages tools from empirical process theory and maximal inequalities for degenerate $U$-processes to derive uniform error bounds. These generalization error estimates allow to characterize the statistical accuracy of gradient-based methods applied to the empirical discretization of the bilevel problem.
• Abstract（参考訳）: 両レベル最適化は、内部問題の最小化によって暗黙的に決定される外的目的を含む幅広い機械学習問題に対処する手法として登場した。 本稿では,カーネルヒルベルト空間上で内部目標を最適化するカーネル双レベル最適化問題に対する一般化特性について検討する。 この設定は、厳密な理論解析の基礎を提供しながら、リッチ関数近似を可能にする。 この文脈では、有限サンプル近似の下での双レベル問題に対する新しい一般化誤差境界を確立する。 提案手法は (Petrulionyte et al , 2024) にインスパイアされた機能的視点を採用し, 経験的プロセス理論と最大不等式を用いて, 均一な誤差境界を導出するために$U$プロセスの退化を行う。 これらの一般化誤差推定は、二段階問題の経験的離散化に適用された勾配に基づく手法の統計的精度を特徴付けることができる。

関連論文リスト

• Explicit and Non-asymptotic Query Complexities of Rank-Based Zeroth-order Algorithm on Stochastic Smooth Functions [17.238068736229014]
  命令フィードバックによるゼロオーダー(ZO)最適化は、現代の機械学習システムにおける根本的な問題として現れている。 単純で計算効率の良いランクベースZOアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-12-22T07:18:57Z)
• Differentially Private Bilevel Optimization: Efficient Algorithms with Near-Optimal Rates [23.143960802555714]
  両レベル最適化について検討し、一方の最適化問題を別の内部にネストする。 個人のプライバシーに関する懸念から、我々は新しい二段階アルゴリズムを開発した。 我々の境界は内部の問題の焦点に依存しない。
  論文  参考訳（メタデータ） (2025-06-15T23:21:36Z)
• Zeroth-Order Optimization Finds Flat Minima [51.41529512093436]
  標準二点推定器によるゼロ階最適化は、ヘッセンの小さなトレースを持つ解を好むことを示す。 さらに、凸関数と十分に滑らかな関数に対する近似平坦なミニマに対して、ゼロ階最適化の収束率を提供する。
  論文  参考訳（メタデータ） (2025-06-05T17:59:09Z)
• Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
  本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。 最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
  論文  参考訳（メタデータ） (2023-10-20T12:45:12Z)
• On the Sublinear Regret of GP-UCB [58.25014663727544]
  ガウス過程上信頼境界 (GP-UCB) アルゴリズムは, ほぼ最適の後悔率を有することを示す。 私たちの改善は、基盤となるカーネルの滑らかさに比例してカーネルリッジ推定を正規化するという、重要な技術的貢献に依存しています。
  論文  参考訳（メタデータ） (2023-07-14T13:56:11Z)
• Scalable Bayesian Meta-Learning through Generalized Implicit Gradients [64.21628447579772]
  Inlicit Bayesian Meta-learning (iBaML) 法は、学習可能な事前のスコープを広げるだけでなく、関連する不確実性も定量化する。 解析誤差境界は、明示的よりも一般化された暗黙的勾配の精度と効率を示すために確立される。
  論文  参考訳（メタデータ） (2023-03-31T02:10:30Z)
• Efficient Gradient Approximation Method for Constrained Bilevel Optimization [2.0305676256390934]
  大規模高次元データを用いたバイレベル最適化が開発されている。 本稿では凸と微分不可能な近似を伴う制約付き二値問題について考察する。
  論文  参考訳（メタデータ） (2023-02-03T19:34:56Z)
• On Implicit Bias in Overparameterized Bilevel Optimization [38.11483853830913]
  双レベル問題は、それぞれ外問題と内問題と呼ばれる、ネストした2つのサブプロブレムから構成される。 本稿では,2レベル最適化のための勾配に基づくアルゴリズムの暗黙バイアスについて検討する。 ウォームスタートBLOによって得られる内部解は、外的目的に関する驚くべき量の情報を符号化できることを示す。
  論文  参考訳（メタデータ） (2022-12-28T18:57:46Z)
• Scalable PAC-Bayesian Meta-Learning via the PAC-Optimal Hyper-Posterior: From Theory to Practice [54.03076395748459]
  メタラーニング文学の中心的な疑問は、目に見えないタスクへの一般化を保証するために、いかに正規化するかである。 本稿では,Rothfussらによって最初に導かれたメタラーニングの一般化について述べる。 PAC-Bayesian per-task 学習境界におけるメタラーニングの条件と程度について,理論的解析および実証事例研究を行った。
  論文  参考訳（メタデータ） (2022-11-14T08:51:04Z)
• Quantization-Based Optimization: Alternative Stochastic Approximation of Global Optimization [0.0]
  NP-hard問題における目的関数のエネルギーレベルを定量化するための大域的最適化アルゴリズムを提案する。 数値実験により,提案アルゴリズムはNP-ハード最適化問題の解法において従来の学習法よりも優れていた。
  論文  参考訳（メタデータ） (2022-11-08T03:01:45Z)
• A Constrained Optimization Approach to Bilevel Optimization with Multiple Inner Minima [49.320758794766185]
  そこで本研究では,両レベル問題を等価な制約付き最適化に変換する手法を提案する。 このようなアプローチには、(a)多重内極小問題への対処、(b)ジャコビアン計算のない完全一階効率など、いくつかの利点がある。
  論文  参考訳（メタデータ） (2022-03-01T18:20:01Z)
• Amortized Implicit Differentiation for Stochastic Bilevel Optimization [53.12363770169761]
  決定論的条件と決定論的条件の両方において、二段階最適化問題を解決するアルゴリズムのクラスについて検討する。 厳密な勾配の推定を補正するために、ウォームスタート戦略を利用する。 このフレームワークを用いることで、これらのアルゴリズムは勾配の偏りのない推定値にアクセス可能な手法の計算複雑性と一致することを示す。
  論文  参考訳（メタデータ） (2021-11-29T15:10:09Z)
• A theoretical and empirical study of new adaptive algorithms with additional momentum steps and shifted updates for stochastic non-convex optimization [0.0]
  適応最適化アルゴリズムは学習分野の鍵となる柱を表現していると考えられる。 本稿では,異なる非滑らかな目的問題に対する適応運動量法を提案する。
  論文  参考訳（メタデータ） (2021-10-16T09:47:57Z)
• High Probability Complexity Bounds for Non-Smooth Stochastic Optimization with Heavy-Tailed Noise [51.31435087414348]
  アルゴリズムが高い確率で小さな客観的残差を与えることを理論的に保証することが不可欠である。 非滑らか凸最適化の既存の方法は、信頼度に依存した複雑性境界を持つ。 そこで我々は,勾配クリッピングを伴う2つの手法に対して,新たなステップサイズルールを提案する。
  論文  参考訳（メタデータ） (2021-06-10T17:54:21Z)
• Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box Optimization Framework [100.36569795440889]
  この作業は、一階情報を必要としない零次最適化(ZO)の反復である。 座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
  論文  参考訳（メタデータ） (2020-12-21T17:29:58Z)
• Recent Theoretical Advances in Non-Convex Optimization [56.88981258425256]
  近年、深層ネットワークにおける非最適化アルゴリズムの解析やデータ問題への関心が高まっており、非最適化のための理論的最適化アルゴリズムの最近の結果の概要を概説する。
  論文  参考訳（メタデータ） (2020-12-11T08:28:51Z)
• Optimal oracle inequalities for solving projected fixed-point equations [53.31620399640334]
  ヒルベルト空間の既知の低次元部分空間を探索することにより、確率観測の集合を用いて近似解を計算する手法を検討する。 本稿では,線形関数近似を用いた政策評価問題に対する時間差分学習手法の誤差を正確に評価する方法について述べる。
  論文  参考訳（メタデータ） (2020-12-09T20:19:32Z)
• Convergence Properties of Stochastic Hypergradients [38.64355126221992]
  大規模データセットにおける低レベルの問題が経験的リスクである場合に重要となる過勾配の近似スキームについて検討する。 本研究では,理論解析を支援する数値実験を行い,実際にハイパーグラディエントを用いることの利点を示す。
  論文  参考訳（メタデータ） (2020-11-13T20:50:36Z)
• Towards Optimal Problem Dependent Generalization Error Bounds in Statistical Learning Theory [11.840747467007963]
  我々は,「ベスト勾配仮説」で評価された分散,有効損失誤差,ノルムとほぼ最適にスケールする問題依存率について検討する。 一様局所収束(uniform localized convergence)と呼ばれる原理的枠組みを導入する。 我々は,既存の一様収束と局所化解析のアプローチの基本的制約を,我々のフレームワークが解決していることを示す。
  論文  参考訳（メタデータ） (2020-11-12T04:07:29Z)
• Bilevel Optimization: Convergence Analysis and Enhanced Design [63.64636047748605]
  バイレベル最適化は多くの機械学習問題に対するツールである。 Stoc-BiO という新しい確率効率勾配推定器を提案する。
  論文  参考訳（メタデータ） (2020-10-15T18:09:48Z)
• Beyond variance reduction: Understanding the true impact of baselines on policy optimization [24.09670734037029]
  学習力学は損失関数の曲率と勾配推定の雑音によって制御されることを示す。 我々は,少なくとも包帯問題では,曲率や雑音が学習力学を説明するのに十分でないことを示す理論的結果を示す。
  論文  参考訳（メタデータ） (2020-08-31T17:52:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。