論文の概要: Semiparametric Efficient Bilevel Gradient Estimation

• arxiv url: http://arxiv.org/abs/2605.21341v1
• Date: Wed, 20 May 2026 16:07:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-21 19:19:56.770321
• Title: Semiparametric Efficient Bilevel Gradient Estimation
• Title（参考訳）: 半パラメトリック能率二値勾配推定
• Authors: Fares El Khoury, Houssam Zenati, Nathan Kallus, Michael Arbel, Aurélien Bibaut,
• Abstract要約: 本研究では,効率的な影響関数に基づく半パラメトリックデバイアス理論を構築した。 我々は、外部パラメータの均一な制御とともに正規性を確立できるクロスフィット型過勾配推定器を確立する。 合成二レベルベンチマークにおいて、この手法は効率的な階調ベンチマークを追跡し、プラグイン機能ハイパーグラディエントと正規化されたカーネルバイレベルベースラインよりも改善する。
• 参考スコア（独自算出の注目度）: 40.349437034326606
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Functional bilevel methods estimate a lower-level function and plug it into a hypergradient, but this plug-in gradient can retain first-order bias when the lower-level problem is learned nonparametrically. To remove this bias, we develop a semiparametric debiasing theory for population bilevel gradients based on the efficient influence function. This perspective leads to a cross-fitted orthogonal hypergradient estimator for which we establish asymptotic normality together with uniform control over the outer parameter. Under quadratic losses, the estimator reduces to a simple doubly robust score based on conditional mean nuisances. On synthetic bilevel benchmarks with known ground truth, the method tracks the oracle efficient-gradient benchmark and improves over plug-in functional hypergradients and regularized kernel bilevel baselines.
• Abstract（参考訳）: 機能的双レベル法は、低レベル関数を推定して過次関数にプラグインするが、このプラグイン勾配は、低レベル問題が非パラメトリックに学習されると、一階偏差を保持することができる。 このバイアスを除去するために、効率的な影響関数に基づく集団二段階勾配の半パラメトリック脱バイアス理論を開発した。 この視点は、外的パラメータの均一な制御とともに漸近正規性を確立するように整合直交過勾配推定器に導かれる。 二次的な損失の下では、推定器は条件付き平均奇数に基づく単純な2倍頑健なスコアに還元される。 合成二レベルベンチマークにおいて、本手法はオラクル効率のよい勾配ベンチマークを追跡し、プラグイン機能ハイパーグラディエントと正規化されたカーネル双レベルベースラインよりも改善する。

関連論文リスト

• A Nearly Optimal Single Loop Algorithm for Stochastic Bilevel Optimization under Unbounded Smoothness [15.656614304616006]
  本稿では、上層関数が非定常で、潜在的に非有界な滑らかさを持ち、下層関数が凸であるような二層最適化の問題を考察する。 既存のアルゴリズムはネストループに依存しており、これは重要なチューニング作業を必要とし、実用的ではない。
  論文  参考訳（メタデータ） (2024-12-28T04:40:27Z)
• An Accelerated Algorithm for Stochastic Bilevel Optimization under Unbounded Smoothness [15.656614304616006]
  本稿では,上層関数が非凸であり,下層関数が強凸である二層最適化問題のクラスについて検討する。 これらの問題は、非有界ネットワークを用いたテキスト分類など、データ学習に大きな応用がある。 本稿では,AccBO という新しい高速化バイレベル最適化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-09-28T02:30:44Z)
• Neural Gradient Learning and Optimization for Oriented Point Normal Estimation [53.611206368815125]
  本研究では,3次元点雲から勾配ベクトルを一貫した向きで学習し,正規推定を行うためのディープラーニング手法を提案する。 局所平面幾何に基づいて角距離場を学習し、粗勾配ベクトルを洗練する。 本手法は,局所特徴記述の精度と能力の一般化を図りながら,グローバル勾配近似を効率的に行う。
  論文  参考訳（メタデータ） (2023-09-17T08:35:11Z)
• One-step corrected projected stochastic gradient descent for statistical estimation [49.1574468325115]
  これは、Fisherスコアリングアルゴリズムの1ステップで修正されたログ様関数の予測勾配勾配に基づいている。 理論およびシミュレーションにより、平均勾配勾配や適応勾配勾配の通常の勾配勾配の代替として興味深いものであることを示す。
  論文  参考訳（メタデータ） (2023-06-09T13:43:07Z)
• A Generalized Alternating Method for Bilevel Learning under the Polyak-{\L}ojasiewicz Condition [63.66516306205932]
  バイレベル最適化は、その新興機械学習分野への応用により、最近、関心を取り戻している。 最近の結果は、単純な反復に基づくイテレーションは、低レベルな目標の凸に起因する利害と一致することを示しています。
  論文  参考訳（メタデータ） (2023-06-04T17:54:11Z)
• High-probability Bounds for Non-Convex Stochastic Optimization with Heavy Tails [55.561406656549686]
  我々は、勾配推定が末尾を持つ可能性のある一階アルゴリズムを用いたヒルベルト非最適化を考える。 本研究では, 勾配, 運動量, 正規化勾配勾配の収束を高確率臨界点に収束させることと, 円滑な損失に対する最もよく知られた繰り返しを示す。
  論文  参考訳（メタデータ） (2021-06-28T00:17:01Z)
• Towards Better Understanding of Adaptive Gradient Algorithms in Generative Adversarial Nets [71.05306664267832]
  適応アルゴリズムは勾配の歴史を用いて勾配を更新し、深層ニューラルネットワークのトレーニングにおいてユビキタスである。 本稿では,非コンケーブ最小値問題に対するOptimisticOAアルゴリズムの変種を解析する。 実験の結果,適応型GAN非適応勾配アルゴリズムは経験的に観測可能であることがわかった。
  論文  参考訳（メタデータ） (2019-12-26T22:10:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。