論文の概要: Stochastic Regret Guarantees for Online Zeroth- and First-Order Bilevel Optimization

• arxiv url: http://arxiv.org/abs/2511.01126v1
• Date: Mon, 03 Nov 2025 00:29:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-05 16:37:27.073919
• Title: Stochastic Regret Guarantees for Online Zeroth- and First-Order Bilevel Optimization
• Title（参考訳）: オンラインゼロと1次双方向最適化のための確率的レギュレット保証
• Authors: Parvin Nazari, Bojian Hou, Davoud Ataee Tarzanagh, Li Shen, George Michailidis,
• Abstract要約: オンライン二段階最適化(OBO)は、外部目標と内部目標の両方が時間とともに進化する機械学習問題のための強力なフレームワークである。 現在のOBOアプローチは、関数が急速に変化するときにシステム性能を正確に反映しないような、決定論的テクトウハウスムーズな後悔の最小化に依存している。 我々は,新しい探索方向を導入し,この方向を利用する一階とゼロ階のOBOアルゴリズムが,窓の平滑化を伴わずに,半線形確率的二段階後悔を実現することを示す。
• 参考スコア（独自算出の注目度）: 23.138958400600526
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Online bilevel optimization (OBO) is a powerful framework for machine learning problems where both outer and inner objectives evolve over time, requiring dynamic updates. Current OBO approaches rely on deterministic \textit{window-smoothed} regret minimization, which may not accurately reflect system performance when functions change rapidly. In this work, we introduce a novel search direction and show that both first- and zeroth-order (ZO) stochastic OBO algorithms leveraging this direction achieve sublinear {stochastic bilevel regret without window smoothing}. Beyond these guarantees, our framework enhances efficiency by: (i) reducing oracle dependence in hypergradient estimation, (ii) updating inner and outer variables alongside the linear system solution, and (iii) employing ZO-based estimation of Hessians, Jacobians, and gradients. Experiments on online parametric loss tuning and black-box adversarial attacks validate our approach.
• Abstract（参考訳）: オンライン二段階最適化(OBO)は、外部目標と内部目標の両方が時間とともに進化し、動的更新を必要とする、機械学習問題の強力なフレームワークである。 現在のOBOアプローチは決定論的 \textit{window-smoothed} 後悔の最小化に依存している。 本研究では,新しい探索方向を導入し,この方向を利用する一階・ゼロ階確率OBOアルゴリズムが,ウィンドウスムーシングを伴わずに,サブ線形・確率的二段階後悔を実現することを示す。 これらの保証を超えて、我々のフレームワークは効率を高める。 (i)過次推定におけるオラクル依存の低減 二 線形系解と並んで内外変数の更新 3) ヘッセン, ジャコビアン, 勾配のZO推定を用いた。 オンラインパラメトリック・ロスチューニングとブラックボックス・アタックの実験は、我々のアプローチを検証する。

関連論文リスト

• Generalized Linear Bandits: Almost Optimal Regret with One-Pass Update [70.38810219913593]
  非線形リンク関数を組み込んで古典線形モデルを拡張したコンテキスト型多武装バンディットフレームワークである一般化線形バンディット問題(GLB)について検討する。 GLBは現実世界のシナリオに広く適用できるが、その非線形性は計算効率と統計効率の両方を達成する上で大きな課題をもたらす。 本稿では,$mathcalO(1)$時間と1ラウンドあたりの空間複雑度をほぼ最適に再現するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-07-16T02:24:21Z)
• A Stochastic Approach to Bi-Level Optimization for Hyperparameter Optimization and Meta Learning [74.80956524812714]
  我々は,現代のディープラーニングにおいて広く普及している一般的なメタ学習問題に対処する。 これらの問題は、しばしばBi-Level Optimizations (BLO)として定式化される。 我々は,与えられたBLO問題を,内部損失関数が滑らかな分布となり,外損失が内部分布に対する期待損失となるようなii最適化に変換することにより,新たな視点を導入する。
  論文  参考訳（メタデータ） (2024-10-14T12:10:06Z)
• Online Nonconvex Bilevel Optimization with Bregman Divergences [3.237380113935023]
  本稿では,近年の変動率の平均値を用いて,外部変数を更新するオンラインバイレベル(SOB)手法を提案する。 このアプローチは、ハイパーレベルベンチマークのレートが優れたパフォーマンスと効率を強調するため、オフラインバイレベル設定(OBO)よりも優れている。
  論文  参考訳（メタデータ） (2024-09-16T17:01:27Z)
• Non-Convex Bilevel Optimization with Time-Varying Objective Functions [57.299128109226025]
  本稿では,時間変化の可能なオンライン二段階最適化を提案し,エージェントがオンラインデータを用いて決定を継続的に更新する。 既存のアルゴリズムと比較して、SOBOWは計算効率が良く、以前の関数を知る必要がない。 軽度条件下では,SOBOWはサブリニアな局所的後悔を達成できることを示す。
  論文  参考訳（メタデータ） (2023-08-07T06:27:57Z)
• Meta-Learning Adversarial Bandit Algorithms [55.72892209124227]
  我々は,バンディットフィードバックを用いたオンラインメタラーニングについて研究する。 我々は自己協和障壁正規化器を用いてオンラインミラー降下一般化(OMD)をチューニングすることを学ぶ。
  論文  参考訳（メタデータ） (2023-07-05T13:52:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。