論文の概要: Non-Stationary Functional Bilevel Optimization

• arxiv url: http://arxiv.org/abs/2601.15363v1
• Date: Wed, 21 Jan 2026 14:35:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-23 21:37:20.376477
• Title: Non-Stationary Functional Bilevel Optimization
• Title（参考訳）: 非定常機能バイレベル最適化
• Authors: Jason Bohne, Ieva Petrulionyte, Michael Arbel, Julien Mairal, Paweł Polak,
• Abstract要約: 関数双レベル最適化(FBO)は、関数空間における階層的学習のための強力なフレームワークを提供する。 SmoothFBOは,理論的保証と実用的スケーラビリティの両面から,非定常FBOのための最初のアルゴリズムである。
• 参考スコア（独自算出の注目度）: 21.88474848102693
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Functional bilevel optimization (FBO) provides a powerful framework for hierarchical learning in function spaces, yet current methods are limited to static offline settings and perform suboptimally in online, non-stationary scenarios. We propose SmoothFBO, the first algorithm for non-stationary FBO with both theoretical guarantees and practical scalability. SmoothFBO introduces a time-smoothed stochastic hypergradient estimator that reduces variance through a window parameter, enabling stable outer-loop updates with sublinear regret. Importantly, the classical parametric bilevel case is a special reduction of our framework, making SmoothFBO a natural extension to online, non-stationary settings. Empirically, SmoothFBO consistently outperforms existing FBO methods in non-stationary hyperparameter optimization and model-based reinforcement learning, demonstrating its practical effectiveness. Together, these results establish SmoothFBO as a general, theoretically grounded, and practically viable foundation for bilevel optimization in online, non-stationary scenarios.
• Abstract（参考訳）: 関数双レベル最適化(FBO)は、関数空間における階層的学習のための強力なフレームワークを提供するが、現在のメソッドは静的なオフライン設定に限定され、オンライン、非定常シナリオで亜最適に実行される。 SmoothFBOは,理論的保証と実用的スケーラビリティの両面から,非定常FBOのための最初のアルゴリズムである。 SmoothFBOは、ウィンドウパラメータによる分散を低減し、サブ線形後悔を伴う安定した外ループ更新を可能にする、時間平滑な確率的過勾配推定器を導入している。 重要なことは、古典的なパラメトリック・バイレベル・ケースは、私たちのフレームワークの特別な削減であり、SmoothFBOはオンライン、非定常的な設定への自然な拡張となります。 SmoothFBOは、非定常ハイパーパラメータ最適化とモデルベース強化学習において、既存のFBO法を一貫して上回り、その実用性を示している。 これらの結果はSmoothFBOを、オンライン、非定常シナリオにおける二段階最適化の一般、理論的基盤、実用的基盤として確立する。

関連論文リスト

• Stochastic Regret Guarantees for Online Zeroth- and First-Order Bilevel Optimization [23.138958400600526]
  オンライン二段階最適化(OBO)は、外部目標と内部目標の両方が時間とともに進化する機械学習問題のための強力なフレームワークである。 現在のOBOアプローチは、関数が急速に変化するときにシステム性能を正確に反映しないような、決定論的テクトウハウスムーズな後悔の最小化に依存している。 我々は,新しい探索方向を導入し,この方向を利用する一階とゼロ階のOBOアルゴリズムが,窓の平滑化を伴わずに,半線形確率的二段階後悔を実現することを示す。
  論文  参考訳（メタデータ） (2025-11-03T00:29:36Z)
• A Novel Unified Parametric Assumption for Nonconvex Optimization [53.943470475510196]
  非最適化は機械学習の中心であるが、一般の非凸性は弱い収束を保証するため、他方に比べて悲観的すぎる。 非凸アルゴリズムに新しい統一仮定を導入する。
  論文  参考訳（メタデータ） (2025-02-17T21:25:31Z)
• MARINA-P: Superior Performance in Non-smooth Federated Optimization with Adaptive Stepsizes [57.24311218570012]
  EF21-P (匿名2024) と MARINA-P (arXiv:2402.06412) の非滑らか凸理論を非サイズ凸設定で拡張する。 我々は、定数、減少、適応(aktype)ステップの理論的保証を提供する。
  論文  参考訳（メタデータ） (2024-12-22T16:18:34Z)
• Online Nonconvex Bilevel Optimization with Bregman Divergences [3.237380113935023]
  本稿では,近年の変動率の平均値を用いて,外部変数を更新するオンラインバイレベル(SOB)手法を提案する。 このアプローチは、ハイパーレベルベンチマークのレートが優れたパフォーマンスと効率を強調するため、オフラインバイレベル設定(OBO)よりも優れている。
  論文  参考訳（メタデータ） (2024-09-16T17:01:27Z)
• Non-Convex Bilevel Optimization with Time-Varying Objective Functions [57.299128109226025]
  本稿では,時間変化の可能なオンライン二段階最適化を提案し,エージェントがオンラインデータを用いて決定を継続的に更新する。 既存のアルゴリズムと比較して、SOBOWは計算効率が良く、以前の関数を知る必要がない。 軽度条件下では,SOBOWはサブリニアな局所的後悔を達成できることを示す。
  論文  参考訳（メタデータ） (2023-08-07T06:27:57Z)
• Model-based Causal Bayesian Optimization [78.120734120667]
  モデルに基づく因果ベイズ最適化(MCBO)を提案する。 MCBOは介入と逆のペアをモデリングするのではなく、完全なシステムモデルを学ぶ。 標準的なベイズ最適化とは異なり、我々の取得関数は閉形式では評価できない。
  論文  参考訳（メタデータ） (2022-11-18T14:28:21Z)
• A General Recipe for Likelihood-free Bayesian Optimization [115.82591413062546]
  我々は,BOをより広範なモデルやユーティリティに拡張する可能性のないBO(LFBO)を提案する。 LFBOは、確率的代理モデルと個別に推論を行うことなく、取得関数を直接モデル化する。 LFBOにおける取得関数の計算は、重み付けされた分類問題を最適化することで削減できることを示す。
  論文  参考訳（メタデータ） (2022-06-27T03:55:27Z)
• Feedback Gradient Descent: Efficient and Stable Optimization with Orthogonality for DNNs [3.42658286826597]
  本稿では,FGD(Feedback Gradient Descent)という新しい手法を提案する。 画像分類実験において、FGDは精度、効率、安定性の点で既存の最先端手法を総合的に上回っている。
  論文  参考訳（メタデータ） (2022-05-12T03:47:27Z)
• Optimistic Policy Optimization is Provably Efficient in Non-stationary MDPs [113.8752163061151]
  非定常線形カーネルマルコフ決定過程(MDP)におけるエピソード強化学習(RL)の研究 線形最適化アンダーライン最適化アルゴリズム(PROPO)を提案する。 PROPOはスライディングウィンドウベースのポリシー評価と周期的リスタートベースのポリシー改善の2つのメカニズムを特徴としている。
  論文  参考訳（メタデータ） (2021-10-18T02:33:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。