論文の概要: Data-Dependent Regret and Polyak Corrections for Constrained Online Convex Optimization

• arxiv url: http://arxiv.org/abs/2607.25480v1
• Date: Tue, 28 Jul 2026 09:13:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-29 20:50:42.78274
• Title: Data-Dependent Regret and Polyak Corrections for Constrained Online Convex Optimization
• Title（参考訳）: 制約付きオンライン凸最適化のためのデータ依存回帰とポリアク補正
• Abstract要約: 制約付きオンライン凸最適化では、各ラウンドで凸制約を満たす一方で、対向凸コストに対する後悔を最小限に抑える必要がある。 1ラウンドあたりの制約評価と1ラウンドあたりの下位段階を用いて、オンライン勾配降下とPolyak実現可能性ステップを組み合わせる。 ボールとハーフスペースの制約された問題に対する実験は、データ依存勾配とポリアク補正の両方によって38～43パーセントの後悔境界が大幅に改善された。
• 参考スコア（独自算出の注目度）: 9.479564500650865
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Constrained online convex optimization requires minimizing regret against adversarial convex costs while satisfying a convex constraint at every round, as needed in safety-critical applications. A computationally efficient method combines online gradient descent with a Polyak feasibility step, using one constraint evaluation and one subgradient per round. Although this method achieves O(sqrt(T)) regret with per-round feasibility, we derive a tighter, data-dependent analysis by retaining two quantities omitted by the standard worst-case argument. First, we replace the gradient envelope G_f^2 T with the observed accumulation G_T = sum_t ||grad f_t(x_t)||^2. Second, we identify a nonnegative Polyak correction P_T that measures the cumulative squared displacement caused by feasibility projections and enters the regret bound with a negative sign. The resulting improvement, Delta_T = (eta/2)(G_f^2 T - G_T) + P_T/(2 eta), is always nonnegative. We further propose AdaOGD-PFS, an adaptive-step-size method that achieves O(sqrt(G_T)) regret while preserving per-round feasibility. Experiments on ball- and halfspace-constrained problems improve the regret bound by 38 to 43 percent, with both data-dependent gradients and Polyak corrections contributing substantially.
• Abstract（参考訳）: 制約付きオンライン凸最適化は、安全クリティカルなアプリケーションに必要な全てのラウンドで凸制約を満たす一方で、対向凸コストに対する後悔を最小限に抑える必要がある。 1ラウンドあたりの制約評価と1ラウンドあたりの下位段階を用いて、オンライン勾配降下とPolyak実現可能性ステップを組み合わせる。 本手法は,O(sqrt(T))後悔を丸ごと実現可能にするが,標準的な最悪の議論で省略された2つの量を保持することにより,より厳密でデータ依存的な分析を導出する。 まず、勾配エンベロープG_f^2Tを観測された蓄積G_T = sum_t ||grad f_t(x_t)||^2に置き換える。 第2に、ファジビリティ投影による累積2乗変位を測定する非負のポリアク補正P_Tを同定し、負の符号で後悔点に入る。 その結果、Delta_T = (eta/2)(G_f^2 T - G_T) + P_T/(2 eta) は常に非負となる。 さらに,O(sqrt(G_T))の後悔を実現する適応ステップサイズ手法であるAdaOGD-PFSを提案する。 ボールとハーフスペースの制約された問題に対する実験は、データ依存勾配とポリアク補正の両方によって38～43パーセントの後悔境界が大幅に改善された。

関連論文リスト

• Constrained Online Learning with Noisy Constraint Values [55.29259818039367]
  一般的な実現可能性の下では、我々のLEDGERアルゴリズムは、期待される損失$O(sqrt T)と期待される予算違反$O(sqrtTlog(eT))を達成します。 スレーター条件、フィードバックチャネル間の独立性、絶対的制約値境界は不要である。
  論文  参考訳（メタデータ） (2026-09-07T01:38:41Z)
• Bandit Convex Optimization with Gradient Prediction Adaptivity [56.816177049016794]
  本研究では, 楽観的な勾配予測が, 最悪の後悔の保証を予測順応的に改善できるかどうかを考察する。 鍵となるアイデアは、分散が勾配ノルムではなく予測誤差でスケールする、新しい分散還元勾配推定器である。 我々は、$(sqrtmathbbE[S_T])$としてスケールする情報理論の下限を確立し、最も達成可能な予測適応的後悔の基本的な特徴を提供する。
  論文  参考訳（メタデータ） (2026-05-21T08:57:38Z)
• Adaptive Matrix Online Learning through Smoothing with Guarantees for Nonsmooth Nonconvex Optimization [54.723834588133165]
  我々は,演算子AMLによる行列変数を用いたオンライン線形最適化について検討した。 プロジェクションを避ける2つの効率的な手法でこのフレームワークをインスタンス化する。 両手法とも, クローズドフォーム更新はシャンプーの後悔と一致し, 計算コストを大幅に削減することを示した。
  論文  参考訳（メタデータ） (2026-02-09T03:09:47Z)
• Provable Complexity Improvement of AdaGrad over SGD: Upper and Lower Bounds in Stochastic Non-Convex Optimization [18.47705532817026]
  適応勾配法は、最も成功したニューラルネットワークトレーニングアルゴリズムの一つである。 これらの手法は凸SGD-ノルマリティよりも次元依存性が優れていることが知られている。 本稿では,構造物の滑らかさと勾配雑音の分散に関する新しい仮定を紹介する。
  論文  参考訳（メタデータ） (2024-06-07T02:55:57Z)
• Universal Online Learning with Gradient Variations: A Multi-layer Online Ensemble Approach [57.92727189589498]
  本稿では,2段階の適応性を持つオンライン凸最適化手法を提案する。 我々は$mathcalO(log V_T)$, $mathcalO(d log V_T)$, $hatmathcalO(sqrtV_T)$ regret bounds for strong convex, exp-concave and convex loss function。
  論文  参考訳（メタデータ） (2023-07-17T09:55:35Z)
• Parameter-free projected gradient descent [0.0]
  我々は、射影勾配 Descent (PGD) を用いて、閉凸集合上の凸関数を最小化する問題を考える。 本稿では,AdaGradのパラメータフリーバージョンを提案する。これは初期化と最適化の距離に適応し,下位段階の平方ノルムの和に適応する。 提案アルゴリズムはプロジェクションステップを処理でき、リスタートを伴わず、従来のPGDと比較して軌道に沿ってリウィーディングや追加評価を行うことができる。
  論文  参考訳（メタデータ） (2023-05-31T07:22:44Z)
• Lower Generalization Bounds for GD and SGD in Smooth Stochastic Convex Optimization [9.019243171993553]
  トレーニングステップ$T$とStep-size$eta$は、滑らかな凸最適化(SCO)問題の認定に影響を与える可能性がある。 まず、グラディエントDescent(GD)とグラディエントDescent(SGD)の厳密な過剰リスク低境界を提供する。 近年の作業は、より良い速度で達成できるが、トレーニング時間が長い場合には改善が減少する。
  論文  参考訳（メタデータ） (2023-03-19T20:24:33Z)
• Adaptive Approximate Implicitization of Planar Parametric Curves via Weak Gradient Constraints [11.559302398966468]
  ポリノミカル曲線と非ポリノミカル曲線に新たな正規化制約を導入する。 次に、多項式曲線と非多項式曲線の近似的暗黙化の2つの適応アルゴリズムを提案する。 より正確には、このアイデアは、出力の弱い勾配損失に明らかな改善がないまで、徐々に暗黙の度合いを増している。
  論文  参考訳（メタデータ） (2023-02-23T04:08:53Z)
• Statistical Inference of Constrained Stochastic Optimization via Sketched Sequential Quadratic Programming [53.63469275932989]
  制約付き非線形最適化問題のオンライン統計的推測を考察する。 これらの問題を解決するために、逐次二次計画法(StoSQP)を適用する。
  論文  参考訳（メタデータ） (2022-05-27T00:34:03Z)
• Adaptivity and Non-stationarity: Problem-dependent Dynamic Regret for Online Convex Optimization [70.4342220499858]
  本稿では,スムーズさを生かし,問題依存量による動的後悔のT$への依存を補う新しいオンラインアルゴリズムを提案する。 この結果が本質的な難易度に適応しているのは, 既往の結果よりも厳密であり, 最悪の場合, 同一レートの保護が可能であるからである。
  論文  参考訳（メタデータ） (2021-12-29T02:42:59Z)
• Regret and Cumulative Constraint Violation Analysis for Online Convex Optimization with Long Term Constraints [24.97580261894342]
  本稿では,長期的制約を伴うオンライン凸最適化について考察する。 新たなアルゴリズムが最初に提案され、静的後悔のために$mathcalO(Tmaxc,1-c)$bound、累積制約違反のために$mathcalO(T(1-c)/2)$boundを達成する。
  論文  参考訳（メタデータ） (2021-06-09T15:18:06Z)
• Last iterate convergence of SGD for Least-Squares in the Interpolation regime [19.05750582096579]
  基本最小二乗構成におけるノイズレスモデルについて検討する。 最適予測器が完全に入力に適合すると仮定し、$langletheta_*, phi(X) rangle = Y$, ここで$phi(X)$は無限次元の非線型特徴写像を表す。
  論文  参考訳（メタデータ） (2021-02-05T14:02:20Z)
• Canny-VO: Visual Odometry with RGB-D Cameras based on Geometric 3D-2D Edge Alignment [85.32080531133799]
  本稿では,自由形式の曲線登録に関する古典的な問題をレビューし,効率的なrgbdビジュアルオドメトリシステムcanny-voに適用する。 エッジ登録でよく用いられる距離変換の代替として、近似近接近傍場と配向近接近傍場という2つの方法が提案されている。 3D2Dエッジアライメントは、効率性と精度の両方の観点から、これらの代替製剤の恩恵を受けます。
  論文  参考訳（メタデータ） (2020-12-15T11:42:17Z)
• Private Stochastic Non-Convex Optimization: Adaptive Algorithms and Tighter Generalization Bounds [72.63031036770425]
  有界非次元最適化のための差分プライベート(DP)アルゴリズムを提案する。 標準勾配法に対する経験的優位性について,2つの一般的なディープラーニング手法を実証する。
  論文  参考訳（メタデータ） (2020-06-24T06:01:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。