論文の概要: Dynamic Regret via Discounted-to-Dynamic Reduction with Applications to Curved Losses and Adam Optimizer

• arxiv url: http://arxiv.org/abs/2602.08372v1
• Date: Mon, 09 Feb 2026 08:10:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-10 20:26:25.122592
• Title: Dynamic Regret via Discounted-to-Dynamic Reduction with Applications to Curved Losses and Adam Optimizer
• Title（参考訳）: 分散-動的還元による動的レグレットと曲線損失とアダム最適化への応用
• Authors: Yan-Feng Xie, Yu-Jie Zhang, Peng Zhao, Zhi-Hua Zhou,
• Abstract要約: 本手法は, 動的リセット最小化法であるディスカウント・トゥ・ダイナミック・リセット法を構築する。 線形回帰とロジスティック回帰の2つの代表的な曲線損失に着目した。 本手法は,オンラインロジスティック回帰に対する新たな動的後悔の保証を与える。
• 参考スコア（独自算出の注目度）: 72.0797062226335
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study dynamic regret minimization in non-stationary online learning, with a primary focus on follow-the-regularized-leader (FTRL) methods. FTRL is important for curved losses and for understanding adaptive optimizers such as Adam, yet existing dynamic regret analyses are less explored for FTRL. To address this, we build on the discounted-to-dynamic reduction and present a modular way to obtain dynamic regret bounds of FTRL-related problems. Specifically, we focus on two representative curved losses: linear regression and logistic regression. Our method not only simplifies existing proofs for the optimal dynamic regret of online linear regression, but also yields new dynamic regret guarantees for online logistic regression. Beyond online convex optimization, we apply the reduction to analyze the Adam optimizers, obtaining optimal convergence rates in stochastic, non-convex, and non-smooth settings. The reduction also enables a more detailed treatment of Adam with two discount parameters $(β_1,β_2)$, leading to new results for both clipped and clip-free variants of Adam optimizers.
• Abstract（参考訳）: 本研究では,非定常オンライン学習における動的後悔の最小化について検討し,フォロー・ザ・レギュラライズド・リーダー(FTRL)法を中心に検討した。 FTRLは、Adamなどの適応最適化器の曲面損失や理解において重要であるが、FTRLでは既存の動的後悔解析があまり行われていない。 そこで本研究では,FTRL 関連問題の動的後悔境界を求めるモジュラー手法を提案する。 具体的には、線形回帰とロジスティック回帰の2つの代表的な曲線損失に焦点を当てる。 本手法は,オンライン線形回帰の最適動的後悔に対する既存の証明を単純化するだけでなく,オンラインロジスティック回帰に対する新しい動的後悔保証を与える。 オンライン凸最適化以外にも、Adamオプティマイザを解析し、確率的、非凸的、非滑らかな設定における最適収束率を求める。 この削減により、Adamの2つの割引パラメータ$(β_1,β_2)$でより詳細な処理が可能となり、Adamオプティマイザのクリップなし版とクリップなし版の両方の新しい結果が得られた。

関連論文リスト

• Gradient Descent as a Perceptron Algorithm: Understanding Dynamics and Implicit Acceleration [67.12978375116599]
  勾配降下(GD)のステップが一般化されたパーセプトロンアルゴリズムのステップに還元されることを示す。 これは、ニューラルネットワークで観測される最適化力学と暗黙の加速現象を説明するのに役立つ。
  論文  参考訳（メタデータ） (2025-12-12T14:16:35Z)
• Online AUC Optimization Based on Second-order Surrogate Loss [3.9269332672496424]
  曲線の下の領域は、分類タスクの重要なパフォーマンス指標である。 両方向のヒンジ損失に基づく新しい第2次サロゲート損失と,効率的なオンラインストレージを開発する。 本手法では, 1次および2次統計量から構築した損失関数を用いて, 集約された対損失を直接置換する新しいパラダイムを提案する。
  論文  参考訳（メタデータ） (2025-10-24T07:08:22Z)
• A Simplified Analysis of SGD for Linear Regression with Weight Averaging [64.2393952273612]
  最近の研究は、定常学習率を用いた線形回帰におけるSGD最適化のためのシャープレートを提供する。 簡単な線形代数ツールを用いて,2021ベニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグナグニグニグニグニグニグニグニグニグニグニグネグニグニグニグニグネグニグニグネグニ 我々の研究は線形回帰の勾配勾配を非常に容易に解析し、ミニバッチと学習率のスケジューリングのさらなる分析に役立てることができると信じている。
  論文  参考訳（メタデータ） (2025-06-18T15:10:38Z)
• On the Dynamic Regret of Following the Regularized Leader: Optimism with History Pruning [8.708728702853966]
  FTRL(Follow the Regularized Leader)は、オンライン凸最適化(OCO)のためのフレームワークである。 これまでの研究は、動的環境におけるフレームワークの制限を強調してきた。 FTRLは、将来的なコストの楽観的な構成により、既知の動的後悔境界を回復できることを示す。
  論文  参考訳（メタデータ） (2025-05-28T22:03:15Z)
• Flow-GRPO: Training Flow Matching Models via Online RL [80.62659379624867]
  本稿では,オンライン政策強化学習をフローマッチングモデルに統合する最初の方法であるFlow-GRPOを提案する。 提案手法では,(1)決定論的正規微分方程式を同値な微分方程式に変換するODE-to-SDE変換と,(2)推論ステップの数を維持しながらトレーニングの段階を短縮するDenoising Reduction戦略の2つの主要な戦略を用いる。
  論文  参考訳（メタデータ） (2025-05-08T17:58:45Z)
• Dynamic Regret for Strongly Adaptive Methods and Optimality of Online KRR [13.165557713537389]
  我々は、強い適応性(SA)アルゴリズムを、動的後悔を制御するための原則的な方法と見なせることを示した。 我々は,オンラインKernel Ridge Regression(KRR)の最小限の最適性を確立する,ある罰則による新たな下限を導出する。
  論文  参考訳（メタデータ） (2021-11-22T21:52:47Z)
• LQF: Linear Quadratic Fine-Tuning [114.3840147070712]
  本稿では,非線形微調整に匹敵する性能を実現する事前学習モデルの線形化手法を提案する。 LQFはアーキテクチャの単純な変更、損失関数、そして一般的に分類に使用される最適化で構成されている。
  論文  参考訳（メタデータ） (2020-12-21T06:40:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。