論文の概要: Stochastic Optimization under Distributional Drift

• arxiv url: http://arxiv.org/abs/2108.07356v4
• Date: Sat, 27 May 2023 02:47:22 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-31 04:47:50.898221
• Title: Stochastic Optimization under Distributional Drift
• Title（参考訳）: 分散ドリフト下における確率最適化
• Authors: Joshua Cutler, Dmitriy Drusvyatskiy, Zaid Harchaoui
• Abstract要約: 予測と高い確率の両方で有効な境界に焦点をあて、平均化を繰り返すアルゴリズムに対して非漸近収束保証を提供する。 勾配法の追従効率がステップ崩壊スケジュールから大きく向上する低ドリフト・ツー・ノイズ方式を同定する。
• 参考スコア（独自算出の注目度）: 3.0229888038442922
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We consider the problem of minimizing a convex function that is evolving according to unknown and possibly stochastic dynamics, which may depend jointly on time and on the decision variable itself. Such problems abound in the machine learning and signal processing literature, under the names of concept drift, stochastic tracking, and performative prediction. We provide novel non-asymptotic convergence guarantees for stochastic algorithms with iterate averaging, focusing on bounds valid both in expectation and with high probability. The efficiency estimates we obtain clearly decouple the contributions of optimization error, gradient noise, and time drift. Notably, we identify a low drift-to-noise regime in which the tracking efficiency of the proximal stochastic gradient method benefits significantly from a step decay schedule. Numerical experiments illustrate our results.
• Abstract（参考訳）: 我々は、時間と決定変数自体に共同で依存する可能性のある未知の確率力学に基づいて進化している凸関数を最小化する問題を考察する。 このような問題は、機械学習や信号処理の文献において、概念ドリフト、確率追跡、実行的予測といった名前で数多く発生している。 我々は,確率的アルゴリズムの予測と高い確率の両方で有効な境界に焦点をあて,平均化を繰り返す新しい非漸近収束保証を提供する。 効率評価の結果, 最適化誤差, 勾配雑音, 時間ドリフトの寄与を明らかに分離した。 特に,近位確率勾配法の追従効率がステップ減衰スケジュールから著しく向上する低ドリフト-ノイズ方式を同定した。 数値実験で結果が分かる。

関連論文リスト

• Trust-Region Sequential Quadratic Programming for Stochastic Optimization with Random Models [57.52124921268249]
  本稿では,1次と2次の両方の定常点を見つけるための信頼逐次準計画法を提案する。 本手法は, 1次定常点に収束するため, 対象対象の近似を最小化して定義された各イテレーションの勾配ステップを計算する。 2階定常点に収束するため,本手法は負曲率を減少するヘッセン行列を探索する固有ステップも計算する。
  論文  参考訳（メタデータ） (2024-09-24T04:39:47Z)
• Stochastic Zeroth-Order Optimization under Strongly Convexity and Lipschitz Hessian: Minimax Sample Complexity [59.75300530380427]
  本稿では,アルゴリズムが検索対象関数の雑音評価にのみアクセス可能な2次スムーズかつ強い凸関数を最適化する問題を考察する。 本研究は, ミニマックス単純後悔率について, 一致した上界と下界を発達させることにより, 初めて厳密な評価を行ったものである。
  論文  参考訳（メタデータ） (2024-06-28T02:56:22Z)
• Learning Unnormalized Statistical Models via Compositional Optimization [73.30514599338407]
  実データと人工雑音のロジスティックな損失として目的を定式化することにより, ノイズコントラスト推定(NCE)を提案する。 本稿では,非正規化モデルの負の対数類似度を最適化するための直接的アプローチについて検討する。
  論文  参考訳（メタデータ） (2023-06-13T01:18:16Z)
• Losing momentum in continuous-time stochastic optimisation [42.617042045455506]
  運動量に基づく最適化アルゴリズムは 特に広まりました 本研究では、運動量を伴う勾配降下の連続時間モデルを解析する。 また、画像分類問題において畳み込みニューラルネットワークを訓練する。
  論文  参考訳（メタデータ） (2022-09-08T10:46:05Z)
• Differentiable Annealed Importance Sampling and the Perils of Gradient Noise [68.44523807580438]
  Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。 差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。 我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
  論文  参考訳（メタデータ） (2021-07-21T17:10:14Z)
• Optimal Rates for Random Order Online Optimization [60.011653053877126]
  敵が損失関数を選択できるカテットガルバー2020onlineについて検討するが、一様にランダムな順序で提示される。 2020onlineアルゴリズムが最適境界を達成し,安定性を著しく向上することを示す。
  論文  参考訳（メタデータ） (2021-06-29T09:48:46Z)
• High Probability Complexity Bounds for Non-Smooth Stochastic Optimization with Heavy-Tailed Noise [51.31435087414348]
  アルゴリズムが高い確率で小さな客観的残差を与えることを理論的に保証することが不可欠である。 非滑らか凸最適化の既存の方法は、信頼度に依存した複雑性境界を持つ。 そこで我々は,勾配クリッピングを伴う2つの手法に対して,新たなステップサイズルールを提案する。
  論文  参考訳（メタデータ） (2021-06-10T17:54:21Z)
• Practical Precoding via Asynchronous Stochastic Successive Convex Approximation [8.808993671472349]
  凸非平滑正規化器を用いた滑らかな非研究損失関数の最適化について検討する。 本研究では、SCAアルゴリズムを詳しく検討し、無線ネットワークにおけるリソース割り当てのための非同期版を開発する。
  論文  参考訳（メタデータ） (2020-10-03T13:53:30Z)
• Stochastic Gradient Langevin with Delayed Gradients [29.6870062491741]
  本研究では,計算に用いた遅延勾配情報による誤差が測定値の収束率に有意な影響を及ぼさないことを示す。 計算に用いた遅延勾配情報による誤差は, 測定値の収束率に有意な影響を与えず, ウォールクロック時間における高速化の可能性が示唆された。
  論文  参考訳（メタデータ） (2020-06-12T17:51:30Z)
• Sparse recovery by reduced variance stochastic approximation [5.672132510411465]
  雑音観測によるスパース信号回復問題に対する反復2次最適化ルーチンの適用について論じる。 本稿では,Median-of-Meansのような手法を用いて,対応するソリューションの信頼性を向上する方法について述べる。
  論文  参考訳（メタデータ） (2020-06-11T12:31:20Z)
• Non-asymptotic bounds for stochastic optimization with biased noisy gradient oracles [8.655294504286635]
  関数の測定値が推定誤差を持つ設定を捉えるために,バイアス付き勾配オラクルを導入する。 提案するオラクルは,例えば,独立分散シミュレーションと同一分散シミュレーションのバッチによるリスク計測推定の実践的な状況にある。
  論文  参考訳（メタデータ） (2020-02-26T12:53:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。