論文の概要: Predictor-corrector algorithms for stochastic optimization under gradual distribution shift

• arxiv url: http://arxiv.org/abs/2205.13575v1
• Date: Thu, 26 May 2022 18:33:00 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-30 15:29:04.766591
• Title: Predictor-corrector algorithms for stochastic optimization under gradual distribution shift
• Title（参考訳）: 漸進分布シフト下における確率的最適化のための予測-補正アルゴリズム
• Authors: Subha Maity, Debarghya Mukherjee, Moulinath Banerjee, Yuekai Sun
• Abstract要約: 時間変化の最適化問題は機械学習の実践で頻繁に発生する。 我々は、時間変動最適化のための予測器相関アルゴリズムを開発することにより、この基礎となる連続性を利用する。
• 参考スコア（独自算出の注目度）: 26.897316325189212
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Time-varying stochastic optimization problems frequently arise in machine learning practice (e.g. gradual domain shift, object tracking, strategic classification). Although most problems are solved in discrete time, the underlying process is often continuous in nature. We exploit this underlying continuity by developing predictor-corrector algorithms for time-varying stochastic optimizations. We provide error bounds for the iterates, both in presence of pure and noisy access to the queries from the relevant derivatives of the loss function. Furthermore, we show (theoretically and empirically in several examples) that our method outperforms non-predictor corrector methods that do not exploit the underlying continuous process.
• Abstract（参考訳）: 時間変化確率最適化問題は機械学習の実践(段階的なドメインシフト、オブジェクト追跡、戦略的分類など)で頻繁に発生する。 ほとんどの問題は離散時間で解かれるが、基礎となるプロセスは本質的に連続することが多い。 この基礎となる連続性を利用して、時間変化確率最適化のための予測器相関アルゴリズムを開発する。 我々は、損失関数の関連するデリバティブからクエリへの純粋でノイズの多いアクセスがある場合に、繰り返しのエラー境界を提供する。 さらに,本手法は,基礎となる連続プロセスを利用していない非予測的補正手法よりも優れていることを示す。

関連論文リスト

• A Stochastic Approach to Bi-Level Optimization for Hyperparameter Optimization and Meta Learning [74.80956524812714]
  我々は,現代のディープラーニングにおいて広く普及している一般的なメタ学習問題に対処する。 これらの問題は、しばしばBi-Level Optimizations (BLO)として定式化される。 我々は,与えられたBLO問題を,内部損失関数が滑らかな分布となり,外損失が内部分布に対する期待損失となるようなii最適化に変換することにより,新たな視点を導入する。
  論文  参考訳（メタデータ） (2024-10-14T12:10:06Z)
• Learning to Optimize with Stochastic Dominance Constraints [103.26714928625582]
  本稿では,不確実量を比較する問題に対して,単純かつ効率的なアプローチを開発する。 我々はラグランジアンの内部最適化をサロゲート近似の学習問題として再考した。 提案したライト-SDは、ファイナンスからサプライチェーン管理に至るまで、いくつかの代表的な問題において優れた性能を示す。
  論文  参考訳（メタデータ） (2022-11-14T21:54:31Z)
• A Continuous-time Stochastic Gradient Descent Method for Continuous Data [0.0]
  本研究では,連続データを用いた最適化問題に対する勾配降下アルゴリズムの連続時間変種について検討する。 連続データ空間における複数のサンプリングパターンについて検討し、実行時にデータシミュレートやストリームを可能にする。 ノイズの多い関数データと物理インフォームドニューラルネットワークの回帰問題における勾配過程の適用性について考察する。
  論文  参考訳（メタデータ） (2021-12-07T15:09:24Z)
• Breaking the Convergence Barrier: Optimization via Fixed-Time Convergent Flows [4.817429789586127]
  本稿では, 固定時間安定力学系の概念に基づいて, 加速を実現するための多言語最適化フレームワークを提案する。 提案手法の高速化された収束特性を,最先端の最適化アルゴリズムに対して様々な数値例で検証する。
  論文  参考訳（メタデータ） (2021-12-02T16:04:40Z)
• Stochastic Optimization under Distributional Drift [3.0229888038442922]
  予測と高い確率の両方で有効な境界に焦点をあて、平均化を繰り返すアルゴリズムに対して非漸近収束保証を提供する。 勾配法の追従効率がステップ崩壊スケジュールから大きく向上する低ドリフト・ツー・ノイズ方式を同定する。
  論文  参考訳（メタデータ） (2021-08-16T21:57:39Z)
• Optimization on manifolds: A symplectic approach [127.54402681305629]
  本稿では、最適化問題を解くための一般的な枠組みとして、ディラックの制約付きハミルトン系理論の散逸拡張を提案する。 我々の(加速された)アルゴリズムのクラスは単純で効率的なだけでなく、幅広い文脈にも適用できる。
  論文  参考訳（メタデータ） (2021-07-23T13:43:34Z)
• Variance Penalized On-Policy and Off-Policy Actor-Critic [60.06593931848165]
  本稿では,平均値と変動値の両方を含むパフォーマンス基準を最適化する,オン・ポリティィおよびオフ・ポリティィ・アクター・クリティカルなアルゴリズムを提案する。 提案手法は, アクタ批判的かつ事前の分散-ペナライゼーションベースラインに匹敵するだけでなく, リターンのばらつきが低いトラジェクトリも生成する。
  論文  参考訳（メタデータ） (2021-02-03T10:06:16Z)
• Variance Regularization for Accelerating Stochastic Optimization [14.545770519120898]
  ミニバッチ勾配に隠れた統計情報を利用してランダムな誤りの蓄積を低減する普遍原理を提案する。 これは、ミニバッチのばらつきに応じて学習率を正規化することで達成される。
  論文  参考訳（メタデータ） (2020-08-13T15:34:01Z)
• Time-varying Gaussian Process Bandit Optimization with Non-constant Evaluation Time [93.6788993843846]
  非定常評価時間を効果的に処理できる新しい時間変化ベイズ最適化アルゴリズムを提案する。 我々の限界は、評価時間列のパターンが問題の難易度に大きな影響を与えることを決定づける。
  論文  参考訳（メタデータ） (2020-03-10T13:28:33Z)
• Learning with Differentiable Perturbed Optimizers [54.351317101356614]
  本稿では,操作を微分可能で局所的に一定ではない操作に変換する手法を提案する。 提案手法は摂動に依拠し,既存の解法とともに容易に利用することができる。 本稿では,この枠組みが,構造化予測において発達した損失の族とどのように結びつくかを示し,学習課題におけるそれらの使用に関する理論的保証を与える。
  論文  参考訳（メタデータ） (2020-02-20T11:11:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。