論文の概要: Debiasing Conditional Stochastic Optimization

• arxiv url: http://arxiv.org/abs/2304.10613v2
• Date: Fri, 9 Jun 2023 09:59:27 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-12 17:06:29.263479
• Title: Debiasing Conditional Stochastic Optimization
• Title（参考訳）: デバイアス条件付き確率最適化
• Authors: Lie He and Shiva Prasad Kasiviswanathan
• Abstract要約: 様々なアプリケーションをカバーする条件付き因果最適化(CSO)問題。 そこで本研究では,既存の結果を大幅に改善する有限サムCSO問題に対する新しいアルゴリズムを開発した。 我々は,本手法が他の最適化問題と同様の課題に対処するための有用なツールとなる可能性があると考えている。
• 参考スコア（独自算出の注目度）: 15.219104354165003
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we study the conditional stochastic optimization (CSO) problem which covers a variety of applications including portfolio selection, reinforcement learning, robust learning, causal inference, etc. The sample-averaged gradient of the CSO objective is biased due to its nested structure, and therefore requires a high sample complexity to reach convergence. We introduce a general stochastic extrapolation technique that effectively reduces the bias. We show that for nonconvex smooth objectives, combining this extrapolation with variance reduction techniques can achieve a significantly better sample complexity than existing bounds. Additionally, we develop new algorithms for the finite-sum variant of the CSO problem that also significantly improve upon existing results. Finally, we believe that our debiasing technique has the potential to be a useful tool for addressing similar challenges in other stochastic optimization problems.
• Abstract（参考訳）: 本稿では,ポートフォリオ選択や強化学習,頑健な学習,因果推論など,さまざまな応用をカバーする条件付き確率最適化(CSO)問題について検討する。 csoの目的のサンプル平均勾配はネスト構造のために偏りがあるため、収束に達するには高いサンプル複雑性を必要とする。 バイアスを効果的に低減する一般的な確率的外挿手法を提案する。 非凸な滑らかな目的に対して、この補間と分散低減技術を組み合わせることで、既存の境界よりもはるかに優れたサンプル複雑性が得られることを示す。 さらに,CSO問題の有限サム変量に対する新しいアルゴリズムを開発し,既存の結果を大幅に改善する。 最後に、我々のデバイアス技術は、他の確率的最適化問題における同様の課題に対処するための有用なツールとなる可能性があると信じている。

関連論文リスト

• Optimization by Parallel Quasi-Quantum Annealing with Gradient-Based Sampling [0.0]
  本研究では、連続緩和による勾配に基づく更新と準量子アナリング(QQA)を組み合わせた別のアプローチを提案する。 数値実験により,本手法はiSCOと学習型解法に匹敵する性能を有する汎用解法であることが示された。
  論文  参考訳（メタデータ） (2024-09-02T12:55:27Z)
• Optimizing Solution-Samplers for Combinatorial Problems: The Landscape of Policy-Gradient Methods [52.0617030129699]
  本稿では,DeepMatching NetworksとReinforcement Learningメソッドの有効性を解析するための新しい理論フレームワークを提案する。 我々の主な貢献は、Max- and Min-Cut、Max-$k$-Bipartite-Bi、Maximum-Weight-Bipartite-Bi、Traveing Salesman Problemを含む幅広い問題である。 本分析の副産物として,バニラ降下による新たな正則化プロセスを導入し,失効する段階的な問題に対処し,悪い静止点から逃れる上で有効であることを示す理論的および実験的証拠を提供する。
  論文  参考訳（メタデータ） (2023-10-08T23:39:38Z)
• Federated Conditional Stochastic Optimization [110.513884892319]
  条件付き最適化は、不変学習タスク、AUPRC、AMLなど、幅広い機械学習タスクで見られる。 本稿では,分散フェデレーション学習のためのアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-10-04T01:47:37Z)
• A Homogenization Approach for Gradient-Dominated Stochastic Optimization [6.1144486886258065]
  勾配支配を享受する関数に対する同次二階降下法(SHSOD)を提案する。 以上の結果から,SHSODMは勾配優先最適化法において,他の2次法で達成された最もよく知られたサンプルの複雑さと一致していることがわかった。
  論文  参考訳（メタデータ） (2023-08-21T11:03:04Z)
• Faster Stochastic Variance Reduction Methods for Compositional MiniMax Optimization [50.10952609321302]
  合成ミニマックス最適化は、さまざまな機械学習領域において重要な課題である。 構成最小最適化の現在の方法は、最適以下の複雑さや、大きなバッチサイズに大きく依存することによって悩まされている。 本稿では,Nested STOchastic Recursive Momentum (NSTORM)と呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-08-18T14:57:21Z)
• Optimal Algorithms for Stochastic Complementary Composite Minimization [55.26935605535377]
  統計学と機械学習における正規化技術に触発され,補完的な複合化の最小化について検討した。 予測と高い確率で、新しい過剰なリスク境界を提供する。 我々のアルゴリズムはほぼ最適であり、このクラスの問題に対して、新しいより低い複雑性境界によって証明する。
  論文  参考訳（メタデータ） (2022-11-03T12:40:24Z)
• High Probability Complexity Bounds for Non-Smooth Stochastic Optimization with Heavy-Tailed Noise [51.31435087414348]
  アルゴリズムが高い確率で小さな客観的残差を与えることを理論的に保証することが不可欠である。 非滑らか凸最適化の既存の方法は、信頼度に依存した複雑性境界を持つ。 そこで我々は,勾配クリッピングを伴う2つの手法に対して,新たなステップサイズルールを提案する。
  論文  参考訳（メタデータ） (2021-06-10T17:54:21Z)
• Stochastic Compositional Gradient Descent under Compositional constraints [13.170519806372075]
  目的関数と制約関数が凸であり,関数の合成として表される制約最適化問題について検討する。 この問題は、公平な分類/回帰とキューシステムの設計に生じる。 提案手法は最適かつ実現可能な解をほぼ確実に見つけることが保証されている。
  論文  参考訳（メタデータ） (2020-12-17T05:38:37Z)
• Efficient Methods for Structured Nonconvex-Nonconcave Min-Max Optimization [98.0595480384208]
  定常点に収束する一般化外空間を提案する。 このアルゴリズムは一般の$p$ノルド空間だけでなく、一般の$p$次元ベクトル空間にも適用される。
  論文  参考訳（メタデータ） (2020-10-31T21:35:42Z)
• The Strength of Nesterov's Extrapolation in the Individual Convergence of Nonsmooth Optimization [0.0]
  ネステロフの外挿は、非滑らかな問題に対して勾配降下法の個人収束を最適にする強さを持つことを証明している。 提案手法は,設定の非滑らかな損失を伴って正規化学習タスクを解くためのアルゴリズムの拡張である。 本手法は,大規模な1-正規化ヒンジロス学習問題の解法として有効である。
  論文  参考訳（メタデータ） (2020-06-08T03:35:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。