論文の概要: Stochastic interior-point methods for smooth conic optimization with applications

• arxiv url: http://arxiv.org/abs/2412.12987v1
• Date: Tue, 17 Dec 2024 15:06:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-18 13:59:59.312853
• Title: Stochastic interior-point methods for smooth conic optimization with applications
• Title（参考訳）: 滑らかな円錐最適化のための確率的内点法とその応用
• Authors: Chuan He, Zhanwang Deng,
• Abstract要約: 一般円錐最適化のためのインテリアポイント法を4つの新しいSIPM変種とともに導入する。 未開発の前提の下では,提案したSIPMのグローバル収束率を確立する。 頑健な線形回帰、マルチタスク関係学習、クラスタリングデータストリームの実験は、我々のアプローチの有効性を実証している。
• 参考スコア（独自算出の注目度）: 3.294420397461204
• License:
• Abstract: Conic optimization plays a crucial role in many machine learning (ML) problems. However, practical algorithms for conic constrained ML problems with large datasets are often limited to specific use cases, as stochastic algorithms for general conic optimization remain underdeveloped. To fill this gap, we introduce a stochastic interior-point method (SIPM) framework for general conic optimization, along with four novel SIPM variants leveraging distinct stochastic gradient estimators. Under mild assumptions, we establish the global convergence rates of our proposed SIPMs, which, up to a logarithmic factor, match the best-known rates in stochastic unconstrained optimization. Finally, our numerical experiments on robust linear regression, multi-task relationship learning, and clustering data streams demonstrate the effectiveness and efficiency of our approach.
• Abstract（参考訳）: コーニック最適化は多くの機械学習(ML)問題において重要な役割を果たす。 しかし、一般的な円錐最適化のための確率的アルゴリズムはまだ未開発であるため、大きなデータセットを持つ円錐制約ML問題の実践的アルゴリズムは特定のユースケースに限られることが多い。 このギャップを埋めるために、一般的な円錐最適化のための確率的内点法(SIPM)フレームワークと、異なる確率的勾配推定器を利用する4つの新しいSIPM変種を導入する。 軽度の仮定の下では、提案したSIPMのグローバル収束率を確立し、これは対数係数まで、確率的非制約最適化において最もよく知られた速度と一致する。 最後に,ロバスト線形回帰,マルチタスク関係学習,クラスタリングデータストリームに関する数値実験を行い,本手法の有効性と有効性を示した。

関連論文リスト

• A Stochastic Approach to Bi-Level Optimization for Hyperparameter Optimization and Meta Learning [74.80956524812714]
  我々は,現代のディープラーニングにおいて広く普及している一般的なメタ学習問題に対処する。 これらの問題は、しばしばBi-Level Optimizations (BLO)として定式化される。 我々は,与えられたBLO問題を,内部損失関数が滑らかな分布となり,外損失が内部分布に対する期待損失となるようなii最適化に変換することにより,新たな視点を導入する。
  論文  参考訳（メタデータ） (2024-10-14T12:10:06Z)
• Multi-level Monte-Carlo Gradient Methods for Stochastic Optimization with Biased Oracles [23.648702140754967]
  バイアスのあるオラクルにアクセスし、低いバイアスで目的を得る必要がある場合、最適化を検討する。 偏り勾配法は,非分散状態のばらつきを低減できることを示す。 また、条件最適化手法は、条件最適化とリスク最適化の文献における最もよく知られた複雑さを著しく改善することを示した。
  論文  参考訳（メタデータ） (2024-08-20T17:56:16Z)
• Differentially Private Optimization with Sparse Gradients [60.853074897282625]
  微分プライベート(DP)最適化問題を個人勾配の空間性の下で検討する。 これに基づいて、スパース勾配の凸最適化にほぼ最適な速度で純粋および近似DPアルゴリズムを得る。
  論文  参考訳（メタデータ） (2024-04-16T20:01:10Z)
• Federated Conditional Stochastic Optimization [110.513884892319]
  条件付き最適化は、不変学習タスク、AUPRC、AMLなど、幅広い機械学習タスクで見られる。 本稿では,分散フェデレーション学習のためのアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-10-04T01:47:37Z)
• Accelerated stochastic approximation with state-dependent noise [7.4648480208501455]
  勾配観測における2次雑音に対する一般仮定の下での滑らかな凸最適化問題を考察する。 このような問題は、統計学におけるよく知られた一般化された線形回帰問題において、様々な応用において自然に発生する。 SAGDとSGEは、適切な条件下で、最適収束率を達成することを示す。
  論文  参考訳（メタデータ） (2023-07-04T06:06:10Z)
• Multistage Stochastic Optimization via Kernels [3.7565501074323224]
  我々は,多段階最適化問題に対する非パラメトリック,データ駆動,トラクタブルアプローチを開発した。 本稿では,提案手法が最適に近い平均性能で決定ルールを生成することを示す。
  論文  参考訳（メタデータ） (2023-03-11T23:19:32Z)
• Exploring the Algorithm-Dependent Generalization of AUPRC Optimization with List Stability [107.65337427333064]
  AUPRC(Area Under the Precision-Recall Curve)の最適化は、機械学習にとって重要な問題である。 本研究では, AUPRC最適化の単依存一般化における最初の試行について述べる。 3つの画像検索データセットの実験は、我々のフレームワークの有効性と健全性に言及する。
  論文  参考訳（メタデータ） (2022-09-27T09:06:37Z)
• Optimization on manifolds: A symplectic approach [127.54402681305629]
  本稿では、最適化問題を解くための一般的な枠組みとして、ディラックの制約付きハミルトン系理論の散逸拡張を提案する。 我々の(加速された)アルゴリズムのクラスは単純で効率的なだけでなく、幅広い文脈にも適用できる。
  論文  参考訳（メタデータ） (2021-07-23T13:43:34Z)
• Momentum Accelerates the Convergence of Stochastic AUPRC Maximization [80.8226518642952]
  高精度リコール曲線(AUPRC)に基づく領域の最適化について検討し,不均衡なタスクに広く利用されている。 我々は、$O (1/epsilon4)$のより優れた反復による、$epsilon$定常解を見つけるための新しい運動量法を開発する。 また,O(1/epsilon4)$と同じ複雑さを持つ適応手法の新たなファミリを設計し,実際により高速な収束を享受する。
  論文  参考訳（メタデータ） (2021-07-02T16:21:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。