論文の概要: SOREL: A Stochastic Algorithm for Spectral Risks Minimization

• arxiv url: http://arxiv.org/abs/2407.14618v1
• Date: Fri, 19 Jul 2024 18:20:53 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-23 21:43:34.171777
• Title: SOREL: A Stochastic Algorithm for Spectral Risks Minimization
• Title（参考訳）: SOREL: スペクトルリスク最小化のための確率的アルゴリズム
• Authors: Yuze Ge, Rujun Jiang,
• Abstract要約: スペクトルリスクは機械学習、特に現実世界の意思決定において幅広い応用がある。 異なるサンプルポイントの損失に異なる重みを割り当てることで、平均的なパフォーマンスと最悪のパフォーマンスの間にモデルのパフォーマンスを配置することができる。 SORELはスペクトルリスク最小化のための収束保証をもつ最初の勾配に基づくアルゴリズムである。
• 参考スコア（独自算出の注目度）: 1.6574413179773761
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The spectral risk has wide applications in machine learning, especially in real-world decision-making, where people are not only concerned with models' average performance. By assigning different weights to the losses of different sample points, rather than the same weights as in the empirical risk, it allows the model's performance to lie between the average performance and the worst-case performance. In this paper, we propose SOREL, the first stochastic gradient-based algorithm with convergence guarantees for the spectral risk minimization. Previous algorithms often consider adding a strongly concave function to smooth the spectral risk, thus lacking convergence guarantees for the original spectral risk. We theoretically prove that our algorithm achieves a near-optimal rate of $\widetilde{O}(1/\sqrt{\epsilon})$ in terms of $\epsilon$. Experiments on real datasets show that our algorithm outperforms existing algorithms in most cases, both in terms of runtime and sample complexity.
• Abstract（参考訳）: スペクトルリスクは、機械学習、特に実世界の意思決定において、モデルの平均パフォーマンスだけでなく、幅広い応用がある。 実験的なリスクと同じ重みではなく、異なるサンプルポイントの損失に異なる重みを割り当てることで、平均的なパフォーマンスと最悪のパフォーマンスの間にモデルのパフォーマンスを配置することができる。 本稿では,スペクトルリスク最小化のための収束保証付き確率勾配に基づく最初のアルゴリズムであるSORELを提案する。 従来のアルゴリズムでは、スペクトルリスクを円滑にするため、スペクトルリスクに対する収束保証が欠如しているため、強い凹面関数を加えることをしばしば検討していた。 理論的には、我々のアルゴリズムは、$\epsilon$の観点で$\widetilde{O}(1/\sqrt{\epsilon})$に近い最適率を達成することを証明している。 実際のデータセットの実験では、我々のアルゴリズムは実行時とサンプルの複雑さの両方で、ほとんどの場合、既存のアルゴリズムよりも優れています。

関連論文リスト

• Best Arm Identification with Fixed Budget: A Large Deviation Perspective [54.305323903582845]
  我々は、様々な武器の報酬間の経験的ギャップに基づいて、あらゆるラウンドで腕を拒絶できる真に適応的なアルゴリズムであるsredを提示する。 特に、様々な武器の報酬の間の経験的ギャップに基づいて、あらゆるラウンドで腕を拒絶できる真に適応的なアルゴリズムであるsredを提示する。
  論文  参考訳（メタデータ） (2023-12-19T13:17:43Z)
• Understanding the Generalization Performance of Spectral Clustering Algorithms [11.025579607812167]
  本稿では,一般的なスペクトルクラスタリングアルゴリズムであるEmphrelaxed RatioCutとEmphrelaxed NCutの過剰なリスク境界について検討する。 本稿では,この量をペナルライズするだけでなく,サンプル全体を再固有分解することなくサンプル外のデータをクラスタリングする2つの新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-04-30T14:21:56Z)
• High Probability Complexity Bounds for Non-Smooth Stochastic Optimization with Heavy-Tailed Noise [51.31435087414348]
  アルゴリズムが高い確率で小さな客観的残差を与えることを理論的に保証することが不可欠である。 非滑らか凸最適化の既存の方法は、信頼度に依存した複雑性境界を持つ。 そこで我々は,勾配クリッピングを伴う2つの手法に対して,新たなステップサイズルールを提案する。
  論文  参考訳（メタデータ） (2021-06-10T17:54:21Z)
• Proximal and Federated Random Reshuffling [11.83842808044211]
  ランダムリシャッフルのための2つの新しいアルゴリズムを提案する。 ProxRR と FedRR は複合凸有限和最小化問題を解く。 ProxRRは、各イテレーションの近位演算子を評価するアルゴリズムよりも高速です。
  論文  参考訳（メタデータ） (2021-02-12T18:59:24Z)
• Byzantine-Resilient Non-Convex Stochastic Gradient Descent [61.6382287971982]
  敵対的レジリエントな分散最適化。 機械は独立して勾配を計算し 協力することができます 私達のアルゴリズムは新しい集中の技術およびサンプル複雑性に基づいています。 それは非常に実用的です:それはないときすべての前の方法の性能を改善します。 セッティングマシンがあります。
  論文  参考訳（メタデータ） (2020-12-28T17:19:32Z)
• Large-Scale Methods for Distributionally Robust Optimization [53.98643772533416]
  我々のアルゴリズムは、トレーニングセットのサイズとパラメータの数によらず、多くの評価勾配を必要とすることを証明している。 MNIST と ImageNet の実験により,本手法の 9-36 倍の効率性を持つアルゴリズムの理論的スケーリングが確認された。
  論文  参考訳（メタデータ） (2020-10-12T17:41:44Z)
• Single-Timescale Stochastic Nonconvex-Concave Optimization for Smooth Nonlinear TD Learning [145.54544979467872]
  本稿では,各ステップごとに1つのデータポイントしか必要としない2つの単一スケールシングルループアルゴリズムを提案する。 本研究の結果は, 同時一次および二重側収束の形で表される。
  論文  参考訳（メタデータ） (2020-08-23T20:36:49Z)
• Statistical Learning with Conditional Value at Risk [35.4968603057034]
  本稿では,予測損失よりも損失の条件付き値付きリスク(CVaR)を用いて,学習アルゴリズムの性能を評価するリスク-逆統計学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-02-14T00:58:34Z)
• Thompson Sampling Algorithms for Mean-Variance Bandits [97.43678751629189]
  我々は平均分散MABのためのトンプソンサンプリング型アルゴリズムを開発した。 我々はまた、ガウシアンとベルヌーイの盗賊に対する包括的後悔の分析も提供する。 我々のアルゴリズムは、全てのリスク許容度に対して既存のLCBベースのアルゴリズムを著しく上回っている。
  論文  参考訳（メタデータ） (2020-02-01T15:33:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。