論文の概要: Effective Proximal Methods for Non-convex Non-smooth Regularized Learning

• arxiv url: http://arxiv.org/abs/2009.06562v3
• Date: Wed, 21 Oct 2020 14:43:05 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-18 11:39:48.648388
• Title: Effective Proximal Methods for Non-convex Non-smooth Regularized Learning
• Title（参考訳）: 非凸非平滑正規化学習における有効近似法
• Authors: Guannan Liang, Qianqian Tong, Jiahao Ding, Miao Pan and Jinbo Bi
• Abstract要約: 独立サンプリング方式は、一般に使用されている一様サンプリング方式の性能を向上させる傾向にあることを示す。 我々の新しい分析は、サンプリングの速度が今までで最高のものより速いことも示しています。
• 参考スコア（独自算出の注目度）: 27.775096437736973
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sparse learning is a very important tool for mining useful information and patterns from high dimensional data. Non-convex non-smooth regularized learning problems play essential roles in sparse learning, and have drawn extensive attentions recently. We design a family of stochastic proximal gradient methods by applying arbitrary sampling to solve the empirical risk minimization problem with a non-convex and non-smooth regularizer. These methods draw mini-batches of training examples according to an arbitrary probability distribution when computing stochastic gradients. A unified analytic approach is developed to examine the convergence and computational complexity of these methods, allowing us to compare the different sampling schemes. We show that the independent sampling scheme tends to improve performance over the commonly-used uniform sampling scheme. Our new analysis also derives a tighter bound on convergence speed for the uniform sampling than the best one available so far. Empirical evaluations demonstrate that the proposed algorithms converge faster than the state of the art.
• Abstract（参考訳）: スパース学習は,高次元データから有用な情報やパターンを抽出するための非常に重要なツールである。 非凸非滑らかな正規化学習問題はスパース学習において重要な役割を担い、近年広く注目を集めている。 非凸および非滑らかな正則化器による経験的リスク最小化問題を解決するために任意のサンプリングを適用して確率的近位勾配法群を設計する。 これらの手法は確率勾配を計算する際に任意の確率分布に従って学習例のミニバッチを描画する。 これらの手法の収束と計算の複雑さを調べるために, 統一的な解析手法が開発され, 異なるサンプリング方式の比較が可能となった。 独立サンプリング方式は, 一般的な一様サンプリング方式よりも性能が向上する傾向を示した。 我々の新しい分析は、一様サンプリングの収束速度が今までで最高のものよりも強いことをもたらしている。 経験的評価は,提案手法が最先端技術よりも高速に収束することを示す。

関連論文リスト

• Learning to sample fibers for goodness-of-fit testing [0.0]
  離散指数族モデルに対する完全適合性テストを構築することの問題点を考察する。 この問題をマルコフ決定プロセスに変換し、サンプリングのための「よい動きを学ぶための強化学習アプローチ」を示す。 提案アルゴリズムは,評価可能な収束性を持つアクタ・クリティカル・サンプリング方式に基づいている。
  論文  参考訳（メタデータ） (2024-05-22T19:33:58Z)
• An adjoint-free algorithm for conditional nonlinear optimal perturbations (CNOPs) via sampling [5.758073912084367]
  我々は、条件付き非線形最適摂動(CNOP)を得るための最先端統計機械学習技術に基づくサンプリングアルゴリズムを提案する。 サンプリング手法は、目的関数値(ゼロ次情報)への勾配を直接減少させる 本研究では, 空間パターン, 目的値, 定量化計算時間, 非線形誤差成長を用いて得られたCNOPを実証する。
  論文  参考訳（メタデータ） (2022-08-01T16:07:22Z)
• Faster One-Sample Stochastic Conditional Gradient Method for Composite Convex Minimization [61.26619639722804]
  滑らかで非滑らかな項の和として形成される凸有限サム目標を最小化するための条件勾配法(CGM)を提案する。 提案手法は, 平均勾配 (SAG) 推定器を備え, 1回に1回のサンプルしか必要としないが, より高度な分散低減技術と同等の高速収束速度を保証できる。
  論文  参考訳（メタデータ） (2022-02-26T19:10:48Z)
• Tackling System and Statistical Heterogeneity for Federated Learning with Adaptive Client Sampling [34.187387951367526]
  フェデレーテッド・ラーニング(FL)アルゴリズムは、参加者数が大きい場合、通常、各(部分的な参加)の割合をサンプリングする。 最近の研究はFLの収束解析に焦点を当てている。 任意のクライアントサンプリング確率を持つFLアルゴリズムの新しい収束バウンダリを得る。
  論文  参考訳（メタデータ） (2021-12-21T14:28:40Z)
• Local policy search with Bayesian optimization [73.0364959221845]
  強化学習は、環境との相互作用によって最適な政策を見つけることを目的としている。 局所探索のための政策勾配は、しばしばランダムな摂動から得られる。 目的関数の確率モデルとその勾配を用いたアルゴリズムを開発する。
  論文  参考訳（メタデータ） (2021-06-22T16:07:02Z)
• Contrastive learning of strong-mixing continuous-time stochastic processes [53.82893653745542]
  コントラスト学習(Contrastive Learning)は、ラベルのないデータから構築された分類タスクを解決するためにモデルを訓練する自己指導型の手法のファミリーである。 拡散の場合,小～中距離間隔の遷移カーネルを適切に構築したコントラスト学習タスクを用いて推定できることが示される。
  論文  参考訳（メタデータ） (2021-03-03T23:06:47Z)
• Minimal Variance Sampling with Provable Guarantees for Fast Training of Graph Neural Networks [22.618779809748435]
  既存のサンプリング手法は主にグラフ構造情報に基づいており、最適化の動的性を無視する。 最小分散のノードを適応的にサンプリングする(近似)勾配情報を利用する分離分散低減戦略を提案する。 提案手法は,小バッチサイズが小さい場合でも,より高速な収束率とより優れた一般化を必要とすることを理論的,実証的に示す。
  論文  参考訳（メタデータ） (2020-06-24T16:49:29Z)
• Robust Sampling in Deep Learning [62.997667081978825]
  ディープラーニングは、オーバーフィッティングを減らし、一般化を改善するために正規化メカニズムを必要とする。 分散ロバスト最適化に基づく新しい正規化手法によりこの問題に対処する。 トレーニング中は、最悪のサンプルが最適化に最も貢献するものであるように、その正確性に応じてサンプルの選択が行われる。
  論文  参考訳（メタデータ） (2020-06-04T09:46:52Z)
• Efficiently Sampling Functions from Gaussian Process Posteriors [76.94808614373609]
  高速後部サンプリングのための簡易かつ汎用的なアプローチを提案する。 分離されたサンプルパスがガウス過程の後部を通常のコストのごく一部で正確に表現する方法を実証する。
  論文  参考訳（メタデータ） (2020-02-21T14:03:16Z)
• Wasserstein Distributionally Robust Optimization: Theory and Applications in Machine Learning [20.116219345579154]
  科学、工学、経済学における決定問題は、サンプルを通して間接的にしか観測できない不確実なパラメータによって影響を受ける。 データ駆動意思決定の目標は、見つからないテストサンプルでうまく機能する、有限個のトレーニングサンプルから決定を学習することである。 ワッサーシュタインの分布的ロバストな最適化が統計的学習に興味深い影響をもたらすことを示す。
  論文  参考訳（メタデータ） (2019-08-23T09:28:21Z)
• The Simulator: Understanding Adaptive Sampling in the Moderate-Confidence Regime [52.38455827779212]
  エミュレータと呼ばれる適応サンプリングを解析するための新しい手法を提案する。 適切なログファクタを組み込んだトップk問題の最初のインスタンスベースの下位境界を証明します。 我々の新しい分析は、後者の問題に対するこの種の最初のエミュレータであるベストアームとトップkの識別に、シンプルでほぼ最適であることを示した。
  論文  参考訳（メタデータ） (2017-02-16T23:42:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。