論文の概要: Analysis of Generalized Bregman Surrogate Algorithms for Nonsmooth Nonconvex Statistical Learning

• arxiv url: http://arxiv.org/abs/2112.09191v1
• Date: Thu, 16 Dec 2021 20:37:40 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-21 04:31:23.219261
• Title: Analysis of Generalized Bregman Surrogate Algorithms for Nonsmooth Nonconvex Statistical Learning
• Title（参考訳）: 非滑らかな非凸統計学習のための一般化bregmansurrogateアルゴリズムの解析
• Authors: Yiyuan She, Zhifeng Wang, Jiuwu Jin
• Abstract要約: 本稿では,適応近似,ミラー,反復しきい値降下,DCプログラミングなど,幅広いBregman-surrogateフレームワークを例として取り上げる。
• 参考スコア（独自算出の注目度）: 2.049702429898688
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Modern statistical applications often involve minimizing an objective function that may be nonsmooth and/or nonconvex. This paper focuses on a broad Bregman-surrogate algorithm framework including the local linear approximation, mirror descent, iterative thresholding, DC programming and many others as particular instances. The recharacterization via generalized Bregman functions enables us to construct suitable error measures and establish global convergence rates for nonconvex and nonsmooth objectives in possibly high dimensions. For sparse learning problems with a composite objective, under some regularity conditions, the obtained estimators as the surrogate's fixed points, though not necessarily local minimizers, enjoy provable statistical guarantees, and the sequence of iterates can be shown to approach the statistical truth within the desired accuracy geometrically fast. The paper also studies how to design adaptive momentum based accelerations without assuming convexity or smoothness by carefully controlling stepsize and relaxation parameters.
• Abstract（参考訳）: 現代の統計応用は、しばしば非滑らかまたは非凸である対象関数の最小化を伴う。 本稿では,局所線形近似,ミラー降下,反復しきい値処理,DCプログラミングなど,幅広いBregman-surrogateアルゴリズムフレームワークについて述べる。 一般化されたブレグマン関数による再特徴づけにより、適切な誤差測度を構築し、高次元の非凸および非滑らかな対象に対する大域収束率を確立することができる。 複合目的のスパース学習問題に対して、ある種の規則性条件下では、得られる推定子は、必ずしも局所的な最小化ではなく、証明可能な統計的保証を享受し、反復の列は、所望の精度で統計的真実に近づくことができる。 また, 階段化・緩和パラメータを慎重に制御することにより, 凸性や滑らかさを仮定することなく適応運動量に基づく加速度の設計法について検討した。

関連論文リスト

• Error Feedback under $(L_0,L_1)$-Smoothness: Normalization and Momentum [56.37522020675243]
  機械学習の幅広い問題にまたがる正規化誤差フィードバックアルゴリズムに対する収束の最初の証明を提供する。 提案手法では,許容可能なステップサイズが大きくなったため,新しい正規化エラーフィードバックアルゴリズムは,各種タスクにおける非正規化エラーよりも優れていた。
  論文  参考訳（メタデータ） (2024-10-22T10:19:27Z)
• Probabilistic Iterative Hard Thresholding for Sparse Learning [2.5782973781085383]
  本稿では,基本性制約を用いた予測目標最適化問題の解法を提案する。 基礎となるプロセスの収束を証明し、2つの機械学習問題における性能を実証する。
  論文  参考訳（メタデータ） (2024-09-02T18:14:45Z)
• A Universal Class of Sharpness-Aware Minimization Algorithms [57.29207151446387]
  我々は、新しいシャープネス尺度を導入し、新しいシャープネス対応目標関数を導出する。 これらの測度がテキスト的に表現可能であることを証明し、トレーニング損失ヘッセン行列の任意の関数を適切なハイパーおよび行列式で表すことを可能にする。
  論文  参考訳（メタデータ） (2024-06-06T01:52:09Z)
• Smoothing the Edges: Smooth Optimization for Sparse Regularization using Hadamard Overparametrization [10.009748368458409]
  本稿では、(構造化された)空間性に対して、明示的に正規化された目的を円滑に最適化するためのフレームワークを提案する。 提案手法は,完全微分可能近似自由最適化を実現し,深層学習におけるユビキタス勾配降下パラダイムと互換性がある。
  論文  参考訳（メタデータ） (2023-07-07T13:06:12Z)
• Distributed Estimation and Inference for Semi-parametric Binary Response Models [8.309294338998539]
  本稿では,分散コンピューティング環境下での半パラメトリック二値選択モデルの最大スコア推定について検討する。 直感的な分割・対数推定器は計算コストが高く、機械数に対する非正規制約によって制限される。
  論文  参考訳（メタデータ） (2022-10-15T23:06:46Z)
• Adaptive Zeroth-Order Optimisation of Nonconvex Composite Objectives [1.7640556247739623]
  ゼロ階エントロピー合成目的のためのアルゴリズムを解析し,次元依存性に着目した。 これは、ミラー降下法と推定類似関数を用いて、決定セットの低次元構造を利用して達成される。 勾配を改善するため、Rademacherに基づく古典的なサンプリング法を置き換え、ミニバッチ法が非ユークリ幾何学に対処することを示す。
  論文  参考訳（メタデータ） (2022-08-09T07:36:25Z)
• Gaining Outlier Resistance with Progressive Quantiles: Fast Algorithms and Theoretical Studies [1.6457778420360534]
  任意の損失関数を強固化するために, 外部抵抗推定の枠組みを導入する。 通常のデータセットでは、データ再見積の回数を大幅に削減できるような、開始点の要件を緩和する新しい手法が提案されている。 得られた推定器は、必ずしも大域的でも大域的でもなくても、両方の低次元において最適性を楽しむことができる。
  論文  参考訳（メタデータ） (2021-12-15T20:35:21Z)
• Understanding Implicit Regularization in Over-Parameterized Single Index Model [55.41685740015095]
  我々は高次元単一インデックスモデルのための正規化自由アルゴリズムを設計する。 暗黙正則化現象の理論的保証を提供する。
  論文  参考訳（メタデータ） (2020-07-16T13:27:47Z)
• Instability, Computational Efficiency and Statistical Accuracy [101.32305022521024]
  我々は,人口レベルでのアルゴリズムの決定論的収束率と,$n$サンプルに基づく経験的対象に適用した場合の(不安定性)の間の相互作用に基づいて,統計的精度を得るフレームワークを開発する。 本稿では,ガウス混合推定,非線形回帰モデル,情報的非応答モデルなど,いくつかの具体的なモデルに対する一般結果の応用について述べる。
  論文  参考訳（メタデータ） (2020-05-22T22:30:52Z)
• Log-Likelihood Ratio Minimizing Flows: Towards Robust and Quantifiable Neural Distribution Alignment [52.02794488304448]
  そこで本研究では,対数様比統計量と正規化フローに基づく新しい分布アライメント手法を提案する。 入力領域の局所構造を保存する領域アライメントにおいて,結果の最小化を実験的に検証する。
  論文  参考訳（メタデータ） (2020-03-26T22:10:04Z)
• Support recovery and sup-norm convergence rates for sparse pivotal estimation [79.13844065776928]
  高次元スパース回帰では、ピボット推定器は最適な正規化パラメータがノイズレベルに依存しない推定器である。 非滑らかで滑らかな単一タスクとマルチタスク正方形ラッソ型推定器に対するミニマックス超ノルム収束率を示す。
  論文  参考訳（メタデータ） (2020-01-15T16:11:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。