論文の概要: An Accelerated Doubly Stochastic Gradient Method with Faster Explicit Model Identification

• arxiv url: http://arxiv.org/abs/2208.06058v1
• Date: Thu, 11 Aug 2022 22:27:22 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-15 13:28:51.709852
• Title: An Accelerated Doubly Stochastic Gradient Method with Faster Explicit Model Identification
• Title（参考訳）: 高速な明示的モデル同定による2倍確率勾配法
• Authors: Runxue Bao, Bin Gu, Heng Huang
• Abstract要約: 本稿では、分散正規化損失最小化問題に対する2倍加速勾配降下法(ADSGD)を提案する。 まず、ADSGDが線形収束率を達成でき、全体的な計算複雑性を低減できることを示す。
• 参考スコア（独自算出の注目度）: 97.28167655721766
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sparsity regularized loss minimization problems play an important role in various fields including machine learning, data mining, and modern statistics. Proximal gradient descent method and coordinate descent method are the most popular approaches to solving the minimization problem. Although existing methods can achieve implicit model identification, aka support set identification, in a finite number of iterations, these methods still suffer from huge computational costs and memory burdens in high-dimensional scenarios. The reason is that the support set identification in these methods is implicit and thus cannot explicitly identify the low-complexity structure in practice, namely, they cannot discard useless coefficients of the associated features to achieve algorithmic acceleration via dimension reduction. To address this challenge, we propose a novel accelerated doubly stochastic gradient descent (ADSGD) method for sparsity regularized loss minimization problems, which can reduce the number of block iterations by eliminating inactive coefficients during the optimization process and eventually achieve faster explicit model identification and improve the algorithm efficiency. Theoretically, we first prove that ADSGD can achieve a linear convergence rate and lower overall computational complexity. More importantly, we prove that ADSGD can achieve a linear rate of explicit model identification. Numerically, experimental results on benchmark datasets confirm the efficiency of our proposed method.
• Abstract（参考訳）: 空間正規化損失最小化問題は、機械学習、データマイニング、現代統計など様々な分野で重要な役割を果たしている。 近似勾配降下法と座標降下法は最小化問題を解く最も一般的な手法である。 既存の手法では, 暗黙的なモデル同定, いわゆるサポートセット同定を有限回繰り返し行うことができるが, 高い次元シナリオにおいて, 計算コストとメモリ負荷に悩まされている。 理由は、これらの手法におけるサポートセットの識別が暗黙的であるため、実際には低複雑さ構造を明示的に識別することはできず、つまり、関連する特徴の無駄な係数を排除して次元の縮小によるアルゴリズム的加速度を達成することはできないからである。 そこで本研究では,最適化過程で不活性係数を除去してブロック反復数を削減し,より高速な明示的モデル同定とアルゴリズム効率の向上を実現した,スパーシティ正規化損失最小化問題の2倍確率勾配降下法(adsgd)を提案する。 理論的には、ADSGDが線形収束率を達成し、全体的な計算複雑性を低減できることを最初に証明する。 さらに重要なことは、ADSGDが明示的なモデル同定の線形速度を達成できることである。 ベンチマークデータセットにおける実験結果から,提案手法の有効性を確認した。

関連論文リスト

• Dimension reduction via score ratio matching [0.9012198585960441]
  スコアマッチングから派生したフレームワークを提案し、勾配を利用できない問題に勾配に基づく次元の減少を拡大する。 提案手法は,低次元構造を有する問題に対して,標準的なスコアマッチングよりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-10-25T22:21:03Z)
• Robust Analysis of Multi-Task Learning Efficiency: New Benchmarks on Light-Weighed Backbones and Effective Measurement of Multi-Task Learning Challenges by Feature Disentanglement [69.51496713076253]
  本稿では,既存のMTL手法の効率性に焦点をあてる。 バックボーンを小さくしたメソッドの大規模な実験と,MetaGraspNetデータセットを新しいテストグラウンドとして実施する。 また,MTLにおける課題の新規かつ効率的な識別子として,特徴分散尺度を提案する。
  論文  参考訳（メタデータ） (2024-02-05T22:15:55Z)
• Scalable Bayesian Meta-Learning through Generalized Implicit Gradients [64.21628447579772]
  Inlicit Bayesian Meta-learning (iBaML) 法は、学習可能な事前のスコープを広げるだけでなく、関連する不確実性も定量化する。 解析誤差境界は、明示的よりも一般化された暗黙的勾配の精度と効率を示すために確立される。
  論文  参考訳（メタデータ） (2023-03-31T02:10:30Z)
• Distributed Dynamic Safe Screening Algorithms for Sparse Regularization [73.85961005970222]
  本稿では,分散動的安全スクリーニング(DDSS)手法を提案し,共有メモリアーキテクチャと分散メモリアーキテクチャにそれぞれ適用する。 提案手法は, 線形収束率を低次複雑度で達成し, 有限個の繰り返しにおいてほとんどすべての不活性な特徴をほぼ確実に除去できることを示す。
  論文  参考訳（メタデータ） (2022-04-23T02:45:55Z)
• Gradient-Based Learning of Discrete Structured Measurement Operators for Signal Recovery [16.740247586153085]
  本稿では、勾配に基づく学習を利用して離散最適化問題を解く方法について述べる。 GLODISMO (Gradient-based Learning of DIscrete Structured Measurement Operators) によるアプローチの定式化 いくつかの信号回復アプリケーションにおいて,GLODISMOの性能と柔軟性を実証的に示す。
  論文  参考訳（メタデータ） (2022-02-07T18:27:08Z)
• Accelerated nonlinear primal-dual hybrid gradient algorithms with applications to machine learning [0.0]
  原始双対ハイブリッド勾配(PDHG)は、サドル点構造を持つ凸最適化問題をより小さなサブプロブレムに分割する一階法である。 PDHGは、手前の問題に対して微調整されたステップサイズパラメータを必要とする。 我々は,機械学習に関連する幅広い最適化問題に対して,PDHGアルゴリズムの高速化された非線形変種を導入する。
  論文  参考訳（メタデータ） (2021-09-24T22:37:10Z)
• The Neural Network shifted-Proper Orthogonal Decomposition: a Machine Learning Approach for Non-linear Reduction of Hyperbolic Equations [0.0]
  本研究では,統計的学習フレームワークにおいて,正しい前処理変換を自動的に検出する問題にアプローチする。 純粋にデータ駆動方式により、線形部分空間操作の既存のアプローチを未知の対流場を持つ非線形双曲問題に一般化することができる。 提案アルゴリズムは、その性能をベンチマークするために単純なテストケースに対して検証され、その後、多相シミュレーションに成功している。
  論文  参考訳（メタデータ） (2021-08-14T15:13:35Z)
• Cogradient Descent for Bilinear Optimization [124.45816011848096]
  双線形問題に対処するために、CoGDアルゴリズム(Cogradient Descent Algorithm)を導入する。 一方の変数は、他方の変数との結合関係を考慮し、同期勾配降下をもたらす。 本アルゴリズムは,空間的制約下での1変数の問題を解くために応用される。
  論文  参考訳（メタデータ） (2020-06-16T13:41:54Z)
• Effective Dimension Adaptive Sketching Methods for Faster Regularized Least-Squares Optimization [56.05635751529922]
  スケッチに基づくL2正規化最小二乗問題の解法を提案する。 我々は、最も人気のあるランダム埋め込みの2つ、すなわちガウス埋め込みとサブサンプリングランダム化アダマール変換(SRHT)を考える。
  論文  参考訳（メタデータ） (2020-06-10T15:00:09Z)
• Convergence and sample complexity of gradient methods for the model-free linear quadratic regulator problem [27.09339991866556]
  本稿では,コントローラの空間を直接探索することにより,未知の計算系に対する最適制御を求める。 我々は、安定化フィードバックゲインの勾配-フローのダイナミクスセットに焦点をあてて、そのような手法の性能と効率を最小化するための一歩を踏み出した。
  論文  参考訳（メタデータ） (2019-12-26T16:56:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。