論文の概要: Distributed Dynamic Safe Screening Algorithms for Sparse Regularization

• arxiv url: http://arxiv.org/abs/2204.10981v1
• Date: Sat, 23 Apr 2022 02:45:55 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-26 13:47:15.509134
• Title: Distributed Dynamic Safe Screening Algorithms for Sparse Regularization
• Title（参考訳）: スパース正規化のための分散動的安全スクリーニングアルゴリズム
• Authors: Runxue Bao, Xidong Wu, Wenhan Xian, Heng Huang
• Abstract要約: 本稿では,分散動的安全スクリーニング(DDSS)手法を提案し,共有メモリアーキテクチャと分散メモリアーキテクチャにそれぞれ適用する。 提案手法は, 線形収束率を低次複雑度で達成し, 有限個の繰り返しにおいてほとんどすべての不活性な特徴をほぼ確実に除去できることを示す。
• 参考スコア（独自算出の注目度）: 73.85961005970222
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Distributed optimization has been widely used as one of the most efficient approaches for model training with massive samples. However, large-scale learning problems with both massive samples and high-dimensional features widely exist in the era of big data. Safe screening is a popular technique to speed up high-dimensional models by discarding the inactive features with zero coefficients. Nevertheless, existing safe screening methods are limited to the sequential setting. In this paper, we propose a new distributed dynamic safe screening (DDSS) method for sparsity regularized models and apply it on shared-memory and distributed-memory architecture respectively, which can achieve significant speedup without any loss of accuracy by simultaneously enjoying the sparsity of the model and dataset. To the best of our knowledge, this is the first work of distributed safe dynamic screening method. Theoretically, we prove that the proposed method achieves the linear convergence rate with lower overall complexity and can eliminate almost all the inactive features in a finite number of iterations almost surely. Finally, extensive experimental results on benchmark datasets confirm the superiority of our proposed method.
• Abstract（参考訳）: 分散最適化は大規模サンプルを用いたモデルトレーニングの最も効率的な方法の1つとして広く使われている。 しかし,大規模サンプルと高次元特徴を持つ大規模学習問題は,ビッグデータ時代において広く存在する。 セーフスクリーニングは、非活性な特徴をゼロ係数で捨てることで高次元モデルを高速化する一般的な手法である。 それでも、既存の安全なスクリーニング方法はシーケンシャルな設定に限られている。 本稿では,分散動的セーフスクリーニング(ddss)法を提案し,共有メモリと分散メモリアーキテクチャにそれぞれ適用することで,モデルとデータセットのスパース性を同時に享受することで,精度を損なうことなく大幅な高速化を実現する。 我々の知る限りでは、これは分散安全な動的スクリーニング法の最初の成果である。 理論的には,提案手法が全体の複雑さを小さくして線形収束率を達成し,有限個の反復においてほとんどすべての不活性な特徴をほぼ確実に除去できることを示す。 最後に,ベンチマークデータセットの広範な実験結果から,提案手法が優れていることを確認した。

関連論文リスト

• Adaptive debiased SGD in high-dimensional GLMs with streaming data [4.704144189806667]
  我々は、高次元一般化線形モデルにおいて、オンライン推論に新しいアプローチを導入する。 本手法はシングルパスモードで動作し,時間と空間の複雑さを著しく低減する。 提案手法は,ADL (Approximated Debiased Lasso) と呼ばれ,有界な個人確率条件の必要性を緩和するだけでなく,数値性能も著しく向上することを示した。
  論文  参考訳（メタデータ） (2024-05-28T15:36:48Z)
• Best-Subset Selection in Generalized Linear Models: A Fast and Consistent Algorithm via Splicing Technique [0.6338047104436422]
  ベストサブセットセクションは、このタイプの問題の聖杯として広く見なされている。 軽度条件下での最適部分集合回復のためのアルゴリズムを提案し,提案した。 我々の実装は、一般的な変数選択ツールキットと比較して約4倍のスピードアップを実現している。
  論文  参考訳（メタデータ） (2023-08-01T03:11:31Z)
• Large-scale Fully-Unsupervised Re-Identification [78.47108158030213]
  大規模未ラベルデータから学ぶための2つの戦略を提案する。 第1の戦略は、近傍関係に違反することなく、それぞれのデータセットサイズを減らすために、局所的な近傍サンプリングを行う。 第2の戦略は、低時間上限の複雑さを持ち、メモリの複雑さを O(n2) から O(kn) に k n で還元する新しい再帰的手法を利用する。
  論文  参考訳（メタデータ） (2023-07-26T16:19:19Z)
• Improved Distribution Matching for Dataset Condensation [91.55972945798531]
  本稿では,分布マッチングに基づく新しいデータセット凝縮法を提案する。 提案手法は,計算資源の少ない従来の最適化指向手法よりも優れている。
  論文  参考訳（メタデータ） (2023-07-19T04:07:33Z)
• An Accelerated Doubly Stochastic Gradient Method with Faster Explicit Model Identification [97.28167655721766]
  本稿では、分散正規化損失最小化問題に対する2倍加速勾配降下法(ADSGD)を提案する。 まず、ADSGDが線形収束率を達成でき、全体的な計算複雑性を低減できることを示す。
  論文  参考訳（メタデータ） (2022-08-11T22:27:22Z)
• Smooth densities and generative modeling with unsupervised random forests [1.433758865948252]
  密度推定器の重要な応用は合成データ生成である。 パラメータ制約を伴わない任意の次元における滑らかな密度を推定するための,教師なしランダム森林に基づく新しい手法を提案する。 提案手法の整合性を証明し,既存の木質密度推定器に対する利点を実証する。
  論文  参考訳（メタデータ） (2022-05-19T09:50:25Z)
• Safe Screening for Sparse Conditional Random Fields [13.563686294946745]
  そこで本研究では,トレーニングプロセス中に無関係な特徴を識別・除去する安全な動的スクリーニング手法を提案する。 また, 本手法は, スパースCRFや構造予測モデルにおいて, 初めてのスクリーニング手法である。 合成および実世界の両方のデータセットに対する実験結果から,本手法による高速化が重要であることが示された。
  論文  参考訳（メタデータ） (2021-11-27T18:38:57Z)
• Tensor Network Kalman Filtering for Large-Scale LS-SVMs [17.36231167296782]
  最小二乗支援ベクトルマシンは非線形回帰と分類に使用される。 テンソルネットワークとカルマンフィルタに基づくフレームワークは、要求されるメモリと計算の複雑さを軽減する。 その結果,提案手法は高い性能を達成でき,代替手法が計算能力に欠ける場合には特に有用であることがわかった。
  論文  参考訳（メタデータ） (2021-10-26T08:54:03Z)
• CIMON: Towards High-quality Hash Codes [63.37321228830102]
  我々はtextbfComprehensive stextbfImilarity textbfMining と ctextbfOnsistency leartextbfNing (CIMON) という新しい手法を提案する。 まず、グローバルな洗練と類似度統計分布を用いて、信頼性とスムーズなガイダンスを得る。第二に、意味的整合性学習とコントラスト的整合性学習の両方を導入して、乱不変と差別的ハッシュコードの両方を導出する。
  論文  参考訳（メタデータ） (2020-10-15T14:47:14Z)
• Slice Sampling for General Completely Random Measures [74.24975039689893]
  本稿では, 後続推定のためのマルコフ連鎖モンテカルロアルゴリズムについて, 補助スライス変数を用いてトランケーションレベルを適応的に設定する。 提案アルゴリズムの有効性は、いくつかの一般的な非パラメトリックモデルで評価される。
  論文  参考訳（メタデータ） (2020-06-24T17:53:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。