論文の概要: Efficient Designs of SLOPE Penalty Sequences in Finite Dimension

• arxiv url: http://arxiv.org/abs/2102.07211v2
• Date: Wed, 17 Feb 2021 02:59:27 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-18 12:17:26.110663
• Title: Efficient Designs of SLOPE Penalty Sequences in Finite Dimension
• Title（参考訳）: 有限次元におけるSLOPEペナルティシーケンスの効率的な設計
• Authors: Yiliang Zhang, Zhiqi Bu
• Abstract要約: 線形回帰では、SLOPEはL1ペナルティをソートしてラッソを一般化する新しい凸解析法である。 本稿では,高次元SLOPEペナルティを設計するための2つの効率的なアルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 5.787117733071415
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In linear regression, SLOPE is a new convex analysis method that generalizes the Lasso via the sorted L1 penalty: larger fitted coefficients are penalized more heavily. This magnitude-dependent regularization requires an input of penalty sequence $\lambda$, instead of a scalar penalty as in the Lasso case, thus making the design extremely expensive in computation. In this paper, we propose two efficient algorithms to design the possibly high-dimensional SLOPE penalty, in order to minimize the mean squared error. For Gaussian data matrices, we propose a first order Projected Gradient Descent (PGD) under the Approximate Message Passing regime. For general data matrices, we present a zero-th order Coordinate Descent (CD) to design a sub-class of SLOPE, referred to as the k-level SLOPE. Our CD allows a useful trade-off between the accuracy and the computation speed. We demonstrate the performance of SLOPE with our designs via extensive experiments on synthetic data and real-world datasets.
• Abstract（参考訳）: 線形回帰では、SLOPEはラッソを分類されたL1ペナルティを介して一般化する新しい凸解析手法である:より大きな適合係数はより重くペナルティ化される。 このマグニチュード依存正規化は、Lassoの場合のようにスカラーペナルティではなく、ペナルティシーケンス $\lambda$ の入力を必要とするため、設計は計算において非常に高価である。 本稿では,平均二乗誤差を最小限に抑えるため,高次元SLOPEペナルティを設計するための2つの効率的なアルゴリズムを提案する。 ガウスデータ行列に対しては、近似メッセージパッシング法の下で1次投影勾配降下 (pgd) を提案する。 一般的なデータ行列では、k レベル SLOPE と呼ばれる SLOPE のサブクラスを設計するために 0 番目の順序 Coordinate Descent (CD) を提示する。 私たちのCDは精度と計算速度のトレードオフに役立ちます。 我々は,合成データと実世界のデータセットを広範囲に実験し,slideの性能を実証する。

関連論文リスト

• Zeroth-Order Fine-Tuning of LLMs in Random Subspaces [66.27334633749734]
  言語モデルのサイズが大きくなるにつれて、バックプロパゲーションに対するメモリ要求が増加する。 Zeroth-order (ZOZO) 最適化手法はメモリ効率の代替手段を提供する。 本稿では,SubZeroがファインチューニングを強化し,通常のZOZO手法と比較して高速な結果が得られることを示す。
  論文  参考訳（メタデータ） (2024-10-11T17:01:43Z)
• PMaF: Deep Declarative Layers for Principal Matrix Features [37.662505982849844]
  球面上の最小二乗(LESS)と暗黙の固有分解(IED)の2つの微分可能な深い宣言層を探索する。 LESSは、高次元行列から支配的な情報を含む低次元ベクトルでデータ特徴を表現するのに使うことができる。 IEDは、高次元行列から支配的な情報を含む低次元ベクトルでデータ特徴を表現するのに用いられる。
  論文  参考訳（メタデータ） (2023-06-26T15:13:36Z)
• Coordinate Descent for SLOPE [6.838073951329198]
  SLOPE(Sorted L-One Penalized Estimation, SLOPE)は、ラッソの一般化であり、統計的に魅力的な性質を持つ。 SLOPEに適合する現在のソフトウェアパッケージは、高次元において性能の悪いアルゴリズムに依存している。 近似勾配降下と近似座標降下ステップを組み合わせたSLOPE最適化問題を高速に解くアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-10-26T15:20:30Z)
• Unfolding Projection-free SDP Relaxation of Binary Graph Classifier via GDPA Linearization [59.87663954467815]
  アルゴリズムの展開は、モデルベースのアルゴリズムの各イテレーションをニューラルネットワーク層として実装することにより、解釈可能で類似のニューラルネットワークアーキテクチャを生成する。 本稿では、Gershgorin disc perfect alignment (GDPA)と呼ばれる最近の線形代数定理を利用して、二進グラフの半定値プログラミング緩和(SDR)のためのプロジェクションフリーアルゴリズムをアンロールする。 実験結果から,我々の未学習ネットワークは純粋モデルベースグラフ分類器よりも優れ,純粋データ駆動ネットワークに匹敵する性能を示したが,パラメータははるかに少なかった。
  論文  参考訳（メタデータ） (2021-09-10T07:01:15Z)
• Highly Parallel Autoregressive Entity Linking with Discriminative Correction [51.947280241185]
  自己回帰リンクを全ての潜在的な言及に対して並列化する,非常に効率的な手法を提案する。 我々のモデルは以前の生成法より70倍高速で精度が高い。
  論文  参考訳（メタデータ） (2021-09-08T17:28:26Z)
• Unbalanced Optimal Transport through Non-negative Penalized Linear Regression [9.668391961887027]
  対応する最適化問題は、非負のペナル化線形回帰問題として再構成可能であることを示す。 逆問題と非負行列分解から着想を得た新しいアルゴリズムを提案する。 UOTの正規化経路を2次ペナルティで計算する効率的なアルゴリズムを初めて導いた。
  論文  参考訳（メタデータ） (2021-06-08T07:16:37Z)
• Balancing Rates and Variance via Adaptive Batch-Size for Stochastic Optimization Problems [120.21685755278509]
  本研究は,ステップサイズの減衰が正確な収束に必要であるという事実と,一定のステップサイズがエラーまでの時間でより速く学習するという事実のバランスをとることを目的とする。 ステップサイズのミニバッチを最初から修正するのではなく,パラメータを適応的に進化させることを提案する。
  論文  参考訳（メタデータ） (2020-07-02T16:02:02Z)
• Effective Dimension Adaptive Sketching Methods for Faster Regularized Least-Squares Optimization [56.05635751529922]
  スケッチに基づくL2正規化最小二乗問題の解法を提案する。 我々は、最も人気のあるランダム埋め込みの2つ、すなわちガウス埋め込みとサブサンプリングランダム化アダマール変換(SRHT)を考える。
  論文  参考訳（メタデータ） (2020-06-10T15:00:09Z)
• Modelling High-Dimensional Categorical Data Using Nonconvex Fusion Penalties [7.262048441360131]
  SCOPEと呼ばれる我々の推定器は、対応する係数を正確に等しくすることで、レベルを融合する。 変数の非次元ブロック内での正確かつ効率的なクラスタリングのためのアルゴリズムを提供する。
  論文  参考訳（メタデータ） (2020-02-28T09:20:41Z)
• Optimal Randomized First-Order Methods for Least-Squares Problems [56.05635751529922]
  このアルゴリズムのクラスは、最小二乗問題に対する最も高速な解法のうち、いくつかのランダム化手法を含んでいる。 我々は2つの古典的埋め込み、すなわちガウス射影とアダマール変換のサブサンプリングに焦点を当てる。 得られたアルゴリズムは条件数に依存しない最小二乗問題の解法として最も複雑である。
  論文  参考訳（メタデータ） (2020-02-21T17:45:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。