論文の概要: Enhanced Cyclic Coordinate Descent Methods for Elastic Net Penalized Linear Models
- arxiv url: http://arxiv.org/abs/2510.19999v1
- Date: Wed, 22 Oct 2025 20:01:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-25 03:08:16.819315
- Title: Enhanced Cyclic Coordinate Descent Methods for Elastic Net Penalized Linear Models
- Title（参考訳）: 弾性ネットペナル化線形モデルのためのサイクルコーディネートDescence法の改良
- Authors: Yixiao Wang, Zishan Shao, Ting Jiang, Aditya Devarakonda,
- Abstract要約: 本稿では、弾性ネット制約を持つ一般化線形モデルの解法として、新しい拡張巡回座標降下(ECCD)フレームワークを提案する。
各種ベンチマークデータセット上での正規化パスの変動に対して,平均$3times$で一貫したパフォーマンス改善を示す。
- 参考スコア（独自算出の注目度）: 9.835110912860591
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present a novel enhanced cyclic coordinate descent (ECCD) framework for solving generalized linear models with elastic net constraints that reduces training time in comparison to existing state-of-the-art methods. We redesign the CD method by performing a Taylor expansion around the current iterate to avoid nonlinear operations arising in the gradient computation. By introducing this approximation, we are able to unroll the vector recurrences occurring in the CD method and reformulate the resulting computations into more efficient batched computations. We show empirically that the recurrence can be unrolled by a tunable integer parameter, $s$, such that $s > 1$ yields performance improvements without affecting convergence, whereas $s = 1$ yields the original CD method. A key advantage of ECCD is that it avoids the convergence delay and numerical instability exhibited by block coordinate descent. Finally, we implement our proposed method in C++ using Eigen to accelerate linear algebra computations. Comparison of our method against existing state-of-the-art solvers shows consistent performance improvements of $3\times$ in average for regularization path variant on diverse benchmark datasets. Our implementation is available at https://github.com/Yixiao-Wang-Stats/ECCD.
- Abstract（参考訳）: 本稿では,従来の最先端手法と比較してトレーニング時間を短縮する,弾性ネット制約付き一般化線形モデルを解くための新しい拡張巡回座標降下(ECCD)フレームワークを提案する。
我々は,勾配計算における非線形操作を回避するため,電流イテレートの周りでテイラー展開を行うことでCD法を再設計する。
この近似を導入することで、CD法で発生するベクトル再帰を解き、計算結果をより効率的なバッチ計算に変換することができる。
繰り返しがチューナブルな整数パラメータ$s$でアンロール可能であることを実証的に示し、$s > 1$ が収束に影響を与えることなく性能改善をもたらすのに対し、$s = 1$ は元の CD メソッドを出力する。
ECCDの重要な利点は、ブロック座標降下によって現れる収束遅延と数値不安定を回避することである。
最後に,線形代数計算を高速化するためにEigenを用いたC++で提案手法を実装した。
提案手法を既存の最先端解法と比較すると,様々なベンチマークデータセット上での正規化パスの変動に対して平均$3\times$が一貫した性能向上を示した。
実装はhttps://github.com/Yixiao-Wang-Stats/ECCDで公開しています。
関連論文リスト
- A Trainable Optimizer [18.195022468462753]
モデルの全勾配推定器とトレーニング可能な重みを共同で訓練する枠組みを提案する。
Pseudo-linear TOは無視可能な計算オーバーヘッドを発生させ、最小限の乗算しか必要としない。
実験により、TOメソッドはベンチマークアルゴリズムよりも早く収束することが示された。
論文 参考訳（メタデータ） (2025-08-03T14:06:07Z) - Variance Reduction Methods Do Not Need to Compute Full Gradients: Improved Efficiency through Shuffling [44.31966204357333]
大規模機械学習問題に対するメモリ効率のアルゴリズムを開発した。
メモリ効率を向上し、完全な計算を避けるために、2つの重要な手法を用いる。
論文 参考訳（メタデータ） (2025-02-20T15:37:45Z) - Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。
最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
論文 参考訳（メタデータ） (2023-10-20T12:45:12Z) - Stochastic Optimization for Non-convex Problem with Inexact Hessian
Matrix, Gradient, and Function [99.31457740916815]
信頼領域(TR)と立方体を用いた適応正則化は、非常に魅力的な理論的性質を持つことが証明されている。
TR法とARC法はヘッセン関数,勾配関数,関数値の非コンパクトな計算を同時に行うことができることを示す。
論文 参考訳（メタデータ） (2023-10-18T10:29:58Z) - Reduced Contraction Costs of Corner-Transfer Methods for PEPS [0.0]
無限に投影された絡み合ったペア状態の収縮を抑えるための最優先計算コストを削減できる近似法を提案する。
計算コストの改善により、大きな結合次元の計算が可能となり、そのポテンシャルを拡大して課題を解決することができる。
論文 参考訳（メタデータ） (2023-06-14T02:54:12Z) - Correcting Momentum with Second-order Information [50.992629498861724]
最適積に$O(epsilon)$epsilon点を求める非臨界最適化のための新しいアルゴリズムを開発した。
我々は、さまざまな大規模ディープラーニングベンチマークとアーキテクチャで結果を検証する。
論文 参考訳（メタデータ） (2021-03-04T19:01:20Z) - Coordinate Methods for Matrix Games [41.821881312775496]
我々は,MathcalX max_yinmathY ytop A x$ の $min_x 形式の双線形サドル点問題を解くための主対座標法を開発した。
提案手法は,既存のサブ線形手法を,各項目の複雑性とサンプルの複雑さの観点から限界に推し進める。
論文 参考訳（メタデータ） (2020-09-17T17:55:03Z) - On the Almost Sure Convergence of Stochastic Gradient Descent in
Non-Convex Problems [75.58134963501094]
本稿では,勾配降下(SGD)の軌跡を解析する。
我々はSGDが厳格なステップサイズポリシーのために1ドルでサドルポイント/マニフォールドを避けることを示す。
論文 参考訳（メタデータ） (2020-06-19T14:11:26Z) - Variance reduction for Random Coordinate Descent-Langevin Monte Carlo [7.464874233755718]
高速収束を提供するランゲヴィン・モンテカルロ(LMC)は勾配近似の計算を必要とする。
実際には、有限差分近似を代理として使用し、高次元では高価である。
本稿では,新しい分散低減手法であるCoordinates Averaging Descent (RCAD)を導入し,過度に損傷を受けたLCCと過度に損傷を受けたLCCを併用する。
論文 参考訳（メタデータ） (2020-06-10T21:08:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。