論文の概要: The non-overlapping statistical approximation to overlapping group lasso
- arxiv url: http://arxiv.org/abs/2211.09221v1
- Date: Wed, 16 Nov 2022 21:21:41 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-18 15:36:04.410843
- Title: The non-overlapping statistical approximation to overlapping group lasso
- Title(参考訳): 重複群lassoに対する非重複統計近似
- Authors: Mingyu Qi, Tianxi Li
- Abstract要約: 重なり合う群ラスソペナルティの近似として分離可能なペナルティを提案する。
この分離性により, ペナルティに基づく正規化の計算は, 重なり合う群ラッソの計算よりもかなり高速である。
提案した分離性ペナルティに基づく推定値は,重なり合うグループラッソペナルティに基づく推定値と統計的に等価であることを示す。
- 参考スコア(独自算出の注目度): 4.111899441919165
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: Group lasso is a commonly used regularization method in statistical learning
in which parameters are eliminated from the model according to predefined
groups. However, when the groups overlap, optimizing the group lasso penalized
objective can be time-consuming on large-scale problems because of the
non-separability induced by the overlapping groups. This bottleneck has
seriously limited the application of overlapping group lasso regularization in
many modern problems, such as gene pathway selection and graphical model
estimation. In this paper, we propose a separable penalty as an approximation
of the overlapping group lasso penalty. Thanks to the separability, the
computation of regularization based on our penalty is substantially faster than
that of the overlapping group lasso, especially for large-scale and
high-dimensional problems. We show that the penalty is the tightest separable
relaxation of the overlapping group lasso norm within the family of
$\ell_{q_1}/\ell_{q_2}$ norms. Moreover, we show that the estimator based on
the proposed separable penalty is statistically equivalent to the one based on
the overlapping group lasso penalty with respect to their error bounds and the
rate-optimal performance under the squared loss. We demonstrate the faster
computational time and statistical equivalence of our method compared with the
overlapping group lasso in simulation examples and a classification problem of
cancer tumors based on gene expression and multiple gene pathways.
- Abstract(参考訳): グループラッソ(英: Group lasso)は、統計学習において、あらかじめ定義されたグループに従ってパラメータをモデルから排除する正規化法である。
しかし、重なり合う場合、重なり合うグループによって引き起こされる非分離性のため、グループラッソのペナル化目標の最適化は大規模問題に時間を要する可能性がある。
このボトルネックは、遺伝子経路選択やグラフィカルモデル推定など、現代の多くの問題において重複するグループラッソ正規化の適用を著しく制限している。
本稿では,重なり合うグループラッソペナルティの近似として,分離可能なペナルティを提案する。
この分離性により, 大規模・高次元問題において, 我々のペナルティに基づく正規化の計算は, 重なり合う群ラッソの計算よりもかなり高速である。
ペナルティは、$\ell_{q_1}/\ell_{q_2}$ノルムの族内の重なり合う群ラッソノルムの最も厳密な分離的緩和であることを示す。
さらに,提案した分離型ペナルティに基づく推定器は,誤差境界に対する重複群ラスソペナルティと,正方形損失によるレート-最適性能に基づいて統計的に等価であることを示す。
シミュレーション例では, 重複群ラッソと比較し, 提案手法の高速な計算時間と統計的等価性を示すとともに, 遺伝子発現と複数の遺伝子経路に基づく癌腫瘍の分類問題を示す。
関連論文リスト
- Modeling the Q-Diversity in a Min-max Play Game for Robust Optimization [61.39201891894024]
群分布的ロバスト最適化(群 DRO)は、事前定義された群に対する最悪の損失を最小限にすることができる。
グループDROフレームワークをQ-Diversityを提案して再構築する。
インタラクティブなトレーニングモードによって特徴付けられるQ-Diversityは、アノテーションからグループ識別を緩和し、直接パラメータ化を行う。
論文 参考訳(メタデータ) (2023-05-20T07:02:27Z) - Compound Batch Normalization for Long-tailed Image Classification [77.42829178064807]
本稿では,ガウス混合に基づく複合バッチ正規化法を提案する。
機能空間をより包括的にモデル化し、ヘッドクラスの優位性を減らすことができる。
提案手法は,画像分類における既存の手法よりも優れている。
論文 参考訳(メタデータ) (2022-12-02T07:31:39Z) - Random Forest Weighted Local Fr\'echet Regression with Random Objects [52.25304029942005]
本稿では,新しいランダム森林重み付き局所Fr'echet回帰パラダイムを提案する。
最初の方法は,これらの重みを局所平均として利用し,条件付きFr'echet平均を解く。
第二の手法は局所線形Fr'echet回帰を行い、どちらも既存のFr'echet回帰法を大幅に改善した。
論文 参考訳(メタデータ) (2022-02-10T09:10:59Z) - Optimal Clustering with Bandit Feedback [84.04424523097168]
本稿では,バンディットフィードバックを用いたオンラインクラスタリングの問題点について考察する。
これは、NPハード重み付きクラスタリング問題をサブルーチンとして解決する必要性を回避するための、シーケンシャルなテストのための新しい停止規則を含む。
合成および実世界のデータセットの広範なシミュレーションを通して、BOCの性能は下界と一致し、非適応的ベースラインアルゴリズムよりも大幅に優れることを示す。
論文 参考訳(メタデータ) (2022-02-09T06:05:05Z) - Lattice-Based Methods Surpass Sum-of-Squares in Clustering [98.46302040220395]
クラスタリングは教師なし学習における基本的なプリミティブである。
最近の研究は、低次手法のクラスに対する低い境界を確立している。
意外なことに、この特定のクラスタリングモデルのtextitdoesは、統計的-計算的ギャップを示さない。
論文 参考訳(メタデータ) (2021-12-07T18:50:17Z) - On Sparse High-Dimensional Graphical Model Learning For Dependent Time
Series [23.503820266772504]
本稿では,スパース,高次元定常時系列の条件独立グラフ(CIG)を推定する問題を考察する。
スパースグループラッソに基づく周波数領域の定式化について述べる。
また,ベイズ情報基準に基づくチューニングパラメータの選択についても実験的に検討した。
論文 参考訳(メタデータ) (2021-11-15T16:52:02Z) - Sharp global convergence guarantees for iterative nonconvex
optimization: A Gaussian process perspective [30.524043513721168]
回帰モデルのクラスに対する反復アルゴリズムの収束を解析するための一般的なレシピを開発する。
決定論的には、有限サンプル状態におけるアルゴリズムの収束率と最終的なエラーフロアの両方を正確にキャプチャする。
我々は、更新の交互化に基づく高次アルゴリズムと、下位次数に基づく一次アルゴリズムの両方に対して、鋭い収束率を示す。
論文 参考訳(メタデータ) (2021-09-20T21:48:19Z) - Deconfounding Scores: Feature Representations for Causal Effect
Estimation with Weak Overlap [140.98628848491146]
推定対象の偏りを伴わずに高い重なりを生じさせる,デコンファウンディングスコアを導入する。
分離スコアは観測データで識別可能なゼロ共分散条件を満たすことを示す。
特に,この手法が標準正規化の魅力的な代替となることを示す。
論文 参考訳(メタデータ) (2021-04-12T18:50:11Z) - Fast marginal likelihood estimation of penalties for group-adaptive
elastic net [0.0]
グループ適応弾性ネットペナライゼーションは、予測を改善するためにコデータから学習する。
本論文では,一般化線形モデルに対する群適応弾性ネットペナルティの限界確率推定法を提案する。
この手法をモデルに基づくシミュレーション研究と癌ゲノムへの応用で実証する。
論文 参考訳(メタデータ) (2021-01-11T13:30:24Z) - Error Bounds for Generalized Group Sparsity [8.557485533942337]
二重空間正規化の異なる形式に対する一貫性と収束率の結果が得られることが証明された1つの普遍定理を述べる。
解析により,2重空間正規化のための双対定式化を提供する,$epsilon$-normの一般化ノルムが同定される。
論文 参考訳(メタデータ) (2020-08-08T03:52:05Z) - Fair Classification via Unconstrained Optimization [0.0]
我々はベイズ最適公正学習規則がベイズ回帰器に対するグループワイドしきい値の規則のままであることを示す。
提案アルゴリズムは,任意のブラックボックス機械学習モデルに適用可能である。
論文 参考訳(メタデータ) (2020-05-21T11:29:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。