論文の概要: The non-overlapping statistical approximation to overlapping group lasso
- arxiv url: http://arxiv.org/abs/2211.09221v3
- Date: Tue, 20 Feb 2024 23:58:24 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-22 21:44:23.984033
- Title: The non-overlapping statistical approximation to overlapping group lasso
- Title（参考訳）: 重複群lassoに対する非重複統計近似
- Authors: Mingyu Qi, Tianxi Li
- Abstract要約: 重なり合う群ラスソペナルティの近似として分離可能なペナルティを提案する。
この分離性により, ペナルティに基づく正規化の計算は, 重なり合う群ラッソの計算よりもかなり高速である。
提案した分離性ペナルティに基づく推定値は,重なり合うグループラッソペナルティに基づく推定値と統計的に等価であることを示す。
- 参考スコア（独自算出の注目度）: 4.197110761923662
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: Group lasso is a commonly used regularization method in statistical learning
in which parameters are eliminated from the model according to predefined
groups. However, when the groups overlap, optimizing the group lasso penalized
objective can be time-consuming on large-scale problems because of the
non-separability induced by the overlapping groups. This bottleneck has
seriously limited the application of overlapping group lasso regularization in
many modern problems, such as gene pathway selection and graphical model
estimation. In this paper, we propose a separable penalty as an approximation
of the overlapping group lasso penalty. Thanks to the separability, the
computation of regularization based on our penalty is substantially faster than
that of the overlapping group lasso, especially for large-scale and
high-dimensional problems. We show that the penalty is the tightest separable
relaxation of the overlapping group lasso norm within the family of
$\ell_{q_1}/\ell_{q_2}$ norms. Moreover, we show that the estimator based on
the proposed separable penalty is statistically equivalent to the one based on
the overlapping group lasso penalty with respect to their error bounds and the
rate-optimal performance under the squared loss. We demonstrate the faster
computational time and statistical equivalence of our method compared with the
overlapping group lasso in simulation examples and a classification problem of
cancer tumors based on gene expression and multiple gene pathways.
- Abstract（参考訳）: グループラッソ(英: Group lasso)は、統計学習において、あらかじめ定義されたグループに従ってパラメータをモデルから排除する正規化法である。
しかし、重なり合う場合、重なり合うグループによって引き起こされる非分離性のため、グループラッソのペナル化目標の最適化は大規模問題に時間を要する可能性がある。
このボトルネックは、遺伝子経路選択やグラフィカルモデル推定など、現代の多くの問題において重複するグループラッソ正規化の適用を著しく制限している。
本稿では,重なり合うグループラッソペナルティの近似として,分離可能なペナルティを提案する。
この分離性により, 大規模・高次元問題において, 我々のペナルティに基づく正規化の計算は, 重なり合う群ラッソの計算よりもかなり高速である。
ペナルティは、$\ell_{q_1}/\ell_{q_2}$ノルムの族内の重なり合う群ラッソノルムの最も厳密な分離的緩和であることを示す。
さらに,提案した分離型ペナルティに基づく推定器は,誤差境界に対する重複群ラスソペナルティと,正方形損失によるレート-最適性能に基づいて統計的に等価であることを示す。
シミュレーション例では, 重複群ラッソと比較し, 提案手法の高速な計算時間と統計的等価性を示すとともに, 遺伝子発現と複数の遺伝子経路に基づく癌腫瘍の分類問題を示す。
関連論文リスト
- Dual feature reduction for the sparse-group lasso and its adaptive variant [0.49109372384514843]
スパース群ラッソは、変数選択とグループ選択の両方を行い、ラッソとグループラッソの強度を同時に利用する。
遺伝子学の分野では、スパース集団のペナルティが原因で、高次元データの分析を常用する分野として広く用いられている。
スパース群ラッソと適応スパース群ラッソの強いスクリーニング規則を用いて、最適化前の入力空間を減少させる新しい二重特徴量削減法であるデュアル特徴量削減法(DFR)を提案する。
論文 参考訳（メタデータ） (2024-05-27T12:10:07Z) - Strong screening rules for group-based SLOPE models [0.49109372384514843]
グループベースSorted L-One Penalized Estimation(SLOPE)モデルのスクリーニングルールを開発する。
開発されたルールは、OSCARを含むグループベースのモデルのより広範なファミリーに適用できる。
論文 参考訳（メタデータ） (2024-05-24T08:48:06Z) - Causal K-Means Clustering [5.087519744951637]
Causal k-Means Clusteringは、広く使われているk-means Clusteringアルゴリズムを利用して、未知の部分群構造を明らかにする。
既成のアルゴリズムを用いて簡易かつ容易に実装可能なプラグイン推定器を提案する。
提案手法は,複数の治療レベルを有する近代的な結果研究に特に有用である。
論文 参考訳（メタデータ） (2024-05-05T23:59:51Z) - Optimal Multi-Distribution Learning [88.3008613028333]
マルチディストリビューション学習は、$k$の異なるデータ分散における最悪のリスクを最小限に抑える共有モデルを学ぶことを目指している。
本稿では, (d+k)/varepsilon2の順に, サンプルの複雑さを伴って, ヴァレプシロン最適ランダム化仮説を導出するアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-12-08T16:06:29Z) - Modeling the Q-Diversity in a Min-max Play Game for Robust Optimization [61.39201891894024]
群分布的ロバスト最適化(群 DRO)は、事前定義された群に対する最悪の損失を最小限にすることができる。
グループDROフレームワークをQ-Diversityを提案して再構築する。
インタラクティブなトレーニングモードによって特徴付けられるQ-Diversityは、アノテーションからグループ識別を緩和し、直接パラメータ化を行う。
論文 参考訳（メタデータ） (2023-05-20T07:02:27Z) - Compound Batch Normalization for Long-tailed Image Classification [77.42829178064807]
本稿では,ガウス混合に基づく複合バッチ正規化法を提案する。
機能空間をより包括的にモデル化し、ヘッドクラスの優位性を減らすことができる。
提案手法は,画像分類における既存の手法よりも優れている。
論文 参考訳（メタデータ） (2022-12-02T07:31:39Z) - Optimal Clustering with Bandit Feedback [57.672609011609886]
本稿では,バンディットフィードバックを用いたオンラインクラスタリングの問題点について考察する。
これは、NPハード重み付きクラスタリング問題をサブルーチンとして解決する必要性を回避するための、シーケンシャルなテストのための新しい停止規則を含む。
合成および実世界のデータセットの広範なシミュレーションを通して、BOCの性能は下界と一致し、非適応的ベースラインアルゴリズムよりも大幅に優れることを示す。
論文 参考訳（メタデータ） (2022-02-09T06:05:05Z) - Lattice-Based Methods Surpass Sum-of-Squares in Clustering [98.46302040220395]
クラスタリングは教師なし学習における基本的なプリミティブである。
最近の研究は、低次手法のクラスに対する低い境界を確立している。
意外なことに、この特定のクラスタリングモデルのtextitdoesは、統計的-計算的ギャップを示さない。
論文 参考訳（メタデータ） (2021-12-07T18:50:17Z) - Deconfounding Scores: Feature Representations for Causal Effect
Estimation with Weak Overlap [140.98628848491146]
推定対象の偏りを伴わずに高い重なりを生じさせる,デコンファウンディングスコアを導入する。
分離スコアは観測データで識別可能なゼロ共分散条件を満たすことを示す。
特に,この手法が標準正規化の魅力的な代替となることを示す。
論文 参考訳（メタデータ） (2021-04-12T18:50:11Z) - Fast marginal likelihood estimation of penalties for group-adaptive
elastic net [0.0]
グループ適応弾性ネットペナライゼーションは、予測を改善するためにコデータから学習する。
本論文では,一般化線形モデルに対する群適応弾性ネットペナルティの限界確率推定法を提案する。
この手法をモデルに基づくシミュレーション研究と癌ゲノムへの応用で実証する。
論文 参考訳（メタデータ） (2021-01-11T13:30:24Z) - Error Bounds for Generalized Group Sparsity [8.557485533942337]
二重空間正規化の異なる形式に対する一貫性と収束率の結果が得られることが証明された1つの普遍定理を述べる。
解析により,2重空間正規化のための双対定式化を提供する,$epsilon$-normの一般化ノルムが同定される。
論文 参考訳（メタデータ） (2020-08-08T03:52:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。