論文の概要: Robust Grouped Variable Selection Using Distributionally Robust
Optimization
- arxiv url: http://arxiv.org/abs/2006.06094v1
- Date: Wed, 10 Jun 2020 22:32:52 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-23 04:47:13.451441
- Title: Robust Grouped Variable Selection Using Distributionally Robust
Optimization
- Title(参考訳): 分布ロバスト最適化を用いたロバスト群選択
- Authors: Ruidi Chen and Ioannis Ch. Paschalidis
- Abstract要約: 摂動下での群付き変数選択のための不確実性セットを用いた分布ロバスト最適化(DRO)の定式化を提案する。
我々は,サンプル外損失と推定バイアスの確率的境界を証明し,推定器の群化効果を確立する。
我々の定式化は,群レベルでの空間性を促進する解釈可能で同相なモデルを生成することを示す。
- 参考スコア(独自算出の注目度): 11.383869751239166
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose a Distributionally Robust Optimization (DRO) formulation with a
Wasserstein-based uncertainty set for selecting grouped variables under
perturbations on the data for both linear regression and classification
problems. The resulting model offers robustness explanations for Grouped Least
Absolute Shrinkage and Selection Operator (GLASSO) algorithms and highlights
the connection between robustness and regularization. We prove probabilistic
bounds on the out-of-sample loss and the estimation bias, and establish the
grouping effect of our estimator, showing that coefficients in the same group
converge to the same value as the sample correlation between covariates
approaches 1. Based on this result, we propose to use the spectral clustering
algorithm with the Gaussian similarity function to perform grouping on the
predictors, which makes our approach applicable without knowing the grouping
structure a priori. We compare our approach to an array of alternatives and
provide extensive numerical results on both synthetic data and a real large
dataset of surgery-related medical records, showing that our formulation
produces an interpretable and parsimonious model that encourages sparsity at a
group level and is able to achieve better prediction and estimation performance
in the presence of outliers.
- Abstract(参考訳): 本稿では,線形回帰問題と分類問題の両方に対するデータに対する摂動の下で群付き変数を選択するための不確実性セットを用いた分布ロバスト最適化(DRO)の定式化を提案する。
結果として得られたモデルは、GLASSO(Grouped Least Absolute Shrinkage and Selection Operator)アルゴリズムに対してロバストネスの説明を提供し、ロバストネスと正規化の関係を強調する。
我々は、サンプルの損失と推定バイアスの確率的境界を証明し、推定器のグルーピング効果を確立し、同じ群の係数が共変量間のサンプル相関と同じ値に収束することを示す。
そこで本研究では,ガウス類似度関数を用いたスペクトルクラスタリングアルゴリズムを用いて,予測器のグルーピングを行い,グルーピング構造を事前に知ることなく適用する手法を提案する。
提案手法を代替品の配列と比較し, 合成データと手術関連医療記録の実際の大規模データセットの両方について広範な数値計算結果を提供し, グループレベルでのスパーシティを奨励し, 異常者の存在下でのより良い予測と推定性能を達成することができる, 解釈可能で控えめなモデルを作成した。
関連論文リスト
- Likelihood Ratio Confidence Sets for Sequential Decision Making [51.66638486226482]
確率に基づく推論の原理を再検討し、確率比を用いて妥当な信頼シーケンスを構築することを提案する。
本手法は, 精度の高い問題に特に適している。
提案手法は,オンライン凸最適化への接続に光を当てることにより,推定器の最適シーケンスを確実に選択する方法を示す。
論文 参考訳(メタデータ) (2023-11-08T00:10:21Z) - Selective inference using randomized group lasso estimators for general
models [3.1351527202068445]
この手法は指数関数的な家族分布の使用、および過分散カウントデータに対する準様モデリングを含む。
ランダム化群正規化最適化問題について検討した。
選択されたモデルにおける回帰パラメータの信頼領域は、ウォルド型領域の形式をとり、境界体積を持つことを示す。
論文 参考訳(メタデータ) (2023-06-24T01:14:26Z) - Robust Consensus Clustering and its Applications for Advertising
Forecasting [18.242055675730253]
我々は,専門家の意見に共通する根拠となる真実を見出すことのできる,ロバストなコンセンサスクラスタリングという新しいアルゴリズムを提案する。
提案手法を実世界の広告キャンペーンセグメンテーションと予測タスクに適用する。
論文 参考訳(メタデータ) (2022-12-27T21:49:04Z) - Variable Clustering via Distributionally Robust Nodewise Regression [7.289979396903827]
可変クラスタリングのための多要素ブロックモデルについて検討し、ノード単位回帰の分布的ロバストなバージョンを定式化することにより、正規化サブスペースクラスタリングに接続する。
我々は凸緩和を導出し、ロバスト領域のサイズを選択するためのガイダンスを与え、そのためデータに基づいて正規化重み付けパラメータを提案し、実装のためのADMMアルゴリズムを提案する。
論文 参考訳(メタデータ) (2022-12-15T16:23:25Z) - Exclusive Group Lasso for Structured Variable Selection [10.86544864007391]
構造化変数選択問題を考える。
合成ノルムは、そのような排他的グループ空間パターンを促進するために適切に設計することができる。
構造原子を推定された支持体に含めて解を構築する能動集合アルゴリズムが提案されている。
論文 参考訳(メタデータ) (2021-08-23T16:55:13Z) - Residuals-based distributionally robust optimization with covariate
information [0.0]
我々は、分散ロバスト最適化(DRO)における機械学習予測モデルを統合するデータ駆動アプローチを検討する。
私たちのフレームワークは、さまざまな学習設定やDROあいまいさセットに対応できるという意味で柔軟です。
論文 参考訳(メタデータ) (2020-12-02T11:21:34Z) - Autoregressive Score Matching [113.4502004812927]
自動回帰条件スコアモデル(AR-CSM)を提案する。
AR-CSMモデルでは、このデータ分布とモデル分布のばらつきを効率的に計算し、最適化することができ、高価なサンプリングや対向訓練を必要としない。
本研究では,合成データに対する密度推定,画像生成,画像復調,暗黙エンコーダを用いた潜在変数モデルの訓練に応用できることを示す。
論文 参考訳(メタデータ) (2020-10-24T07:01:24Z) - Model Fusion with Kullback--Leibler Divergence [58.20269014662046]
異種データセットから学習した後続分布を融合する手法を提案する。
我々のアルゴリズムは、融合モデルと個々のデータセット後部の両方に対する平均場仮定に依存している。
論文 参考訳(メタデータ) (2020-07-13T03:27:45Z) - Slice Sampling for General Completely Random Measures [74.24975039689893]
本稿では, 後続推定のためのマルコフ連鎖モンテカルロアルゴリズムについて, 補助スライス変数を用いてトランケーションレベルを適応的に設定する。
提案アルゴリズムの有効性は、いくつかの一般的な非パラメトリックモデルで評価される。
論文 参考訳(メタデータ) (2020-06-24T17:53:53Z) - Efficient Ensemble Model Generation for Uncertainty Estimation with
Bayesian Approximation in Segmentation [74.06904875527556]
アンサンブルセグメンテーションモデルを構築するための汎用的で効率的なセグメンテーションフレームワークを提案する。
提案手法では,層選択法を用いて効率よくアンサンブルモデルを生成することができる。
また,新たな画素単位の不確実性損失を考案し,予測性能を向上する。
論文 参考訳(メタデータ) (2020-05-21T16:08:38Z) - Asymptotic Analysis of an Ensemble of Randomly Projected Linear
Discriminants [94.46276668068327]
[1]では、ランダムに投影された線形判別式のアンサンブルを用いてデータセットを分類する。
我々は,計算コストのかかるクロスバリデーション推定器の代替として,誤分類確率の一貫した推定器を開発する。
また、実データと合成データの両方で投影次元を調整するための推定器の使用を実証する。
論文 参考訳(メタデータ) (2020-04-17T12:47:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。