論文の概要: Stability Selection via Variable Decorrelation

• arxiv url: http://arxiv.org/abs/2505.20864v1
• Date: Tue, 27 May 2025 08:15:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-28 17:05:58.49982
• Title: Stability Selection via Variable Decorrelation
• Title（参考訳）: 可変デコレーションによる安定性の選択
• Authors: Mahdi Nouraie, Connor Smith, Samuel Muller,
• Abstract要約: ラッソは変数選択のための顕著なアルゴリズムである。 これまでの研究では、ラッソ損失関数を変更してこの問題に対処しようと試みてきた。 本稿では,ラッソ法の適用前の変数の非相関性により,予測器間の相関の方向に関わらず,変数選択の安定性が向上することを示す。
• 参考スコア（独自算出の注目度）: 2.014089835498735
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The Lasso is a prominent algorithm for variable selection. However, its instability in the presence of correlated variables in the high-dimensional setting is well-documented. Although previous research has attempted to address this issue by modifying the Lasso loss function, this paper introduces an approach that simplifies the data processed by Lasso. We propose that decorrelating variables before applying the Lasso improves the stability of variable selection regardless of the direction of correlation among predictors. Furthermore, we highlight that the irrepresentable condition, which ensures consistency for the Lasso, is satisfied after variable decorrelation under two assumptions. In addition, by noting that the instability of the Lasso is not limited to high-dimensional settings, we demonstrate the effectiveness of the proposed approach for low-dimensional data. Finally, we present empirical results that indicate the efficacy of the proposed method across different variable selection techniques, highlighting its potential for broader application. The DVS R package is developed to facilitate the implementation of the methodology proposed in this paper.
• Abstract（参考訳）: ラッソは変数選択のための顕著なアルゴリズムである。 しかし、高次元設定における相関変数の存在における不安定性は十分に文書化されている。 従来の研究では、ラッソの損失関数を変更することでこの問題に対処しようとしたが、本研究では、ラッソが処理するデータを単純化するアプローチを提案する。 本稿では,ラッソ法の適用前の変数の非相関性により,予測器間の相関の方向に関わらず,変数選択の安定性が向上することを示す。 さらに、ラッソの整合性を保証する無表現条件は、2つの仮定の下で変数のデコリレーションの後に満たされることを強調した。 また,ラッソの不安定性は高次元設定に限らず,低次元データに対する提案手法の有効性を示す。 最後に,様々な変数選択手法を用いて提案手法の有効性を示す実験結果について述べる。 本稿では,提案手法の実装を容易にするためにDVS Rパッケージを開発した。

関連論文リスト

• Stochastic Optimization with Optimal Importance Sampling [49.484190237840714]
  本稿では,両者の時間的分離を必要とせずに,意思決定とIS分布を共同で更新する反復型アルゴリズムを提案する。 本手法は,IS分布系に対する目的的,軽度な仮定の凸性の下で,最小の変数分散を達成し,大域収束を保証する。
  論文  参考訳（メタデータ） (2025-04-04T16:10:18Z)
• Representation-based Reward Modeling for Efficient Safety Alignment of Large Language Model [84.00480999255628]
  大規模言語モデル(LLM)の安全性アライメントのための強化学習アルゴリズムは,分散シフトの課題に直面している。 現在のアプローチでは、ターゲットポリシーからのオンラインサンプリングを通じてこの問題に対処するのが一般的である。 モデル固有の安全判断能力を活用して報酬信号を抽出する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-03-13T06:40:34Z)
• Consistent support recovery for high-dimensional diffusions [0.0]
  本稿では,適応型ラッソ推定器に着目し,空間的制約下でのD次元エルゴード拡散過程を解析する。 適応ラッソがドリフトパラメータの回復特性と正規性を達成する条件を線形モデルに焦点をあてて導出する。
  論文  参考訳（メタデータ） (2025-01-28T04:44:00Z)
• A Trust-Region Method for Graphical Stein Variational Inference [3.5516599670943774]
  スタイン変分法 (SVI) は、サンプル位置を情報理論尺度に共同最適化してサンプルセットを生成するサンプルベースの近似推論手法である。 本稿では,これらの課題に対処する新しい信頼条件付きアプローチを提案する。
  論文  参考訳（メタデータ） (2024-10-21T16:59:01Z)
• Variational Learning of Gaussian Process Latent Variable Models through Stochastic Gradient Annealed Importance Sampling [22.256068524699472]
  本研究では,これらの問題に対処するために,Annealed Importance Smpling (AIS)アプローチを提案する。 シークエンシャルモンテカルロサンプリング器とVIの強度を組み合わせることで、より広い範囲の後方分布を探索し、徐々にターゲット分布に接近する。 実験結果から,本手法はより厳密な変動境界,高い対数類似度,より堅牢な収束率で最先端の手法より優れていることが示された。
  論文  参考訳（メタデータ） (2024-08-13T08:09:05Z)
• A cost-sensitive constrained Lasso [2.8265531928694116]
  本稿では,Lassoをベースとした目的関数に2次的性能制約を加えるLassoの新たなバージョンを提案する。 その結果、非線形最適化問題により制約付きスパース回帰モデルが定義される。 このコストに敏感なラッソは、異なるソースからデータが収集される異質なサンプルに直接的な応用がある。
  論文  参考訳（メタデータ） (2024-01-31T17:36:21Z)
• Model-Based Epistemic Variance of Values for Risk-Aware Policy Optimization [59.758009422067]
  モデルベース強化学習における累積報酬に対する不確実性を定量化する問題を考察する。 我々は、解が値の真後分散に収束する新しい不確実性ベルマン方程式(UBE)を提案する。 本稿では,リスク・サーキングとリスク・アバース・ポリシー最適化のいずれにも適用可能な汎用ポリシー最適化アルゴリズムQ-Uncertainty Soft Actor-Critic (QU-SAC)を導入する。
  論文  参考訳（メタデータ） (2023-12-07T15:55:58Z)
• Variational Nonlinear System Identification [0.8793721044482611]
  本稿では,非線形状態空間モデルに対するパラメータ推定について検討する。 我々は,最大確率推定に深いつながりを持つ原理的手法である変分推論(vi)アプローチを採用する。 このviアプローチは最終的に、決定論的で扱いやすく、標準最適化ツールを使って解決できる最適化問題の解としてモデルの推定を提供する。
  論文  参考訳（メタデータ） (2020-12-08T05:43:50Z)
• Implicit differentiation of Lasso-type models for hyperparameter optimization [82.73138686390514]
  ラッソ型問題に適した行列逆転のない効率的な暗黙微分アルゴリズムを提案する。 提案手法は,解の空間性を利用して高次元データにスケールする。
  論文  参考訳（メタデータ） (2020-02-20T18:43:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。