論文の概要: Variational Garrote for Statistical Physics-based Sparse and Robust Variable Selection

• arxiv url: http://arxiv.org/abs/2509.06383v1
• Date: Mon, 08 Sep 2025 07:06:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-09 14:07:03.996065
• Title: Variational Garrote for Statistical Physics-based Sparse and Robust Variable Selection
• Title（参考訳）: 統計的物理に基づくスパースとロバスト可変選択のための変分ガロテ
• Authors: Hyungjoon Soh, Dongha Lee, Vipul Periwal, Junghyo Jo,
• Abstract要約: 特徴選択スピン変数を明示する統計物理学に基づく変分ガロテ法(VG法)を再検討する。 完全制御可能な合成データセットと複雑な実世界のデータセットの両方でVGを評価する。 VGは、機械学習における圧縮センシングやモデルプルーニングなど、幅広いアプリケーションにわたるスパースモデリングの強力な可能性を提供する。
• 参考スコア（独自算出の注目度）: 8.312621461460148
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Selecting key variables from high-dimensional data is increasingly important in the era of big data. Sparse regression serves as a powerful tool for this purpose by promoting model simplicity and explainability. In this work, we revisit a valuable yet underutilized method, the statistical physics-based Variational Garrote (VG), which introduces explicit feature selection spin variables and leverages variational inference to derive a tractable loss function. We enhance VG by incorporating modern automatic differentiation techniques, enabling scalable and efficient optimization. We evaluate VG on both fully controllable synthetic datasets and complex real-world datasets. Our results demonstrate that VG performs especially well in highly sparse regimes, offering more consistent and robust variable selection than Ridge and LASSO regression across varying levels of sparsity. We also uncover a sharp transition: as superfluous variables are admitted, generalization degrades abruptly and the uncertainty of the selection variables increases. This transition point provides a practical signal for estimating the correct number of relevant variables, an insight we successfully apply to identify key predictors in real-world data. We expect that VG offers strong potential for sparse modeling across a wide range of applications, including compressed sensing and model pruning in machine learning.
• Abstract（参考訳）: 高次元データからキー変数を選択することは、ビッグデータの時代においてますます重要になっている。 スパース回帰は、モデルの単純さと説明可能性を促進することで、この目的のために強力なツールとなる。 本研究では,統計的物理に基づく変分ガロテ法 (VG) を再検討し, 特徴選択スピン変数を導入し, 変分推論を利用してトラクタブルな損失関数を導出する。 最新の自動微分技術を取り入れてVGを強化し、スケーラブルで効率的な最適化を実現する。 完全制御可能な合成データセットと複雑な実世界のデータセットの両方でVGを評価する。 以上の結果から, VGは比較的疎度な条件下では特に良好であり, リッジやLASSOレグレッションよりも安定かつ頑健な変動選択が可能であることが示唆された。 超流動変数が認められると、一般化は突然低下し、選択変数の不確実性が増大する。 この遷移点は、関連する変数の正しい数を推定するための実用的な信号を提供する。 VGは、機械学習における圧縮センシングやモデルプルーニングなど、幅広いアプリケーションにまたがってスパースモデリングの強力な可能性を期待する。

関連論文リスト

• Knoop: Practical Enhancement of Knockoff with Over-Parameterization for Variable Selection [27.563529091471935]
  この研究は、変数選択を強化するために、オーバーパラメータ化(Knoop)を備えた新しいアプローチであるKnockoffを導入する。 Knoopは、元の変数ごとに複数のノックオフ変数を生成し、元の変数とそれらをリッジレス回帰モデルに統合する。 実験はシミュレーションと実世界のデータセットの両方で既存の手法と比較して優れた性能を示す。
  論文  参考訳（メタデータ） (2025-01-28T09:27:04Z)
• Model-independent variable selection via the rule-based variable priority [1.2771542695459488]
  モデルに依存しない新しいアプローチである可変優先度(VarPro)を導入する。 VarProは、人工データを生成したり、予測エラーを評価することなく、ルールを活用する。 VarProはノイズ変数に対して一貫したフィルタリング特性を持つことを示す。
  論文  参考訳（メタデータ） (2024-09-13T17:32:05Z)
• LESS: Selecting Influential Data for Targeted Instruction Tuning [64.78894228923619]
  本稿では,データの影響を推定し,命令データ選択のための低ランクグレーディエント類似度探索を行うアルゴリズムであるLESSを提案する。 LESS選択したデータの5%のトレーニングは、さまざまなダウンストリームタスクにわたる完全なデータセットでのトレーニングよりも優れています。 我々の方法は、意図した下流アプリケーションに必要な推論スキルを識別するために、表面的なフォームキューを超えています。
  論文  参考訳（メタデータ） (2024-02-06T19:18:04Z)
• Dynamic Model Switching for Improved Accuracy in Machine Learning [0.0]
  そこで我々は,CatBoostとXGBoostの直感的に遷移する適応アンサンブルを導入する。 ユーザは、80%の精度でベンチマークを設定し、パフォーマンスの向上を保証する場合に限って、システムが新しいモデルに動的に移行するように促す。 この動的モデルスイッチング機構は、現実世界のシナリオにおけるデータの進化的な性質と一致する。
  論文  参考訳（メタデータ） (2024-01-31T00:13:02Z)
• Contextual Feature Selection with Conditional Stochastic Gates [9.784482648233048]
  条件ゲート(c-STG)は、文脈変数に基づいてパラメータが予測される条件変数を用いて、特徴の重要性をモデル化する。 我々は,c-STGは,予測精度と解釈可能性を高めつつ,特徴選択能力の向上につながることを示した。
  論文  参考訳（メタデータ） (2023-12-21T19:12:59Z)
• Invariance Learning in Deep Neural Networks with Differentiable Laplace Approximations [76.82124752950148]
  我々はデータ拡張を選択するための便利な勾配法を開発した。 我々はKronecker-factored Laplace近似を我々の目的とする限界確率に近似する。
  論文  参考訳（メタデータ） (2022-02-22T02:51:11Z)
• X-model: Improving Data Efficiency in Deep Learning with A Minimax Model [78.55482897452417]
  ディープラーニングにおける分類と回帰設定の両面でのデータ効率の向上を目標とする。 両世界の力を生かすために,我々は新しいX-モデルを提案する。 X-モデルは、特徴抽出器とタスク固有のヘッドの間でミニマックスゲームを行う。
  論文  参考訳（メタデータ） (2021-10-09T13:56:48Z)
• CADDA: Class-wise Automatic Differentiable Data Augmentation for EEG Signals [92.60744099084157]
  本研究では、勾配に基づく学習に適した微分可能データ拡張を提案する。 本研究は,臨床関連睡眠ステージ分類課題におけるアプローチの意義を示す。
  論文  参考訳（メタデータ） (2021-06-25T15:28:48Z)
• Variable Skipping for Autoregressive Range Density Estimation [84.60428050170687]
  深部自己回帰モデルを用いた距離密度推定を高速化する手法である可変スキップについて述べる。 可変スキップは、10-100$timesの効率向上をもたらすことを示す。
  論文  参考訳（メタデータ） (2020-07-10T19:01:40Z)
• Evaluating Prediction-Time Batch Normalization for Robustness under Covariate Shift [81.74795324629712]
  我々は予測時間バッチ正規化と呼び、共変量シフト時のモデル精度とキャリブレーションを大幅に改善する。 予測時間バッチ正規化は、既存の最先端アプローチに相補的な利点をもたらし、ロバスト性を向上させることを示します。 この手法は、事前トレーニングと併用して使用すると、さまざまな結果が得られるが、より自然なタイプのデータセットシフトでは、パフォーマンスが良くないようだ。
  論文  参考訳（メタデータ） (2020-06-19T05:08:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。