論文の概要: Model-Agnostic Feature Selection via LOCO-Guided Adaptive Minipatch Sampling

• arxiv url: http://arxiv.org/abs/2609.24126v1
• Date: Mon, 21 Sep 2026 05:29:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-22 20:29:01.083574
• Title: Model-Agnostic Feature Selection via LOCO-Guided Adaptive Minipatch Sampling
• Title（参考訳）: LOCO誘導適応ミニパッチサンプリングによるモデル非依存特徴選択
• Abstract要約: LOCO-Guided Adaptive Minipatch Smpling (LAMPS)は、ブラックボックス回帰アルゴリズムをベース学習者として使用するモデルに依存しないアンサンブルフレームワークである。 LAMPSは、観察と特徴の両方をサブサンプリングするミニパッチアンサンブルフレームワーク内で動作する。 合成および実データを用いた実験により、LAMPSは最先端の特徴選択法より優れていることが示された。
• 参考スコア（独自算出の注目度）: 12.328236355971638
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Black-box machine learning models increasingly deliver strong predictions, but extracting useful information from them, such as a set of important features, remains challenging. Existing model-agnostic methods primarily estimate feature importance or conduct inference on it rather than directly selecting features, whereas many feature selection methods are model-specific or rely on the model-X assumption. We introduce LOCO-guided Adaptive Minipatch Sampling (LAMPS), a model-agnostic ensemble framework that uses any black-box regression algorithm as its base learner to select features important for predicting the response. The base learner need only produce predictions and need not perform feature selection itself. LAMPS operates within a minipatch ensemble framework that subsamples both observations and features, allowing leave-one-covariate-out (LOCO) feature importance scores to be easily computed. It adaptively concentrates minipatch sampling on features with high LOCO scores while maintaining exploration. The resulting sampling probabilities rapidly separate signal from noise features after a few iterations, enabling selection through simple thresholding. We establish that LAMPS achieves exact feature selection in high-dimensional settings, provided that the base predictive models are sufficiently well trained on average. Extensive experiments on synthetic and real data show that LAMPS outperforms state-of-the-art feature selection methods, with particularly strong performance in the presence of correlated features.
• Abstract（参考訳）: ブラックボックス機械学習モデルは、ますます強力な予測を提供するが、重要な特徴の集合など、それらから有用な情報を抽出することは、依然として困難である。 既存のモデルに依存しない手法は、機能を直接選択するのではなく、主に特徴の重要性を見積もるか、それを推論するが、多くの特徴選択方法はモデル固有のものであるか、モデル-Xの仮定に依存している。 モデルに依存しないアンサンブルフレームワークであるLOCO-Guided Adaptive Minipatch Sampling (LAMPS)を導入する。 基本学習者は予測のみを生成する必要があり、特徴選択自体を実行する必要はない。 LAMPSは、観察と特徴の両方をサブサンプリングするミニパッチアンサンブルフレームワーク内で動作し、LOCO(Leave-one-covariate-out)機能の重要性スコアを容易に計算できる。 探索を継続しながらLOCOスコアの高い機能に適応的にミニパッチサンプリングを集中する。 その結果、サンプリング確率は、数回繰り返した後にノイズ特徴から素早く信号を分離し、単純なしきい値設定による選択を可能にした。 我々は,LAMPSが高次元設定において正確な特徴選択を達成できることを確立し,基礎となる予測モデルが平均的に十分に訓練されていることを仮定した。 合成および実データに対する大規模な実験により、LAMPSは最先端の特徴選択法よりも優れており、特に相関性のある特徴の存在下での強い性能を示している。

関連論文リスト

• A Hybrid Framework for Statistical Feature Selection and Image-Based Noise-Defect Detection [55.2480439325792]
  本稿では,統計的特徴選択と分類技術を統合し,欠陥検出精度を向上させるハイブリッドフレームワークを提案する。 工業画像から抽出した55個の特徴を統計的手法を用いて解析した。 これらの手法をフレキシブルな機械学習アプリケーションに統合することにより、検出精度を改善し、偽陽性や誤分類を減らす。
  論文  参考訳（メタデータ） (2024-12-11T22:12:21Z)
• LLM-Select: Feature Selection with Large Language Models [64.5099482021597]
  大規模言語モデル(LLM)は、データサイエンスの標準ツールに匹敵するパフォーマンスで、最も予測可能な機能を選択することができる。 以上の結果から,LSMはトレーニングに最適な機能を選択するだけでなく,そもそもどの機能を収集すべきかを判断する上でも有用である可能性が示唆された。
  論文  参考訳（メタデータ） (2024-07-02T22:23:40Z)
• IGANN Sparse: Bridging Sparsity and Interpretability with Non-linear Insight [4.010646933005848]
  IGANN Sparseは、一般化された加法モデルのファミリーから生まれた、新しい機械学習モデルである。 トレーニング中の非線形特徴選択プロセスを通じて、スパシティを促進する。 これにより、予測性能を犠牲にすることなく、モデル空間の改善による解釈可能性を保証する。
  論文  参考訳（メタデータ） (2024-03-17T22:44:36Z)
• REFRESH: Responsible and Efficient Feature Reselection Guided by SHAP Values [17.489279048199304]
  REFRESHは、いくつかの新しいモデルをトレーニングすることなく、モデルパフォーマンスに望ましい追加の制約を達成できるように、機能を再選択する手法である。 REFRESHの基盤となるアルゴリズムは、SHAP値と相関解析を用いて、モデルをトレーニングすることなくモデルの予測を近似できる新しい手法である。
  論文  参考訳（メタデータ） (2024-03-13T18:06:43Z)
• LLpowershap: Logistic Loss-based Automated Shapley Values Feature Selection Method [0.0]
  損失に基づくShapley値を用いて最小ノイズで情報的特徴を識別する新しい特徴選択手法LLpowershapを提案する。 シミュレーションの結果,LLpowershapはより多くの情報特徴を識別するだけでなく,他の最先端特徴選択法と比較して,ノイズ特性の少ない特徴を出力することがわかった。
  論文  参考訳（メタデータ） (2024-01-23T11:46:52Z)
• MILO: Model-Agnostic Subset Selection Framework for Efficient Model Training and Tuning [68.12870241637636]
  モデル学習からサブセット選択を分離するモデルに依存しないサブセット選択フレームワークMILOを提案する。 実験結果から、MILOはモデルを3ドル(約3,300円)でトレーニングし、ハイパーパラメータを20ドル(約2,300円)でチューニングできます。
  論文  参考訳（メタデータ） (2023-01-30T20:59:30Z)
• Feature Selection for Huge Data via Minipatch Learning [0.0]
  安定ミニパッチ選択(STAMPS)と適応STAMPSを提案する。 STAMPSは、データの観測と特徴の両方の小さな(適応性の高い)ランダムなサブセットに基づいて訓練された基本特徴セレクタの選択イベントのアンサンブルを構築するメタアルゴリズムである。 われわれのアプローチは一般的であり、様々な機能選択戦略や機械学習技術に応用できる。
  論文  参考訳（メタデータ） (2020-10-16T17:41:08Z)
• Leveraging Model Inherent Variable Importance for Stable Online Feature Selection [16.396739487911056]
  本稿では,オンライン機能選択のための新しいフレームワークFIRESを紹介する。 私たちのフレームワークは、基盤となるモデルの選択をユーザに委ねるという点で一般的です。 実験の結果,提案フレームワークは特徴選択安定性の点で明らかに優れていることがわかった。
  論文  参考訳（メタデータ） (2020-06-18T10:01:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。