論文の概要: Leveraging Model Inherent Variable Importance for Stable Online Feature Selection

• arxiv url: http://arxiv.org/abs/2006.10398v1
• Date: Thu, 18 Jun 2020 10:01:18 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-19 12:39:21.117401
• Title: Leveraging Model Inherent Variable Importance for Stable Online Feature Selection
• Title（参考訳）: 安定オンライン特徴選択のためのモデル継承変数の重要性の活用
• Authors: Johannes Haug, Martin Pawelczyk, Klaus Broelemann, Gjergji Kasneci
• Abstract要約: 本稿では,オンライン機能選択のための新しいフレームワークFIRESを紹介する。 私たちのフレームワークは、基盤となるモデルの選択をユーザに委ねるという点で一般的です。 実験の結果,提案フレームワークは特徴選択安定性の点で明らかに優れていることがわかった。
• 参考スコア（独自算出の注目度）: 16.396739487911056
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Feature selection can be a crucial factor in obtaining robust and accurate predictions. Online feature selection models, however, operate under considerable restrictions; they need to efficiently extract salient input features based on a bounded set of observations, while enabling robust and accurate predictions. In this work, we introduce FIRES, a novel framework for online feature selection. The proposed feature weighting mechanism leverages the importance information inherent in the parameters of a predictive model. By treating model parameters as random variables, we can penalize features with high uncertainty and thus generate more stable feature sets. Our framework is generic in that it leaves the choice of the underlying model to the user. Strikingly, experiments suggest that the model complexity has only a minor effect on the discriminative power and stability of the selected feature sets. In fact, using a simple linear model, FIRES obtains feature sets that compete with state-of-the-art methods, while dramatically reducing computation time. In addition, experiments show that the proposed framework is clearly superior in terms of feature selection stability.
• Abstract（参考訳）: 機能選択は、堅牢で正確な予測を得る上で重要な要素となる。 しかし、オンラインの特徴選択モデルはかなりの制約の下で動作し、厳密で正確な予測を可能にしながら、境界付けられた観測結果に基づいて効率よく有能な入力特徴を抽出する必要がある。 本稿では,オンライン機能選択のための新しいフレームワークFIRESを紹介する。 提案する特徴重み付け機構は,予測モデルのパラメータに固有の重要情報を活用する。 モデルパラメータを確率変数として扱うことにより、不確実性の高い特徴をペナルティ化し、より安定した特徴集合を生成することができる。 私たちのフレームワークは、基盤となるモデルの選択をユーザに委ねるという点で一般的です。 驚くべきことに、実験はモデルの複雑さが選択された特徴集合の判別能力と安定性に小さな影響しか与えていないことを示唆している。 実際、単純な線形モデルを用いて、FIRESは最先端の手法と競合する機能セットを取得し、計算時間を劇的に短縮する。 さらに,提案手法が特徴選択安定性において明らかに優れていることを示す実験を行った。

関連論文リスト

• REFRESH: Responsible and Efficient Feature Reselection Guided by SHAP Values [17.489279048199304]
  REFRESHは、いくつかの新しいモデルをトレーニングすることなく、モデルパフォーマンスに望ましい追加の制約を達成できるように、機能を再選択する手法である。 REFRESHの基盤となるアルゴリズムは、SHAP値と相関解析を用いて、モデルをトレーニングすることなくモデルの予測を近似できる新しい手法である。
  論文  参考訳（メタデータ） (2024-03-13T18:06:43Z)
• Spurious Feature Eraser: Stabilizing Test-Time Adaptation for Vision-Language Foundation Model [86.9619638550683]
  視覚言語基礎モデルは、画像とテキストのペアデータに拡張性があるため、多数の下流タスクで顕著な成功を収めている。 しかし、これらのモデルは、決定ショートカットの結果、きめ細かな画像分類などの下流タスクに適用した場合に重大な制限を呈する」。
  論文  参考訳（メタデータ） (2024-03-01T09:01:53Z)
• Causal Feature Selection via Transfer Entropy [59.999594949050596]
  因果発見は、観察データによる特徴間の因果関係を特定することを目的としている。 本稿では,前向きと後向きの機能選択に依存する新たな因果的特徴選択手法を提案する。 精度および有限サンプルの場合の回帰誤差と分類誤差について理論的に保証する。
  論文  参考訳（メタデータ） (2023-10-17T08:04:45Z)
• Investigating Ensemble Methods for Model Robustness Improvement of Text Classifiers [66.36045164286854]
  既存のバイアス機能を分析し、すべてのケースに最適なモデルが存在しないことを実証します。 適切なバイアスモデルを選択することで、より洗練されたモデル設計でベースラインよりもロバスト性が得られる。
  論文  参考訳（メタデータ） (2022-10-28T17:52:10Z)
• Ensembling improves stability and power of feature selection for deep learning models [11.973624420202388]
  本稿では,ディープラーニングモデルの設計と訓練における本質性によって,一般的に用いられる特徴重要度スコアが不安定になることを示す。 我々は、異なるエポックにおけるモデルの重要度スコアのアンサンブルについて検討し、この単純なアプローチがこの問題に実質的に対処できることを見出した。 訓練されたモデルの特徴的重要度を組み合わせるためのフレームワークを提案し、一つのベストモデルから特徴を選択する代わりに、多くの優れたモデルから特徴的重要度スコアのアンサンブルを実行する。
  論文  参考訳（メタデータ） (2022-10-02T19:07:53Z)
• Error-based Knockoffs Inference for Controlled Feature Selection [49.99321384855201]
  本手法では, ノックオフ特徴量, エラーベース特徴重要度統計量, ステップダウン手順を一体化して, エラーベースのノックオフ推定手法を提案する。 提案手法では回帰モデルを指定する必要はなく,理論的保証で特徴選択を処理できる。
  論文  参考訳（メタデータ） (2022-03-09T01:55:59Z)
• Employing an Adjusted Stability Measure for Multi-Criteria Model Fitting on Data Sets with Similar Features [0.1127980896956825]
  提案手法は,2つの確立したアプローチと比較して,同じあるいはより良い予測性能が得られることを示す。 このアプローチでは、関係のない機能や冗長な機能を避けながら、関連する機能を選択することに成功しています。 多くの類似した特徴を持つデータセットの場合、特徴選択安定性は調整された安定性尺度で評価されなければならない。
  論文  参考訳（メタデータ） (2021-06-15T12:48:07Z)
• Modeling the Second Player in Distributionally Robust Optimization [90.25995710696425]
  我々は、最悪のケース分布を特徴付けるために神経生成モデルを使うことを議論する。 このアプローチは多くの実装と最適化の課題をもたらします。 提案されたアプローチは、同等のベースラインよりも堅牢なモデルを生み出す。
  論文  参考訳（メタデータ） (2021-03-18T14:26:26Z)
• Characterizing Fairness Over the Set of Good Models Under Selective Labels [69.64662540443162]
  同様の性能を実現するモデルセットに対して,予測公正性を特徴付けるフレームワークを開発する。 到達可能なグループレベルの予測格差の範囲を計算するためのトラクタブルアルゴリズムを提供します。 選択ラベル付きデータの実証的な課題に対処するために、我々のフレームワークを拡張します。
  論文  参考訳（メタデータ） (2021-01-02T02:11:37Z)
• Feature Selection for Huge Data via Minipatch Learning [0.0]
  安定ミニパッチ選択(STAMPS)と適応STAMPSを提案する。 STAMPSは、データの観測と特徴の両方の小さな(適応性の高い)ランダムなサブセットに基づいて訓練された基本特徴セレクタの選択イベントのアンサンブルを構築するメタアルゴリズムである。 われわれのアプローチは一般的であり、様々な機能選択戦略や機械学習技術に応用できる。
  論文  参考訳（メタデータ） (2020-10-16T17:41:08Z)
• Better Model Selection with a new Definition of Feature Importance [8.914907178577476]
  特徴の重要性は、各入力特徴がモデル予測にとってどれほど重要かを測定することを目的としている。 本稿では,モデル選択のための新しいツリーモデル説明手法を提案する。
  論文  参考訳（メタデータ） (2020-09-16T14:32:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。