論文の概要: Ensembling improves stability and power of feature selection for deep learning models

• arxiv url: http://arxiv.org/abs/2210.00604v1
• Date: Sun, 2 Oct 2022 19:07:53 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-04 16:27:36.956509
• Title: Ensembling improves stability and power of feature selection for deep learning models
• Title（参考訳）: 深層学習モデルにおける特徴選択の安定性とパワー向上
• Authors: Prashnna K Gyawali, Xiaoxia Liu, James Zou, Zihuai He
• Abstract要約: 本稿では,ディープラーニングモデルの設計と訓練における本質性によって,一般的に用いられる特徴重要度スコアが不安定になることを示す。 我々は、異なるエポックにおけるモデルの重要度スコアのアンサンブルについて検討し、この単純なアプローチがこの問題に実質的に対処できることを見出した。 訓練されたモデルの特徴的重要度を組み合わせるためのフレームワークを提案し、一つのベストモデルから特徴を選択する代わりに、多くの優れたモデルから特徴的重要度スコアのアンサンブルを実行する。
• 参考スコア（独自算出の注目度）: 11.973624420202388
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: With the growing adoption of deep learning models in different real-world domains, including computational biology, it is often necessary to understand which data features are essential for the model's decision. Despite extensive recent efforts to define different feature importance metrics for deep learning models, we identified that inherent stochasticity in the design and training of deep learning models makes commonly used feature importance scores unstable. This results in varied explanations or selections of different features across different runs of the model. We demonstrate how the signal strength of features and correlation among features directly contribute to this instability. To address this instability, we explore the ensembling of feature importance scores of models across different epochs and find that this simple approach can substantially address this issue. For example, we consider knockoff inference as they allow feature selection with statistical guarantees. We discover considerable variability in selected features in different epochs of deep learning training, and the best selection of features doesn't necessarily occur at the lowest validation loss, the conventional approach to determine the best model. As such, we present a framework to combine the feature importance of trained models across different hyperparameter settings and epochs, and instead of selecting features from one best model, we perform an ensemble of feature importance scores from numerous good models. Across the range of experiments in simulated and various real-world datasets, we demonstrate that the proposed framework consistently improves the power of feature selection.
• Abstract（参考訳）: 計算生物学を含む現実世界の異なる領域でディープラーニングモデルが採用されるにつれて、どのデータ特徴がモデルの決定に不可欠かを理解することがしばしば必要となる。 近年,深層学習モデルにおける特徴重要度指標の定義に力を入れているにも関わらず,深層学習モデルの設計と訓練に固有の確率性が特徴重要度スコアを不安定にしていることが判明した。 この結果、モデルのさまざまな実行にまたがる様々な特徴の説明や選択が生まれます。 特徴の信号強度と特徴間の相関が, この不安定性に直接寄与することを示す。 この不安定性に対処するため、我々は様々な時代にわたるモデルの重要度スコアをセンセンシングし、この単純なアプローチがこの問題に実質的に対処できることを見出します。 例えば、統計的保証のある特徴の選択を可能にするため、ノックオフ推論を考える。 深層学習訓練のさまざまな時代において,選択した特徴にかなりのばらつきが見られ,最も優れた特徴の選択は必ずしも最下位の検証損失で発生しない。 そこで,我々は,異なるハイパーパラメータ設定とエポックにまたがるトレーニングモデルの機能重要度を組み合わせるためのフレームワークを提案し,ベストモデルから機能を選択する代わりに,多数の優れたモデルから機能重要度スコアをアンサンブルする。 シミュレーションおよび様々な実世界のデータセットにおける実験の範囲をまたいで,提案フレームワークが機能選択のパワーを一貫して向上させることを示す。

関連論文リスト

• Diverse Feature Learning by Self-distillation and Reset [0.5221459608786241]
  本稿では,重要な特徴保存アルゴリズムと新しい特徴学習アルゴリズムを組み合わせたDFLを紹介する。 重要な特徴を保存するために、トレーニング中に観察される意味のあるモデルの重みを選択することで、アンサンブルモデルの自己蒸留を利用する。 新機能の学習には、定期的にモデルの一部を初期化するリセットを採用しています。
  論文  参考訳（メタデータ） (2024-03-29T02:49:15Z)
• REFRESH: Responsible and Efficient Feature Reselection Guided by SHAP Values [17.489279048199304]
  REFRESHは、いくつかの新しいモデルをトレーニングすることなく、モデルパフォーマンスに望ましい追加の制約を達成できるように、機能を再選択する手法である。 REFRESHの基盤となるアルゴリズムは、SHAP値と相関解析を用いて、モデルをトレーニングすることなくモデルの予測を近似できる新しい手法である。
  論文  参考訳（メタデータ） (2024-03-13T18:06:43Z)
• Fantastic Gains and Where to Find Them: On the Existence and Prospect of General Knowledge Transfer between Any Pretrained Model [74.62272538148245]
  事前訓練されたモデルの任意のペアリングに対して、一方のモデルは他方では利用できない重要なデータコンテキストを抽出する。 このような「補的」な知識を,性能劣化を伴わずに,あるモデルから別のモデルへ伝達できるかどうかを検討する。
  論文  参考訳（メタデータ） (2023-10-26T17:59:46Z)
• Causal Feature Selection via Transfer Entropy [59.999594949050596]
  因果発見は、観察データによる特徴間の因果関係を特定することを目的としている。 本稿では,前向きと後向きの機能選択に依存する新たな因果的特徴選択手法を提案する。 精度および有限サンプルの場合の回帰誤差と分類誤差について理論的に保証する。
  論文  参考訳（メタデータ） (2023-10-17T08:04:45Z)
• Frugal Reinforcement-based Active Learning [12.18340575383456]
  本稿では,ラベル効率向上のための新しい能動的学習手法を提案する。 提案手法は反復的であり,多様性,表現性,不確実性の基準を混合した制約対象関数の最小化を目的としている。 また、強化学習に基づく新たな重み付け機構を導入し、各トレーニングイテレーションでこれらの基準を適応的にバランスさせる。
  論文  参考訳（メタデータ） (2022-12-09T14:17:45Z)
• Investigating Ensemble Methods for Model Robustness Improvement of Text Classifiers [66.36045164286854]
  既存のバイアス機能を分析し、すべてのケースに最適なモデルが存在しないことを実証します。 適切なバイアスモデルを選択することで、より洗練されたモデル設計でベースラインよりもロバスト性が得られる。
  論文  参考訳（メタデータ） (2022-10-28T17:52:10Z)
• An Additive Instance-Wise Approach to Multi-class Model Interpretation [53.87578024052922]
  解釈可能な機械学習は、ブラックボックスシステムの特定の予測を駆動する要因に関する洞察を提供する。 既存の手法は主に、局所的な加法的あるいはインスタンス的なアプローチに従う説明的入力特徴の選択に重点を置いている。 本研究は,両手法の長所を生かし,複数の対象クラスに対する局所的な説明を同時に学習するためのグローバルフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-07-07T06:50:27Z)
• Model-agnostic multi-objective approach for the evolutionary discovery of mathematical models [55.41644538483948]
  現代のデータ科学では、どの部分がより良い結果を得るために置き換えられるかというモデルの性質を理解することがより興味深い。 合成データ駆動型モデル学習において,多目的進化最適化を用いてアルゴリズムの所望特性を求める。
  論文  参考訳（メタデータ） (2021-07-07T11:17:09Z)
• Characterizing Fairness Over the Set of Good Models Under Selective Labels [69.64662540443162]
  同様の性能を実現するモデルセットに対して,予測公正性を特徴付けるフレームワークを開発する。 到達可能なグループレベルの予測格差の範囲を計算するためのトラクタブルアルゴリズムを提供します。 選択ラベル付きデータの実証的な課題に対処するために、我々のフレームワークを拡張します。
  論文  参考訳（メタデータ） (2021-01-02T02:11:37Z)
• Feature Selection for Huge Data via Minipatch Learning [0.0]
  安定ミニパッチ選択(STAMPS)と適応STAMPSを提案する。 STAMPSは、データの観測と特徴の両方の小さな(適応性の高い)ランダムなサブセットに基づいて訓練された基本特徴セレクタの選択イベントのアンサンブルを構築するメタアルゴリズムである。 われわれのアプローチは一般的であり、様々な機能選択戦略や機械学習技術に応用できる。
  論文  参考訳（メタデータ） (2020-10-16T17:41:08Z)
• Leveraging Model Inherent Variable Importance for Stable Online Feature Selection [16.396739487911056]
  本稿では,オンライン機能選択のための新しいフレームワークFIRESを紹介する。 私たちのフレームワークは、基盤となるモデルの選択をユーザに委ねるという点で一般的です。 実験の結果,提案フレームワークは特徴選択安定性の点で明らかに優れていることがわかった。
  論文  参考訳（メタデータ） (2020-06-18T10:01:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。