論文の概要: Binary Feature Mask Optimization for Feature Selection

• arxiv url: http://arxiv.org/abs/2401.12644v2
• Date: Sun, 01 Dec 2024 09:09:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-03 20:22:14.795680
• Title: Binary Feature Mask Optimization for Feature Selection
• Title（参考訳）: 特徴選択のための二元的特徴マスク最適化
• Authors: Mehmet E. Lorasdagi, Mehmet Y. Turali, Suleyman S. Kozat,
• Abstract要約: モデルの結果を考慮した特徴を選択する新しいフレームワークを提案する。 機械学習モデルの予測を用いてマスク演算子を得る。 実生活データセットの大幅な性能向上を示す。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: We investigate feature selection problem for generic machine learning models. We introduce a novel framework that selects features considering the outcomes of the model. Our framework introduces a novel feature masking approach to eliminate the features during the selection process, instead of completely removing them from the dataset. This allows us to use the same machine learning model during feature selection, unlike other feature selection methods where we need to train the machine learning model again as the dataset has different dimensions on each iteration. We obtain the mask operator using the predictions of the machine learning model, which offers a comprehensive view on the subsets of the features essential for the predictive performance of the model. A variety of approaches exist in the feature selection literature. However, to our knowledge, no study has introduced a training-free framework for a generic machine learning model to select features while considering the importance of the feature subsets as a whole, instead of focusing on the individual features. We demonstrate significant performance improvements on the real-life datasets under different settings using LightGBM and Multi-Layer Perceptron as our machine learning models. The high performance of our General Binary Mask Optimization algorithm stems from its feature masking approach to select features and its flexibility in the number of selected features. The algorithm selects features based on the validation performance of the machine learning model. Hence, the number of selected features is not predetermined and adjusts dynamically to the dataset. Additionally, we openly share the implementation or our code to encourage further research in this area.
• Abstract（参考訳）: 汎用機械学習モデルにおける特徴選択問題について検討する。 モデルの結果を考慮した特徴を選択する新しいフレームワークを提案する。 我々のフレームワークは、データセットから完全に取り除くのではなく、選択プロセス中の機能を除去する、新しい機能マスキングアプローチを導入しています。 データセットがイテレーション毎に異なる次元を持つため、マシンラーニングモデルを再びトレーニングする必要がある他の機能選択方法とは異なり、この機能選択中に同じ機械学習モデルを使用することができます。 予測性能に不可欠な特徴のサブセットを包括的に把握する機械学習モデルの予測を用いて,マスク演算子を得る。 特徴選択文学には様々なアプローチが存在する。 しかし、我々の知る限りでは、個々の特徴に焦点をあてるのではなく、機能部分集合全体の重要性を考慮しながら、機能を選択する汎用機械学習モデルのためのトレーニング不要のフレームワークを導入する研究はない。 機械学習モデルとしてLightGBMとMulti-Layer Perceptronを用いて,異なる環境下でのリアルタイムデータセットの性能向上を示す。 General Binary Mask Optimizationアルゴリズムの高性能化は、選択した特徴数におけるその柔軟性と特徴マスキングアプローチに起因している。 アルゴリズムは、機械学習モデルの検証性能に基づいて特徴を選択する。 したがって、選択された特徴の数は決まっておらず、データセットに動的に調整される。 さらに、我々は、この分野のさらなる研究を促進するために、オープンに実装やコードを公開しています。

関連論文リスト

• Model-GLUE: Democratized LLM Scaling for A Large Model Zoo in the Wild [84.57103623507082]
  本稿では,全体論的な大規模言語モデルスケーリングガイドラインであるModel-GLUEを紹介する。 我々の研究は、既存のLCMスケーリングテクニック、特に選択的マージと混合のバリエーションのベンチマークから始まります。 我々の手法は、マージ可能なモデルのクラスタリングと最適なマージ戦略選択、モデルミックスによるクラスタの統合を含む。
  論文  参考訳（メタデータ） (2024-10-07T15:55:55Z)
• Rethinking Pre-trained Feature Extractor Selection in Multiple Instance Learning for Whole Slide Image Classification [2.6703221234079946]
  複数インスタンス学習(MIL)は、パッチレベルのアノテーションを必要とせずに、ギガピクセル全体のスライド画像(WSI)分類に好まれる方法となっている。 本研究では,3次元のMIL特徴抽出器(事前学習データセット,バックボーンモデル,事前学習手法)を体系的に評価する。 この結果から,堅牢な自己教師付き学習(SSL)手法の選択は,ドメイン内事前学習データセットのみに依存するよりも,パフォーマンスに大きな影響を与えることが明らかとなった。
  論文  参考訳（メタデータ） (2024-08-02T10:34:23Z)
• LLM-Select: Feature Selection with Large Language Models [64.5099482021597]
  大規模言語モデル(LLM)は、データサイエンスの標準ツールに匹敵するパフォーマンスで、最も予測可能な機能を選択することができる。 以上の結果から,LSMはトレーニングに最適な機能を選択するだけでなく,そもそもどの機能を収集すべきかを判断する上でも有用である可能性が示唆された。
  論文  参考訳（メタデータ） (2024-07-02T22:23:40Z)
• ML-SUPERB 2.0: Benchmarking Multilingual Speech Models Across Modeling Constraints, Languages, and Datasets [106.7760874400261]
  本稿では、事前訓練されたSSLと教師付き音声モデルを評価するための新しいベンチマークであるML-SUPERB2.0を提案する。 ML-SUPERBのセットアップよりも性能が向上するが、性能は下流モデル設計に依存している。 また、言語とデータセットのパフォーマンスに大きな違いがあることから、よりターゲットを絞ったアプローチの必要性も示唆されている。
  論文  参考訳（メタデータ） (2024-06-12T21:01:26Z)
• REFRESH: Responsible and Efficient Feature Reselection Guided by SHAP Values [17.489279048199304]
  REFRESHは、いくつかの新しいモデルをトレーニングすることなく、モデルパフォーマンスに望ましい追加の制約を達成できるように、機能を再選択する手法である。 REFRESHの基盤となるアルゴリズムは、SHAP値と相関解析を用いて、モデルをトレーニングすることなくモデルの予測を近似できる新しい手法である。
  論文  参考訳（メタデータ） (2024-03-13T18:06:43Z)
• Embedded feature selection in LSTM networks with multi-objective evolutionary ensemble learning for time series forecasting [49.1574468325115]
  本稿では,Long Short-Term Memory Networkに埋め込まれた特徴選択手法を提案する。 本手法はLSTMの重みと偏りを分割的に最適化する。 イタリアとスペイン南東部の大気質時系列データの実験的評価により,従来のLSTMの能力一般化が著しく向上することが確認された。
  論文  参考訳（メタデータ） (2023-12-29T08:42:10Z)
• Extending Variability-Aware Model Selection with Bias Detection in Machine Learning Projects [0.7646713951724013]
  本稿では,機械学習プロジェクトにおけるバイアス検出による適応変数認識モデル選択手法の拡張について述べる。 提案手法は, モデル選択, 特にバイアスに関連する要因, およびそれらの相互作用に影響を及ぼす因子を明示することによって, 技術の現状を推し進めることを目的としている。
  論文  参考訳（メタデータ） (2023-11-23T22:08:29Z)
• Predicting is not Understanding: Recognizing and Addressing Underspecification in Machine Learning [47.651130958272155]
  下位仕様とは、ドメイン内の精度で区別できない複数のモデルの存在を指す。 我々は、不特定概念を形式化し、それを特定し、部分的に対処する方法を提案する。
  論文  参考訳（メタデータ） (2022-07-06T11:20:40Z)
• Filter Methods for Feature Selection in Supervised Machine Learning Applications -- Review and Benchmark [0.0]
  本稿では,特徴選択ベンチマークに関する文献を合成し,広く使用されているR環境における58の手法の性能評価を行う。 MLモデルでは難しい4つの典型的なデータセットシナリオについて検討する。
  論文  参考訳（メタデータ） (2021-11-23T20:20:24Z)
• Compositional Fine-Grained Low-Shot Learning [58.53111180904687]
  そこで本研究では,ゼロおよび少数ショット学習のための新しい合成生成モデルを構築し,学習サンプルの少ない,あるいは全くない,きめ細かいクラスを認識する。 本稿では, 学習サンプルから属性特徴を抽出し, それらを組み合わせて, 稀で見えないクラスのためのきめ細かい特徴を構築できる特徴合成フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-05-21T16:18:24Z)
• Feature Selection Methods for Uplift Modeling and Heterogeneous Treatment Effect [1.349645012479288]
  アップリフトモデリングは、サブグループレベルの治療効果を推定する因果学習手法である。 従来の機能選択の方法は、そのタスクには適していない。 本稿では,アップリフトモデリングのための特徴選択手法を提案する。
  論文  参考訳（メタデータ） (2020-05-05T00:28:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。