論文の概要: Bias in Filter Feature Selection Evaluation: A Meta-Analysis of Datasets, Baselines, and Experimental Design Choices

• arxiv url: http://arxiv.org/abs/2606.07068v1
• Date: Fri, 05 Jun 2026 09:06:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-08 14:33:29.657091
• Title: Bias in Filter Feature Selection Evaluation: A Meta-Analysis of Datasets, Baselines, and Experimental Design Choices
• Title（参考訳）: フィルタ特徴選択評価におけるバイアス:データセット,ベースライン,実験設計選択のメタ分析
• Authors: Malick Ebiele, Malika Bendechache, Rob Brennan,
• Abstract要約: 近年のディープラーニング(DL)と機械学習(ML)のデータ評価は,新しい手法の評価が意識的にも無意識的にも偏っていることを示唆している。 本研究の目的は, 評価に影響を与える因子を同定し, バイアスのエントリーポイントを構成する因子を明らかにすることである。 この分析は、FFS研究の検証方法の反映を提供し、プロセス全体で学んだ教訓を強調し、将来のFFS評価のための5つのエビデンスベースの勧告を提供する。
• 参考スコア（独自算出の注目度）: 0.22940141855172028
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Background: Since 1990 many feature selection methods have been proposed across heterogeneous applications. To validate the usefulness of a new method, it needs to be compared against at least one baseline method from the existing literature on a feature selection task using at least one dataset. Recent developments in tabular Deep Learning (DL) and data valuation in Machine Learning (ML) suggest that the evaluation of new methods, algorithms, and models may be consciously or unconsciously biased. We hypothesise that a similar trend exists in feature selection (FS), particularly in filter feature selection (FFS). The aim of this study is therefore to examine FFS studies to identify factors that influence the evaluation and that might consist entry point for biases in order to recommend stronger principles for FFS evaluation. Methods: We analyse a sample of 28 high profile FFS studies published between 1994 and 2025. The analysis provides reflections on how to examine FFS studies, highlights lessons learned throughout the process, and gives five evidence-based recommendations for future FFS evaluation. Results: Multivariate Linear Regression analysis achieved a score of $R^2=0.33$. It means that 33% of the variance in the performance of new methods against chosen baselines (win rate) is explained by the number of datasets (#Datasets), the number of baselines (#Baselines), and the number of new methods (#NewMethods). Discussion: $R^2=0.33$ is considered medium explanation; which is promising given that this is the first such study. The medium explanation result is due to the fact that win rate is influenced by additional factors such as the maturity of the feature selection domain, the type of datasets and baselines, and the simplicity of the regression model used to explain the relationship.
• Abstract（参考訳）: 背景: 1990年以降、異種アプリケーションにまたがって多くの特徴選択法が提案されている。 新たな手法の有用性を検証するためには,少なくとも1つのデータセットを用いた特徴選択タスクにおいて,既存文献の少なくとも1つのベースライン手法と比較する必要がある。 近年の表型ディープラーニング(DL)と機械学習(ML)のデータ評価は,新しい手法,アルゴリズム,モデルの評価が意識的あるいは無意識に偏っていることを示唆している。 同様の傾向が特徴選択(FS)、特にフィルタ特徴選択(FFS)に存在すると仮定する。 本研究の目的は,FFS評価に影響を及ぼし,バイアスのエントリーポイントを構成する可能性のある因子を同定し,FFS評価のより強力な原則を提案することである。 方法: 1994年から2025年にかけて発行された28種類の高プロファイルFSSのサンプルを分析した。 この分析は、FFS研究の検証方法の反映を提供し、プロセス全体で学んだ教訓を強調し、将来のFFS評価のための5つのエビデンスベースの勧告を提供する。 結果: 多変量線形回帰解析はR^2=0.33$のスコアを得た。 つまり、選択されたベースライン(ウィンレート)に対する新しいメソッドのパフォーマンスの33%は、データセットの数(#Datasets)、ベースラインの数(#Baseliness)、新しいメソッドの数(#NewMethods)によって説明される。 議論:$R^2=0.33$は中程度の説明と見なされる。 中間的説明結果は,特徴選択領域の成熟度,データセットの種類,ベースラインの種類,関係を説明するための回帰モデルの単純さなど,追加的な要因による。

関連論文リスト

• Faithful and Fast Influence Function via Advanced Sampling [10.773767694482858]
  特徴量とロジットに基づく2つの高度なサンプリング手法を提案する。 これらのサンプルは、機能やログの分布を考慮して、データセット全体の小さいが代表的なサブセットを選択する。 モデルがいかに効率的にクラスを忘れるかを測定するためにF1スコアを用いて、クラス除去実験を通じてアプローチを検証する。
  論文  参考訳（メタデータ） (2025-10-30T17:55:19Z)
• Data Selection for ERMs [67.57726352698933]
  我々は、$mathcalA$が、少なくとも$nll N$のデータポイントで訓練された時に、いかにうまく機能するかを研究する。 結果は,平均推定,線形分類,線形回帰に対する最適データ選択境界を含む。
  論文  参考訳（メタデータ） (2025-04-20T11:26:01Z)
• Design Considerations in Offline Preference-based RL [25.683790623819952]
  DPOやIPO,SLiCなど,さまざまな方法による設計選択が,学習方針の質に与える影響について検討する。 我々の治療は、損失関数の選択、ログライクな状態の正規化に使用されるポリシー、およびデータサンプリングポリシーの役割に関する洞察を得る。
  論文  参考訳（メタデータ） (2025-02-08T00:01:37Z)
• Which Imputation Fits Which Feature Selection Method? A Survey-Based Simulation Study [4.335350817722218]
  特徴重要度尺度は、通常、特徴選択とモデルにおける結果変数に対する特徴の影響を評価するために考慮される。 典型的な解決策は、学習方法を適用する前に、欠落したデータをインプットすることである。 我々は、ランダムフォレスト(Random Forest)とXGBoost(XGBoost)の2つの最も一般的なツリーベース手法と、正規化を伴う解釈可能な線形モデルを考える。
  論文  参考訳（メタデータ） (2024-12-18T07:36:03Z)
• Is Data Valuation Learnable and Interpretable? [3.9325957466009203]
  現在のデータ評価手法は、出力値の解釈可能性を無視している。 この研究は、データバリュエーションは学習可能か、解釈可能か、という重要な疑問に答えることを目的としている。
  論文  参考訳（メタデータ） (2024-06-03T08:13:47Z)
• Preference Fine-Tuning of LLMs Should Leverage Suboptimal, On-Policy Data [102.16105233826917]
  好みラベルからの学習は、微調整された大きな言語モデルにおいて重要な役割を果たす。 好みの微調整には、教師付き学習、オンライン強化学習(RL)、コントラスト学習など、いくつかの異なるアプローチがある。
  論文  参考訳（メタデータ） (2024-04-22T17:20:18Z)
• A data-science pipeline to enable the Interpretability of Many-Objective Feature Selection [0.1474723404975345]
  多目的特徴選択(MOFS)アプローチは、4つ以上の目的を用いて、教師付き学習タスクにおける機能のサブセットの関連性を決定する。 本稿では,MOFS結果の解釈と比較においてデータサイエンティストを支援する手法を提案する。
  論文  参考訳（メタデータ） (2023-11-30T17:44:22Z)
• Selecting the suitable resampling strategy for imbalanced data classification regarding dataset properties [62.997667081978825]
  医学、情報検索、サイバーセキュリティ、ソーシャルメディアなどの多くのアプリケーションドメインでは、分類モデルの導入に使用されるデータセットは、各クラスのインスタンスの不平等な分布を持つことが多い。 この状況は不均衡データ分類と呼ばれ、少数民族の例では予測性能が低い。 オーバーサンプリングとアンダーサンプリングの技術は、各クラスの例の数とバランスをとることでこの問題に対処する、よく知られた戦略である。
  論文  参考訳（メタデータ） (2021-12-15T18:56:39Z)
• Learning to Select Base Classes for Few-shot Classification [96.92372639495551]
  我々は、数ショットモデルの一般化性能を示す指標として、類似度比を用いる。 次に、類似度比に対する部分モジュラー最適化問題として基底クラス選択問題を定式化する。
  論文  参考訳（メタデータ） (2020-04-01T09:55:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。