論文の概要: When Do LLMs Help with Feature Selection? A Systematic Empirical Study

• arxiv url: http://arxiv.org/abs/2610.28556v1
• Date: Tue, 20 Oct 2026 17:18:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.944233
• Title: When Do LLMs Help with Feature Selection? A Systematic Empirical Study
• Title（参考訳）: LLMはいつ特徴選択に役立つのか? : 体系的実証的研究
• Abstract要約: 統計的手法により,意味的特徴名がサブセット選択を改善するかを検討する。 5つの古典的ベースライン、凍結Qwen2.5-7BとLlama-3.3-70Bセレクタ、およびGRPO適応Qwen2.5-7Bモデルを比較した。 Zero-shot Qwen-7Bでは、情報的特徴名は匿名化およびシャッフルされた代替品よりもレグレッションパフォーマンスを向上させる。
• 参考スコア（独自算出の注目度）: 8.445955231322673
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) can leverage semantic feature names alongside summary statistics for tabular feature selection, yet it remains unclear when such information improves subset selection relative to established statistical methods. We investigate this question within an 18-dataset framework comprising 10 datasets for Group Relative Policy Optimization (GRPO) training, 2 for checkpoint validation, and 6 held-out evaluation datasets. We compare five classical baselines, frozen Qwen2.5-7B and Llama-3.3-70B selectors, and two GRPO-adapted Qwen2.5-7B models, reporting classification ROC-AUC and regression R^2 separately and using dataset-wise ranks for cross-task comparison. Across five seeded evaluation partitions, classical selectors generally achieve higher predictive performance than the tested 7B LLM/RL selectors, including under a pre-specified ~33% feature budget with strict train-only classical fitting, while the 7B selectors retain compact subsets. A cardinality-matched semantic sensitivity experiment shows that, for Zero-shot Qwen-7B, informative feature names improve regression performance over anonymized and shuffled alternatives (+0.1964 and +0.1606 mean R^2), whereas aggregate classification differences are smaller (+0.0159 and +0.0084 ROC-AUC) and dataset-dependent. These results characterize when semantic information benefits LLM-based feature selection and show that classical selectors remain strong baselines for predictive tabular feature selection.
• Abstract（参考訳）: 大規模言語モデル (LLM) は, 表特徴選択の要約統計と合わせて意味的特徴名を利用することができるが, それらの情報が確立された統計手法と比較して, サブセット選択を改善するかは定かではない。 グループ相対政策最適化(GRPO)トレーニング用データセット10種,チェックポイント検証用データセット2種,ホールドアウト評価用データセット6種からなる18データセットフレームワークでこの問題を検証した。 5つの古典的ベースライン、凍結したQwen2.5-7BとLlama-3.3-70Bセレクタ、および2つのGRPO適応Qwen2.5-7Bモデルを比較し、ROC-AUCと回帰R^2を別々に分類し、クロスタスク比較にデータセットワイドランクを用いた。 5つのシード評価パーティションの中で、古典セレクターはテストされた7B LLM/RLセレクターよりも高い予測性能を達成する。 ゼロショットQwen-7Bでは、情報的特徴名は匿名化およびシャッフル化された代替品(+0. 1964および+0.1606平均R^2)よりも回帰性能が向上するが、集合分類の違いは小さく(+0.0159および+0.0084ROC-AUC)、データセット依存である。 これらの結果は,LLMに基づく特徴選択にセマンティック情報が有効である場合を特徴付け,予測表特徴選択に古典的セレクタが強いベースラインを維持していることを示す。

関連論文リスト

• Benchmarking on Tasks That Matter: Dataset Selection for Preserving Model Rankings [0.9870126088784975]
  機械学習モデルのベンチマークには、多くのデータセットが含まれることが多い。 効率性のためには、代わりに、小さくて代表的なデータセットの評価が好ましい。 本稿では,データセットのサブセットを選択する作業を行うためのフレームワークを紹介し,その選択戦略がグローバルモデルランキングをいかに保持するかを評価する。
  論文  参考訳（メタデータ） (2026-06-26T11:50:22Z)
• Active Learning with Low-Rank Structure for Data Selection [85.43185363043362]
  低ランク近似と残差に基づくサンプリングに基づく新しいデータ選択フレームワークを提案する。 平均損失がデータセット全体の平均損失を近似した$tildeOleft(k + frac1varepsilon2right)$データポイントの重み付きサブセットを選択することができることを示す。
  論文  参考訳（メタデータ） (2026-06-14T22:29:59Z)
• i-IF-Learn: Iterative Feature Selection and Unsupervised Learning for High-Dimensional Complex Data [5.761834753104483]
  i-IF-Learnは、機能選択とクラスタリングを共同で実行する教師なしのフレームワークである。 我々の中心となる革新は、擬似ラベル監視と教師なし信号とを効果的に組み合わせた適応的特徴選択統計である。 遺伝子マイクロアレイと単細胞RNA-seqデータセットの実験により、i-IF-Learnは古典的および深層クラスタリングベースラインを著しく超えることが示された。
  論文  参考訳（メタデータ） (2026-03-25T07:35:38Z)
• Adapt-$\infty$: Scalable Continual Multimodal Instruction Tuning via Dynamic Data Selection [89.42023974249122]
  Adapt-$infty$は、生涯のインストラクションチューニングのための、新しいマルチウェイおよびアダプティブなデータ選択アプローチである。 勾配に基づくサンプルベクトルをグループ化して擬似スキルクラスタを構築する。 セレクタエキスパートのプールから各スキルクラスタの最高のパフォーマンスデータセレクタを選択する。 このデータセレクタは、トレーニングのために各スキルクラスタから最も重要なサンプルのサブセットをサンプリングする。
  論文  参考訳（メタデータ） (2024-10-14T15:48:09Z)
• LLM-Select: Feature Selection with Large Language Models [64.5099482021597]
  大規模言語モデル(LLM)は、データサイエンスの標準ツールに匹敵するパフォーマンスで、最も予測可能な機能を選択することができる。 以上の結果から,LSMはトレーニングに最適な機能を選択するだけでなく,そもそもどの機能を収集すべきかを判断する上でも有用である可能性が示唆された。
  論文  参考訳（メタデータ） (2024-07-02T22:23:40Z)
• Graph-Based Automatic Feature Selection for Multi-Class Classification via Mean Simplified Silhouette [4.786337974720721]
  本稿では,自動特徴選択のためのグラフベースの新しいフィルタ手法を提案する(略してGB-AFS)。 予測性能を維持するために必要な特徴の最小の組み合わせを決定する。 選択する機能の数など、ユーザ定義パラメータを一切必要としない。
  論文  参考訳（メタデータ） (2023-09-05T14:37:31Z)
• Utilizing Semantic Textual Similarity for Clinical Survey Data Feature Selection [4.5574502769585745]
  調査データから結果を予測する機械学習モデルは、過度に適合し、結果として一般化性が低下する可能性がある。 この機能の選択は、学習する機能の最適なサブセットを選択しようとするものだ。 特徴名と対象名の関係を言語モデル(LM)を用いて評価し,意味的テキスト類似度(STS)スコアを生成する。 STSを用いて最小冗長-最大関連性(mRMR)アルゴリズムで特徴を直接選択する性能について検討する。
  論文  参考訳（メタデータ） (2023-08-19T03:10:51Z)
• Data Selection for Language Models via Importance Resampling [90.9263039747723]
  我々は、望まれるターゲット分布に合わせるために、大規模な未ラベルデータセットのサブセットを選択するという問題を形式化する。 我々は、LMデータ選択のために低次元で使用される古典的な重要度再サンプリング手法を拡張した。 DSIRフレームワークをhash n-gram機能でインスタンス化し、4.5時間で1億のドキュメントを選択できる。
  論文  参考訳（メタデータ） (2023-02-06T23:57:56Z)
• Correlation Based Feature Subset Selection for Multivariate Time-Series Data [2.055949720959582]
  時系列データのストリームの相関は、与えられたデータマイニングタスクには、機能のごく一部しか必要としないことを意味する。 単一特徴分類器出力の相関パターンに基づいて特徴部分選択を行う手法を提案する。
  論文  参考訳（メタデータ） (2021-11-26T17:39:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。