論文の概要: Tabular Feature Discovery With Reasoning Type Exploration

• arxiv url: http://arxiv.org/abs/2506.20357v1
• Date: Wed, 25 Jun 2025 12:18:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-26 21:00:42.728977
• Title: Tabular Feature Discovery With Reasoning Type Exploration
• Title（参考訳）: 推論型探索によるタブラル特徴発見
• Authors: Sungwon Han, Sungkyu Park, Seungeon Lee,
• Abstract要約: 大きな言語モデル(LLM)は、その膨大な知識を活用して、新しい機能を自動生成するために使われてきた。 本稿では,複数種類の推論を活かして多種多様な情報的特徴の発見を支援する新しい手法REFeatを提案する。
• 参考スコア（独自算出の注目度）: 5.030210915367596
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Feature engineering for tabular data remains a critical yet challenging step in machine learning. Recently, large language models (LLMs) have been used to automatically generate new features by leveraging their vast knowledge. However, existing LLM-based approaches often produce overly simple or repetitive features, partly due to inherent biases in the transformations the LLM chooses and the lack of structured reasoning guidance during generation. In this paper, we propose a novel method REFeat, which guides an LLM to discover diverse and informative features by leveraging multiple types of reasoning to steer the feature generation process. Experiments on 59 benchmark datasets demonstrate that our approach not only achieves higher predictive accuracy on average, but also discovers more diverse and meaningful features. These results highlight the promise of incorporating rich reasoning paradigms and adaptive strategy selection into LLM-driven feature discovery for tabular data.
• Abstract（参考訳）: 表データのための機能エンジニアリングは、マシンラーニングにおける重要なステップでありながら、難しいステップである。 近年,大規模言語モデル(LLM)は,その膨大な知識を活用することで,新機能の自動生成に使用されている。 しかしながら、既存のLLMベースのアプローチは、LLMが選択する変換に固有のバイアスと、生成中に構造的推論ガイダンスが欠如していることから、過度に単純または反復的な特徴を生じることが多い。 本稿では,多種多様な特徴の発見を誘導するREFeatを提案する。 59のベンチマークデータセットの実験により、我々のアプローチは平均で高い予測精度を達成するだけでなく、より多様性があり有意義な特徴も発見できることが示された。 これらの結果は、リッチ推論パラダイムと適応戦略選択を表データのためのLLM駆動型特徴発見に組み込むことの約束を強調している。

関連論文リスト

• LLM-FE: Automated Feature Engineering for Tabular Data with LLMs as Evolutionary Optimizers [10.282327560070202]
  大規模言語モデル(LLM)は、機能エンジニアリングプロセスにドメイン知識を統合することを可能にする。 進化的探索とドメイン知識とLLMの推論能力を組み合わせた新しいフレームワーク LLM-FE を提案する。 以上の結果から,LLM-FEは最先端のベースラインを一貫して上回っていることが明らかとなった。
  論文  参考訳（メタデータ） (2025-03-18T17:11:24Z)
• From Selection to Generation: A Survey of LLM-based Active Learning [153.8110509961261]
  大きな言語モデル(LLM)は、全く新しいデータインスタンスを生成し、よりコスト効率の良いアノテーションを提供するために使われています。 本調査は,LSMに基づくAL手法の直感的な理解を目指して,研究者や実践者の最新のリソースとして機能することを目的としている。
  論文  参考訳（メタデータ） (2025-02-17T12:58:17Z)
• Exploring Large Language Models for Feature Selection: A Data-centric Perspective [17.99621520553622]
  大規模言語モデル(LLM)は様々なドメインに影響を与え、例外的な少数ショットとゼロショットの学習機能を活用している。 我々は,データ中心の観点からLLMに基づく特徴選択手法を探求し,理解することを目指している。 本研究は,テキストベースの特徴選択手法の有効性とロバスト性を強調し,実世界の医療応用を用いてその可能性を示す。
  論文  参考訳（メタデータ） (2024-08-21T22:35:19Z)
• Optimized Feature Generation for Tabular Data via LLMs with Decision Tree Reasoning [53.241569810013836]
  本稿では,大規模言語モデル(LLM)を用いて,効率的な特徴生成ルールを同定するフレームワークを提案する。 我々は、自然言語で容易に表現できるため、この推論情報を伝達するために決定木を使用します。 OCTreeは様々なベンチマークで様々な予測モデルの性能を継続的に向上させる。
  論文  参考訳（メタデータ） (2024-06-12T08:31:34Z)
• One Token Can Help! Learning Scalable and Pluggable Virtual Tokens for Retrieval-Augmented Large Language Models [67.49462724595445]
  Retrieval-augmented Generation (RAG)は、大規模言語モデル(LLM)を改善するための有望な方法である。 本稿では,RAGのためのスケーラブルでプラガブルな仮想トークンを学習する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-05-30T03:44:54Z)
• Large Language Models Can Automatically Engineer Features for Few-Shot Tabular Learning [35.03338699349037]
  本稿では,機能エンジニアとして大規模言語モデルを用いる新しい文脈内学習フレームワークFeatLLMを提案する。 FeatLLMは高品質なルールを生成し、TabLLMやSTUNTなどよりも大幅に(平均で10%)優れている。
  論文  参考訳（メタデータ） (2024-04-15T06:26:08Z)
• From Quantity to Quality: Boosting LLM Performance with Self-Guided Data Selection for Instruction Tuning [52.257422715393574]
  本稿では,Large Language Models (LLMs) の自己誘導手法を導入し,オープンソースデータセットからサクラサンプルを自動識別し,選択する。 我々の重要な革新である命令追従困難度(IFD)メトリックは、モデルが期待する応答と本質的な生成能力の相違を識別するための重要な指標として現れます。
  論文  参考訳（メタデータ） (2023-08-23T09:45:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。