論文の概要: Human-LLM Collaborative Feature Engineering for Tabular Data
- arxiv url: http://arxiv.org/abs/2601.21060v1
- Date: Wed, 28 Jan 2026 21:33:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-30 16:22:49.44345
- Title: Human-LLM Collaborative Feature Engineering for Tabular Data
- Title(参考訳): タブラルデータのためのHuman-LLM協調特徴工学
- Authors: Zhuoyan Li, Aditya Bansal, Jinzhao Li, Shishuang He, Zhuoran Lu, Mutian Zhang, Qin Liu, Yiwei Yang, Swati Jain, Ming Yin, Yunyao Li,
- Abstract要約: 大規模言語モデル(LLM)は、表型学習における機能工学の自動化にますます利用されている。
現在のアプローチでは、LLMをブラックボックスとして割り当て、操作の提案と選択の両方に責任を負う。
本稿では,人間-LLM協調機能エンジニアリングフレームワークを提案する。
- 参考スコア(独自算出の注目度): 22.2647889885109
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Large language models (LLMs) are increasingly used to automate feature engineering in tabular learning. Given task-specific information, LLMs can propose diverse feature transformation operations to enhance downstream model performance. However, current approaches typically assign the LLM as a black-box optimizer, responsible for both proposing and selecting operations based solely on its internal heuristics, which often lack calibrated estimations of operation utility and consequently lead to repeated exploration of low-yield operations without a principled strategy for prioritizing promising directions. In this paper, we propose a human-LLM collaborative feature engineering framework for tabular learning. We begin by decoupling the transformation operation proposal and selection processes, where LLMs are used solely to generate operation candidates, while the selection is guided by explicitly modeling the utility and uncertainty of each proposed operation. Since accurate utility estimation can be difficult especially in the early rounds of feature engineering, we design a mechanism within the framework that selectively elicits and incorporates human expert preference feedback, comparing which operations are more promising, into the selection process to help identify more effective operations. Our evaluations on both the synthetic study and the real user study demonstrate that the proposed framework improves feature engineering performance across a variety of tabular datasets and reduces users' cognitive load during the feature engineering process.
- Abstract(参考訳): 大規模言語モデル(LLM)は、表型学習における機能工学の自動化にますます利用されている。
タスク固有の情報から、LLMは下流モデルの性能を向上させるために多様な特徴変換操作を提案することができる。
しかしながら、現在のアプローチでは、LCMをブラックボックスオプティマイザとして割り当て、内部ヒューリスティックに基づいた操作の提案と選択に責任を負う。
本稿では,表型学習のための人間-LLM協調機能工学フレームワークを提案する。
まず、変換操作の提案と選択プロセスの分離から始め、LLMを演算候補生成にのみ使用し、選択は各演算の実用性と不確実性を明示的にモデル化して導かれる。
特に機能工学の初期の段階では,正確な実用性評価が難しいため,我々は,より効果的な操作を特定するための選択プロセスに,より有望な操作を比較することで,人間の専門家の選好フィードバックを選択的に取り入れる機構を設計する。
本研究の総合研究と実際のユーザスタディの両面から,提案するフレームワークは,様々な表付きデータセット間で機能工学的性能を改善し,機能工学プロセスにおけるユーザの認知的負荷を軽減することを実証した。
関連論文リスト
- Feature Engineering for Agents: An Adaptive Cognitive Architecture for Interpretable ML Monitoring [2.1205272468688574]
大規模言語モデルに基づくエージェントに特徴工学の原則を適用したMLモニタリングのための認知アーキテクチャを提案する。
決定手順モジュールは、リファクタリング、ブレークダウン、コンパイルという3つの重要なステップを通じて、機能エンジニアリングをシミュレートする。
複数のLCMを用いた実験により, 各種ベースラインと比較して精度が有意に向上し, 提案手法の有効性が示された。
論文 参考訳(メタデータ) (2025-06-11T13:48:25Z) - ORMind: A Cognitive-Inspired End-to-End Reasoning Framework for Operations Research [56.961539386979354]
ORMindは認知にインスパイアされたフレームワークで、反ファクト推論を通じて最適化を強化する。
提案手法は,要求を数学的モデルや実行可能なコードに変換するエンド・ツー・エンドのワークフローを実装し,人間の認識をエミュレートする。
現在はLenovoのAIアシスタントで内部でテストされており、ビジネスとコンシューマの両方の最適化機能を強化する予定である。
論文 参考訳(メタデータ) (2025-06-02T05:11:21Z) - Efficient Model Selection for Time Series Forecasting via LLMs [52.31535714387368]
本稿では,Large Language Models (LLM) をモデル選択の軽量な代替手段として活用することを提案する。
提案手法は, LLMの固有知識と推論能力を活用することで, 明示的な性能行列の必要性を解消する。
論文 参考訳(メタデータ) (2025-04-02T20:33:27Z) - LLM-FE: Automated Feature Engineering for Tabular Data with LLMs as Evolutionary Optimizers [10.282327560070202]
大規模言語モデル(LLM)は、機能エンジニアリングプロセスにドメイン知識を統合することを可能にする。
進化的探索とドメイン知識とLLMの推論能力を組み合わせた新しいフレームワーク LLM-FE を提案する。
以上の結果から,LLM-FEは最先端のベースラインを一貫して上回っていることが明らかとなった。
論文 参考訳(メタデータ) (2025-03-18T17:11:24Z) - A Survey on the Optimization of Large Language Model-based Agents [16.733092886211097]
大規模言語モデル(LLM)は様々な分野で広く採用されており、自律的な意思決定や対話的なタスクに欠かせないものとなっている。
しかしながら、現在の作業は通常、バニラLLMに適用された迅速な設計や微調整戦略に依存している。
LLMに基づくエージェント最適化手法の総合的なレビューを行い、パラメータ駆動型およびパラメータフリーな手法に分類する。
論文 参考訳(メタデータ) (2025-03-16T10:09:10Z) - EVOLvE: Evaluating and Optimizing LLMs For In-Context Exploration [76.66831821738927]
大規模言語モデル(LLM)は、不確実性の下で最適な意思決定を必要とするシナリオにおいて、未調査のままである。
多くのアプリケーションに関係のあるステートレス強化学習環境である,帯域幅を最適に決定できる LLM の (in) 能力の測定を行う。
最適な探索アルゴリズムの存在を動機として,このアルゴリズム知識をLLMに統合する効率的な方法を提案する。
論文 参考訳(メタデータ) (2024-10-08T17:54:03Z) - FactorLLM: Factorizing Knowledge via Mixture of Experts for Large Language Models [50.331708897857574]
本稿では,高度に訓練された高密度FFNを余分なサブネットワークに分解する新しいアプローチであるFacterLLMを紹介する。
FactorLLMは、最大85%のモデル性能を確保しながら、推論速度を30%以上増加させながら、ソースモデルに匹敵するパフォーマンスを達成する。
論文 参考訳(メタデータ) (2024-08-15T16:45:16Z) - ORLM: A Customizable Framework in Training Large Models for Automated Optimization Modeling [15.67321902882617]
本稿では,オープンソースのLLMをトレーニングし,モデリングやソルバコードの開発を最適化する実行可能なパスを提案する。
この研究は、実用的なOR問題の解決においてLLMを評価するための最初の産業ベンチマークであるIndustrialORも導入した。
論文 参考訳(メタデータ) (2024-05-28T01:55:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。