論文の概要: Embedding Domain-Specific Knowledge from LLMs into the Feature Engineering Pipeline

• arxiv url: http://arxiv.org/abs/2503.21155v1
• Date: Thu, 27 Mar 2025 04:48:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-28 12:51:46.229888
• Title: Embedding Domain-Specific Knowledge from LLMs into the Feature Engineering Pipeline
• Title（参考訳）: ドメイン固有の知識をLLMからフィーチャーエンジニアリングパイプラインに組み込む
• Authors: João Eduardo Batista,
• Abstract要約: 本稿では,Large Language Models (LLMs) を,データセットに知識を加えるための初期機能構築ステップとして用いることを提案する。 その結果、進化はより速く収束し、計算資源を節約できることがわかった。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Feature engineering is mandatory in the machine learning pipeline to obtain robust models. While evolutionary computation is well-known for its great results both in feature selection and feature construction, its methods are computationally expensive due to the large number of evaluations required to induce the final model. Part of the reason why these algorithms require a large number of evaluations is their lack of domain-specific knowledge, resulting in a lot of random guessing during evolution. In this work, we propose using Large Language Models (LLMs) as an initial feature construction step to add knowledge to the dataset. By doing so, our results show that the evolution can converge faster, saving us computational resources. The proposed approach only provides the names of the features in the dataset and the target objective to the LLM, making it usable even when working with datasets containing private data. While consistent improvements to test performance were only observed for one-third of the datasets (CSS, PM, and IM10), possibly due to problems being easily explored by LLMs, this approach only decreased the model performance in 1/77 test cases. Additionally, this work introduces the M6GP feature engineering algorithm to symbolic regression, showing it can improve the results of the random forest regressor and produce competitive results with its predecessor, M3GP.
• Abstract（参考訳）: 機能エンジニアリングは、堅牢なモデルを得るために、機械学習パイプラインで必須である。 進化的計算は特徴選択と特徴構成の両方において大きな結果をもたらすことで知られているが、最終モデルを生成するのに必要な多くの評価のため、その手法は計算に高価である。 これらのアルゴリズムが多くの評価を必要とする理由の1つは、ドメイン固有の知識の欠如である。 本研究では,Large Language Models (LLMs) を最初の機能構築ステップとして用いて,データセットに知識を加えることを提案する。 これにより、進化はより早く収束し、計算資源を節約できることを示す。 提案したアプローチは、データセットの機能の名前とLLMのターゲット目標のみを提供しており、プライベートデータを含むデータセットを扱う場合でも使用することができる。 テスト性能に対する一貫した改善はデータセットの3分の1(CSS、PM、IM10)でしか見られなかったが、おそらくLLMが容易に探索できる問題のために、このアプローチは1/77のテストケースでのみモデル性能を低下させた。 さらに、この研究は、M6GP特徴工学アルゴリズムをシンボル回帰に導入し、ランダム森林回帰器の結果を改善し、前任のM3GPと競合する結果が得られることを示した。

関連論文リスト

• O1 Embedder: Let Retrievers Think Before Action [28.583031173137428]
  我々は,対象文書の検索に先立って,入力クエリに有用な思考を生成するO1 Embedderを提案する。 私たちのアプローチは、12の一般的なデータセットで大幅に改善される包括的な実験によって評価されます。 これらの結果は、O1 Embedderの顕著な精度と一般化性を強調し、次世代IR基盤モデルの開発への道を開いた。
  論文  参考訳（メタデータ） (2025-02-11T13:48:10Z)
• MAmmoTH-VL: Eliciting Multimodal Reasoning with Instruction Tuning at Scale [66.73529246309033]
  MLLM(Multimodal large language model)は、多モーダルタスクにおいて大きな可能性を秘めている。 既存の命令チューニングデータセットは、中間的合理性のないフレーズレベルの答えのみを提供する。 そこで本研究では,大規模マルチモーダル・インストラクション・チューニング・データセットを構築するためのスケーラブルで費用対効果の高い手法を提案する。
  論文  参考訳（メタデータ） (2024-12-06T18:14:24Z)
• Attribute-to-Delete: Machine Unlearning via Datamodel Matching [65.13151619119782]
  機械学習 -- 事前訓練された機械学習モデルで、小さな"ターゲットセット"トレーニングデータを効率的に削除する -- は、最近関心を集めている。 最近の研究では、機械学習技術はこのような困難な環境では耐えられないことが示されている。
  論文  参考訳（メタデータ） (2024-10-30T17:20:10Z)
• Forewarned is Forearmed: Leveraging LLMs for Data Synthesis through Failure-Inducing Exploration [90.41908331897639]
  大規模言語モデル(LLM)は、多種多様な高品質なタスク特化データのトレーニングの恩恵を受けている。 本稿では,効果的なトレーニングサンプルを自動生成する新しい手法であるReverseGenを提案する。
  論文  参考訳（メタデータ） (2024-10-22T06:43:28Z)
• Rethinking Pre-Trained Feature Extractor Selection in Multiple Instance Learning for Whole Slide Image Classification [2.375943263571389]
  複数インスタンス学習(MIL)は、パッチレベルのアノテーションを必要とせずに、ギガピクセル全体のスライド画像(WSI)分類に好まれる方法となっている。 本研究では,3次元のMIL特徴抽出器(事前学習データセット,バックボーンモデル,事前学習手法)を体系的に評価する。
  論文  参考訳（メタデータ） (2024-08-02T10:34:23Z)
• LLM-Select: Feature Selection with Large Language Models [64.5099482021597]
  大規模言語モデル(LLM)は、データサイエンスの標準ツールに匹敵するパフォーマンスで、最も予測可能な機能を選択することができる。 以上の結果から,LSMはトレーニングに最適な機能を選択するだけでなく,そもそもどの機能を収集すべきかを判断する上でも有用である可能性が示唆された。
  論文  参考訳（メタデータ） (2024-07-02T22:23:40Z)
• Large Language Models as Surrogate Models in Evolutionary Algorithms: A Preliminary Study [5.6787965501364335]
  サロゲートアシスト選択は、高価な最適化問題を解決する進化アルゴリズムの中核的なステップである。 伝統的に、これは従来の機械学習手法に依存しており、過去の評価を利用して新しいソリューションの性能を予測する。 本研究では,LLM推論機能に基づいた新しいサロゲートモデルを提案する。
  論文  参考訳（メタデータ） (2024-06-15T15:54:00Z)
• MindStar: Enhancing Math Reasoning in Pre-trained LLMs at Inference Time [51.5039731721706]
  MindStarは、大言語モデルの純粋に推論に基づく探索手法である。 推論タスクを探索問題として定式化し、最適な推論経路を特定するための2つの探索アイデアを提案する。 Llama-2-13BやMistral-7Bのようなオープンソースモデルの推論能力を大幅に向上させ、GPT-3.5やGrok-1に匹敵する性能を実現している。
  論文  参考訳（メタデータ） (2024-05-25T15:07:33Z)
• Monte Carlo Tree Search Boosts Reasoning via Iterative Preference Learning [55.96599486604344]
  本稿では,Large Language Models (LLMs) の推論能力向上を目的とした,反復的な選好学習プロセスによるアプローチを提案する。 我々は、MCTS(Monte Carlo Tree Search)を用いて好みデータを反復的に収集し、そのルックアヘッド機能を利用して、インスタンスレベルの報酬をよりきめ細かいステップレベルの信号に分解する。 提案アルゴリズムはDPO(Direct Preference Optimization)を用いて,新たに生成されたステップレベルの優先度データを用いてLCMポリシーを更新する。
  論文  参考訳（メタデータ） (2024-05-01T11:10:24Z)
• MARIO: MAth Reasoning with code Interpreter Output -- A Reproducible Pipeline [12.186691561822256]
  我々は,大規模言語モデル(LLM)の本質的な性質が,数学的推論のモデル化における課題を提起していると仮定する。 本稿では,Pythonコードインタプリタを利用した新しい数学データセットを提案する。 本稿では,数学固有のLLMの微調整のための仮的かつ容易に複製可能なプロトコルを提案する。
  論文  参考訳（メタデータ） (2024-01-16T08:08:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。