論文の概要: Optimized Feature Generation for Tabular Data via LLMs with Decision Tree Reasoning

• arxiv url: http://arxiv.org/abs/2406.08527v2
• Date: Mon, 18 Nov 2024 05:47:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-19 14:30:38.206193
• Title: Optimized Feature Generation for Tabular Data via LLMs with Decision Tree Reasoning
• Title（参考訳）: 決定木推論を用いたLLMによる語彙データの最適特徴生成
• Authors: Jaehyun Nam, Kyuyoung Kim, Seunghyuk Oh, Jihoon Tack, Jaehyung Kim, Jinwoo Shin,
• Abstract要約: 本稿では,大規模言語モデル(LLM)を用いて,効率的な特徴生成ルールを同定するフレームワークを提案する。 我々は、自然言語で容易に表現できるため、この推論情報を伝達するために決定木を使用します。 OCTreeは様々なベンチマークで様々な予測モデルの性能を継続的に向上させる。
• 参考スコア（独自算出の注目度）: 53.241569810013836
• License:
• Abstract: In tabular prediction tasks, tree-based models combined with automated feature engineering methods often outperform deep learning approaches that rely on learned representations. While these feature engineering techniques are effective, they typically depend on a pre-defined search space and primarily use validation scores for feature selection, thereby missing valuable insights from previous experiments. To address these limitations, we propose a novel tabular learning framework that utilizes large language models (LLMs), termed Optimizing Column feature generator with decision Tree reasoning (OCTree). Our key idea is to leverage the reasoning capabilities of LLMs to identify effective feature generation rules without manually specifying the search space and provide language-based reasoning information highlighting past experiments as feedback for iterative rule improvements. We use decision trees to convey this reasoning information, as they can be easily represented in natural language, effectively providing knowledge from prior experiments (i.e., the impact of the generated features on performance) to the LLMs. Our empirical results demonstrate that OCTree consistently enhances the performance of various prediction models across diverse benchmarks, outperforming competing automated feature engineering methods. Code is available at https://github.com/jaehyun513/OCTree.
• Abstract（参考訳）: 表形式での予測タスクでは、木ベースのモデルと自動特徴工学の手法が組み合わさって、学習した表現に依存するディープラーニングアプローチよりも優れていることが多い。 これらの特徴工学技術は有効であるが、通常、事前に定義された検索空間に依存し、主に特徴の選択に検証スコアを使用し、その結果、以前の実験から得られた貴重な洞察を欠いている。 これらの制約に対処するため,大規模言語モデル(LLM)を利用した新しい表型学習フレームワークを提案し,決定木推論(OCTree)を用いた最適化カラム特徴生成手法を提案する。 我々のキーとなる考え方は、LLMの推論機能を活用して、手動で検索空間を指定せずに効率的な特徴生成ルールを識別し、過去の実験を強調した言語ベースの推論情報を反復的ルール改善のためのフィードバックとして提供することである。 我々は、この推論情報を伝えるために決定木を使用し、自然言語で容易に表現でき、以前の実験(つまり、生成された特徴が性能に与える影響)からLLMに効果的に知識を提供する。 実験の結果、OCTreeは様々なベンチマークで様々な予測モデルの性能を一貫して向上させ、競合する自動機能工学手法よりも優れています。 コードはhttps://github.com/jaehyun513/OCTree.comから入手できる。

関連論文リスト

• Zero-Shot Decision Tree Construction via Large Language Models [2.005837558796176]
  本稿では,大言語モデル(LLM)を用いた決定木構築アルゴリズムについて,分類・回帰木(CART)の原理に基づくゼロショット方式で紹介する。 提案手法では, 属性の離散化, 確率計算, Giniインデックス計算など, 決定木構築に必要な演算を行う。
  論文  参考訳（メタデータ） (2025-01-27T17:48:48Z)
• SPaR: Self-Play with Tree-Search Refinement to Improve Instruction-Following in Large Language Models [88.29990536278167]
  SPaRは、木探索の自己制限を統合したセルフプレイフレームワークで、気を散らさずに有効かつ同等の選好ペアを得る。 実験により,SPaRで誘導された3回の反復で訓練されたLLaMA3-8Bモデルが,一般機能を失うことなくIFEvalベンチマークでGPT-4-Turboを上回った。
  論文  参考訳（メタデータ） (2024-12-16T09:47:43Z)
• LLM-Select: Feature Selection with Large Language Models [64.5099482021597]
  大規模言語モデル(LLM)は、データサイエンスの標準ツールに匹敵するパフォーマンスで、最も予測可能な機能を選択することができる。 以上の結果から,LSMはトレーニングに最適な機能を選択するだけでなく,そもそもどの機能を収集すべきかを判断する上でも有用である可能性が示唆された。
  論文  参考訳（メタデータ） (2024-07-02T22:23:40Z)
• Calibrating LLMs with Preference Optimization on Thought Trees for Generating Rationale in Science Question Scoring [16.38771834692938]
  より忠実な論理を生成できる新しいフレームワークを提案し、さらに重要なことに、ブラックボックススコアリングシステムと性能をマッチングする。 まず,Large Language Models (LLM) をクエリして思考木を生成することで,人間の評価プロセスを模倣する。 次に、各思考木経路から中間的評価決定を要約し、合成的合理性データと合理性選好データを作成する。
  論文  参考訳（メタデータ） (2024-06-28T14:33:05Z)
• Advancing Tool-Augmented Large Language Models: Integrating Insights from Errors in Inference Trees [37.297431187924765]
  決定木から抽出した選好データに基づく推論軌道最適化フレームワークを提案する。 提案実験により, TP-LLaMAは, 推定木における誤差から洞察を得ることにより, ベースラインを著しく上回ることを示した。
  論文  参考訳（メタデータ） (2024-06-11T10:00:18Z)
• Evaluating and Explaining Large Language Models for Code Using Syntactic Structures [74.93762031957883]
  本稿では,コード用大規模言語モデルに特有の説明可能性手法であるASTxplainerを紹介する。 その中核にあるASTxplainerは、トークン予測をASTノードに整合させる自動メソッドを提供する。 私たちは、最も人気のあるGitHubプロジェクトのキュレートデータセットを使用して、コード用の12の人気のあるLLMに対して、実証的な評価を行います。
  論文  参考訳（メタデータ） (2023-08-07T18:50:57Z)
• Language models are weak learners [71.33837923104808]
  本研究では,プロンプトベースの大規模言語モデルは弱い学習者として効果的に動作可能であることを示す。 これらのモデルをブースティングアプローチに組み込むことで、モデル内の知識を活用して、従来のツリーベースのブースティングよりも優れています。 結果は、プロンプトベースのLLMが、少数の学習者だけでなく、より大きな機械学習パイプラインのコンポーネントとして機能する可能性を示している。
  論文  参考訳（メタデータ） (2023-06-25T02:39:19Z)
• Unboxing Tree Ensembles for interpretability: a hierarchical visualization tool and a multivariate optimal re-built tree [0.34530027457862006]
  我々は,木組モデルの解釈可能な表現を開発し,その振る舞いに関する貴重な洞察を提供する。 提案モデルは,木組決定関数を近似した浅い解釈可能な木を得るのに有効である。
  論文  参考訳（メタデータ） (2023-02-15T10:43:31Z)
• Offline RL for Natural Language Generation with Implicit Language Q Learning [87.76695816348027]
  ユーザ指定タスクの完了に関して、大きな言語モデルは矛盾する可能性がある。 本稿では,RLのフレキシブル・ユーティリティ・フレームワークと教師あり学習能力を組み合わせた新しいRL手法を提案する。 ILQLの実証的な検証に加えて、オフラインRLが自然言語生成設定で有用となるような、詳細な経験的分析状況も提示する。
  論文  参考訳（メタデータ） (2022-06-05T18:38:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。