論文の概要: Decision Tree Induction Through LLMs via Semantically-Aware Evolution

• arxiv url: http://arxiv.org/abs/2503.14217v1
• Date: Tue, 18 Mar 2025 12:52:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-19 14:15:07.505607
• Title: Decision Tree Induction Through LLMs via Semantically-Aware Evolution
• Title（参考訳）: 意味論的進化によるLCMによる決定木誘導
• Authors: Tennison Liu, Nicolas Huynh, Mihaela van der Schaar,
• Abstract要約: 遺伝的プログラミング(GP)に基づく決定木誘導のための進化的最適化手法を提案する。 私たちの重要なイノベーションは、セマンティックな事前情報と、検索空間に関するドメイン固有の知識をアルゴリズムに統合することです。 これは、構造化された自然言語プロンプトを扱う新しい遺伝子操作子によって操作される。
• 参考スコア（独自算出の注目度）: 53.0367886783772
• License:
• Abstract: Decision trees are a crucial class of models offering robust predictive performance and inherent interpretability across various domains, including healthcare, finance, and logistics. However, current tree induction methods often face limitations such as suboptimal solutions from greedy methods or prohibitive computational costs and limited applicability of exact optimization approaches. To address these challenges, we propose an evolutionary optimization method for decision tree induction based on genetic programming (GP). Our key innovation is the integration of semantic priors and domain-specific knowledge about the search space into the optimization algorithm. To this end, we introduce $\texttt{LLEGO}$, a framework that incorporates semantic priors into genetic search operators through the use of Large Language Models (LLMs), thereby enhancing search efficiency and targeting regions of the search space that yield decision trees with superior generalization performance. This is operationalized through novel genetic operators that work with structured natural language prompts, effectively utilizing LLMs as conditional generative models and sources of semantic knowledge. Specifically, we introduce $\textit{fitness-guided}$ crossover to exploit high-performing regions, and $\textit{diversity-guided}$ mutation for efficient global exploration of the search space. These operators are controlled by corresponding hyperparameters that enable a more nuanced balance between exploration and exploitation across the search space. Empirically, we demonstrate across various benchmarks that $\texttt{LLEGO}$ evolves superior-performing trees compared to existing tree induction methods, and exhibits significantly more efficient search performance compared to conventional GP approaches.
• Abstract（参考訳）: 決定木は、堅牢な予測性能と、医療、金融、物流を含む様々な領域で固有の解釈可能性を提供する重要なモデルのクラスである。 しかし、現在のツリー帰納法は、強欲な方法や禁忌な計算コストからの最適解や、厳密な最適化アプローチの適用可能性の制限といった制限に直面していることが多い。 これらの課題に対処するために,遺伝的プログラミング(GP)に基づく決定木誘導のための進化的最適化手法を提案する。 私たちの重要なイノベーションは、セマンティックな事前情報と、検索空間に関するドメイン固有の知識を最適化アルゴリズムに統合することです。 この目的のために我々は,Large Language Models (LLMs) を用いて,遺伝的検索にセマンティック事前を組み込んだフレームワークである$\texttt{LLEGO}$を導入し,より優れた一般化性能を持つ決定木を生成する探索空間の探索効率とターゲット領域を向上する。 これは、構造化された自然言語プロンプトを扱う新しい遺伝演算子によって運用され、LLMを条件付き生成モデルや意味的知識の源として有効に活用する。 具体的には、高パフォーマンスな領域を利用するために$\textit{fitness-guided}$ Crossoverを導入し、検索空間を効率的にグローバルに探索するために$\textit{diversity-guided}$mutationを導入します。 これらの演算子は対応するハイパーパラメータによって制御され、探索空間を横断するエクスプロイトとエクスプロイトの間のより微妙なバランスを可能にする。 経験的に、$\texttt{LLEGO}$は既存の木誘導法に比べて優れた性能木を進化させ、従来のGP手法に比べてはるかに効率的な探索性能を示す。

関連論文リスト

• Policy Guided Tree Search for Enhanced LLM Reasoning [3.090041654375235]
  Policy-Guided Tree Search (PGTS)は、強化学習と構造化木探索を組み合わせて推論経路を効率的にナビゲートするフレームワークである。 私たちの重要なイノベーションは、手作業や徹底的な検索の必要性をなくし、拡大、分岐、追跡、探索の終了を動的に決定する、学習されたポリシーです。
  論文  参考訳（メタデータ） (2025-02-04T22:08:20Z)
• Language-Based Bayesian Optimization Research Assistant (BORA) [0.0]
  ドメイン知識のコンテキスト化は、実りある領域の探索をガイドする強力なアプローチである。 本稿では,検索最適化における言語モデル (LLM) の利用を提案する。
  論文  参考訳（メタデータ） (2025-01-27T17:20:04Z)
• LiteSearch: Efficacious Tree Search for LLM [70.29796112457662]
  本研究では,動的ノード選択とノードレベルの探索予算を備えた新しいガイド付き木探索アルゴリズムを提案する。 GSM8KおよびTabMWPデータセットを用いて行った実験により,本手法はベースライン法に比べて計算コストが大幅に低いことを示した。
  論文  参考訳（メタデータ） (2024-06-29T05:14:04Z)
• Discovering Preference Optimization Algorithms with and for Large Language Models [50.843710797024805]
  オフライン優先最適化は、LLM(Large Language Model)出力の品質を向上・制御するための重要な手法である。 我々は、人間の介入なしに、新しい最先端の選好最適化アルゴリズムを自動で発見する客観的発見を行う。 実験は、ロジスティックと指数的損失を適応的にブレンドする新しいアルゴリズムであるDiscoPOPの最先端性能を示す。
  論文  参考訳（メタデータ） (2024-06-12T16:58:41Z)
• Efficient Non-Parametric Optimizer Search for Diverse Tasks [93.64739408827604]
  興味のあるタスクを直接検索できる,スケーラブルで汎用的なフレームワークを初めて提示する。 基礎となる数学表現の自然木構造に着想を得て、空間を超木に再配置する。 我々は,モンテカルロ法を木探索に適用し,レジェクションサンプリングと等価形状検出を備える。
  論文  参考訳（メタデータ） (2022-09-27T17:51:31Z)
• Quant-BnB: A Scalable Branch-and-Bound Method for Optimal Decision Trees with Continuous Features [5.663538370244174]
  本稿では,分岐とバウンド(BnB)に基づく新たな離散最適化手法を提案する。 提案アルゴリズムのQuant-BnBは,様々な実データセット上での浅い最適木に対する既存手法と比較して,大幅な高速化を示す。
  論文  参考訳（メタデータ） (2022-06-23T17:19:29Z)
• MurTree: Optimal Classification Trees via Dynamic Programming and Search [61.817059565926336]
  動的プログラミングと探索に基づいて最適な分類木を学習するための新しいアルゴリズムを提案する。 当社のアプローチでは,最先端技術が必要とする時間のごく一部しか使用せず,数万のインスタンスでデータセットを処理することが可能です。
  論文  参考訳（メタデータ） (2020-07-24T17:06:55Z)
• Generalized and Scalable Optimal Sparse Decision Trees [56.35541305670828]
  様々な目的に対して最適な決定木を生成する手法を提案する。 また,連続変数が存在する場合に最適な結果が得られるスケーラブルなアルゴリズムも導入する。
  論文  参考訳（メタデータ） (2020-06-15T19:00:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。