論文の概要: Zero-Shot Decision Tree Construction via Large Language Models

• arxiv url: http://arxiv.org/abs/2501.16247v1
• Date: Mon, 27 Jan 2025 17:48:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-28 13:59:19.078181
• Title: Zero-Shot Decision Tree Construction via Large Language Models
• Title（参考訳）: 大規模言語モデルによるゼロショット決定木の構築
• Authors: Lucas Carrasco, Felipe Urrutia, Andrés Abeliuk,
• Abstract要約: 本稿では,大言語モデル(LLM)を用いた決定木構築アルゴリズムについて,分類・回帰木(CART)の原理に基づくゼロショット方式で紹介する。 提案手法では, 属性の離散化, 確率計算, Giniインデックス計算など, 決定木構築に必要な演算を行う。
• 参考スコア（独自算出の注目度）: 2.005837558796176
• License:
• Abstract: This paper introduces a novel algorithm for constructing decision trees using large language models (LLMs) in a zero-shot manner based on Classification and Regression Trees (CART) principles. Traditional decision tree induction methods rely heavily on labeled data to recursively partition data using criteria such as information gain or the Gini index. In contrast, we propose a method that uses the pre-trained knowledge embedded in LLMs to build decision trees without requiring training data. Our approach leverages LLMs to perform operations essential for decision tree construction, including attribute discretization, probability calculation, and Gini index computation based on the probabilities. We show that these zero-shot decision trees can outperform baseline zero-shot methods and achieve competitive performance compared to supervised data-driven decision trees on tabular datasets. The decision trees constructed via this method provide transparent and interpretable models, addressing data scarcity while preserving interpretability. This work establishes a new baseline in low-data machine learning, offering a principled, knowledge-driven alternative to data-driven tree construction.
• Abstract（参考訳）: 本稿では,大言語モデル(LLM)を用いた決定木を,分類・回帰木(CART)の原理に基づくゼロショットで構築するアルゴリズムを提案する。 従来の決定木帰納法は、情報ゲインやジニ指数といった基準を用いて再帰的にデータを分割するためにラベル付きデータに大きく依存する。 対照的に,LLMに埋め込まれた事前学習知識を用いて,学習データを必要としない意思決定木を構築する手法を提案する。 提案手法では, 属性の離散化, 確率計算, 確率に基づくギニ指数計算など, 決定木構築に必要な演算を行う。 これらのゼロショット決定木は、表付きデータセット上の教師付きデータ駆動決定木と比較して、ベースラインゼロショット法より優れ、競争性能が高いことを示す。 この方法で構築された決定木は透明で解釈可能なモデルを提供し、解釈可能性を維持しながらデータの不足に対処する。 この研究は、低データ機械学習の新たなベースラインを確立し、データ駆動ツリー構築の原則的、知識駆動的な代替手段を提供する。

関連論文リスト

• Decision Trees for Interpretable Clusters in Mixture Models and Deep Representations [5.65604054654671]
  混合モデルに対する説明可能性-雑音比の概念を導入する。 本研究では,混合モデルを入力として,データに依存しない時間に適切な木を構築するアルゴリズムを提案する。 結果の決定ツリーの誤り率について,上と下の境界を証明した。
  論文  参考訳（メタデータ） (2024-11-03T14:00:20Z)
• "Oh LLM, I'm Asking Thee, Please Give Me a Decision Tree": Zero-Shot Decision Tree Induction and Embedding with Large Language Models [1.742301293487176]
  大規模言語モデル(LLM)は、データ制限時に予測モデリングに事前知識を活用する強力な手段を提供する。 本研究では,LLMが圧縮された世界知識を用いて,本質的に解釈可能な機械学習モデルを生成する方法を示す。
  論文  参考訳（メタデータ） (2024-09-27T09:53:48Z)
• Optimized Feature Generation for Tabular Data via LLMs with Decision Tree Reasoning [53.241569810013836]
  本稿では,大規模言語モデル(LLM)を用いて,効率的な特徴生成ルールを同定するフレームワークを提案する。 我々は、自然言語で容易に表現できるため、この推論情報を伝達するために決定木を使用します。 OCTreeは様々なベンチマークで様々な予測モデルの性能を継続的に向上させる。
  論文  参考訳（メタデータ） (2024-06-12T08:31:34Z)
• Learning accurate and interpretable decision trees [27.203303726977616]
  我々は、同じドメインから繰り返しデータにアクセスして決定木学習アルゴリズムを設計するためのアプローチを開発する。 本研究では,ベイズ決定木学習における事前パラメータのチューニングの複雑さについて検討し,その結果を決定木回帰に拡張する。 また、学習した決定木の解釈可能性について検討し、決定木を用いた説明可能性と精度のトレードオフを最適化するためのデータ駆動型アプローチを提案する。
  論文  参考訳（メタデータ） (2024-05-24T20:10:10Z)
• An Interpretable Client Decision Tree Aggregation process for Federated Learning [7.8973037023478785]
  本稿では,フェデレート学習シナリオを対象とした解釈可能なクライアント決定木集約プロセスを提案する。 このモデルは、決定ツリーの複数の決定パスの集約に基づいており、ID3やCARTなど、さまざまな決定ツリータイプで使用することができる。 4つのデータセットで実験を行い、分析により、モデルで構築された木が局所モデルを改善し、最先端のモデルより優れていることが示された。
  論文  参考訳（メタデータ） (2024-04-03T06:53:56Z)
• Learning a Decision Tree Algorithm with Transformers [75.96920867382859]
  メタ学習によってトレーニングされたトランスフォーマーベースのモデルであるMetaTreeを導入し、強力な決定木を直接生成する。 我々は、多くのデータセットに欲求決定木とグローバルに最適化された決定木の両方を適合させ、MetaTreeを訓練して、強力な一般化性能を実現する木のみを生成する。
  論文  参考訳（メタデータ） (2024-02-06T07:40:53Z)
• Hierarchical clustering with dot products recovers hidden tree structure [53.68551192799585]
  本稿では,階層構造の回復に着目した凝集クラスタリングアルゴリズムの新しい視点を提案する。 クラスタを最大平均点積でマージし、例えば最小距離やクラスタ内分散でマージしないような、標準的なアルゴリズムの単純な変種を推奨する。 このアルゴリズムにより得られた木は、汎用確率的グラフィカルモデルの下で、データ中の生成的階層構造をボナフェイド推定することを示した。
  論文  参考訳（メタデータ） (2023-05-24T11:05:12Z)
• RLET: A Reinforcement Learning Based Approach for Explainable QA with Entailment Trees [47.745218107037786]
  本稿では,強化学習に基づくEntailment Tree生成フレームワークであるRLETを提案する。 RLETは文の選択と推論生成モジュールによる単一ステップ推論を反復的に行う。 EntailmentBankデータセットの3つの設定の実験では、RLフレームワークを使用することの強みが示されている。
  論文  参考訳（メタデータ） (2022-10-31T06:45:05Z)
• Structural Learning of Probabilistic Sentential Decision Diagrams under Partial Closed-World Assumption [127.439030701253]
  確率感性決定図は構造化分解可能な回路のクラスである。 本稿では,回路の論理的基盤を暗黙的に提供する部分閉世界仮定に基づく新しいスキームを提案する。 予備実験では、提案手法がトレーニングデータに適切に適合し、基礎となる論理的基盤と整合性を維持した上で、テストデータによく適合することを示した。
  論文  参考訳（メタデータ） (2021-07-26T12:01:56Z)
• MurTree: Optimal Classification Trees via Dynamic Programming and Search [61.817059565926336]
  動的プログラミングと探索に基づいて最適な分類木を学習するための新しいアルゴリズムを提案する。 当社のアプローチでは,最先端技術が必要とする時間のごく一部しか使用せず,数万のインスタンスでデータセットを処理することが可能です。
  論文  参考訳（メタデータ） (2020-07-24T17:06:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。