論文の概要: From Prompts to Trees: Effective LLM-Guided Tree Generation for Few-Shot Tabular Classification

• arxiv url: http://arxiv.org/abs/2610.10227v1
• Date: Wed, 07 Oct 2026 15:18:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 21:58:22.989694
• Title: From Prompts to Trees: Effective LLM-Guided Tree Generation for Few-Shot Tabular Classification
• Title（参考訳）: プロンプトから木へ:Few-Shot タブラリ分類のためのLLM誘導木生成の有効性
• Abstract要約: 大規模言語モデル (LLM) には豊かな世界知識と印象的な一般化能力がある。 LLMは高い推論コストと限定的な解釈可能性によって妨げられる。 LLMの知識を解釈可能な決定木に蒸留することで,これらのパラダイムを橋渡しする新しい枠組みを提案する。
• 参考スコア（独自算出の注目度）: 38.521441910470685
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While Large Language Models (LLMs) possess rich world knowledge and impressive generalization capabilities, their direct application to tabular data classification is hindered by high inference costs and limited interpretability. In contrast, decision trees are fast and transparent but often underperform in low-data regimes. In this work, we propose a novel framework that bridges these paradigms by distilling LLM knowledge into interpretable decision trees under a few-shot learning setting. Instead of directly prompting the LLM to generate full trees, which is often unstable and inefficient, we develop a three-stage paradigm that prompts the LLM to generate rules and organize the rules into a tree. Experiments on multiple real-world tabular datasets demonstrate that our method achieves superior accuracy and interpretability with significantly lower prompting overhead compared to existing baselines.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、豊富な世界知識と印象的な一般化能力を持っているが、表形式のデータ分類への直接的な適用は、高い推論コストと限定的な解釈可能性によって妨げられている。 対照的に、決定木は高速で透明であるが、低データレジームでは性能が低い。 本研究では,LLMの知識を数ショットの学習環境下で解釈可能な決定木に蒸留することにより,これらのパラダイムを橋渡しする新しいフレームワークを提案する。 LLMは、しばしば不安定で非効率な、完全な木を生成するように直接促すのではなく、3段階のパラダイムを開発し、LSMはルールを生成し、ルールをツリーに整理する。 複数の実世界の表型データセットに対する実験により,本手法は既存のベースラインに比べてオーバーヘッドを著しく低減し,精度と解釈性に優れることを示した。

関連論文リスト

• TLRD: Teaching LLMs to Reason over Tabular Data with Tri-Level Rationale Distillation [17.01990554676244]
  本稿では,ラベルのみのデータセットを大規模言語モデル(LLM)の構造化監視に変換するフレームワークであるTLRD(Tri-Level Rationale Distillation)を提案する。 実験の結果,TLRDはLLMと最先端ツリーアンサンブルのパフォーマンスギャップを著しく縮めることがわかった。
  論文  参考訳（メタデータ） (2026-06-06T18:31:50Z)
• FORESTLLM: Large Language Models Make Random Forest Great on Few-shot Tabular Learning [20.27406245916013]
  本稿では,大規模言語モデル(LLM)の意味的推論能力を用いて,決定林の構造的帰納バイアスを統一する枠組みを提案する。 まずLLMがラベル付きデータとラベルなしデータの両方の一貫性に基づいて候補分割を評価するセマンティックスプリッティング基準を導入し、より堅牢で一般化可能な木構造を数発の監視下で実現する。 第2に,LLMが決定経路とその支持例を簡潔で決定論的な予測に蒸留し,雑音の多い経験的推定を意味的インフォームドアウトプットに置き換える,葉ノード安定化のためのワンタイムインコンテキスト推論機構を提案する。
  論文  参考訳（メタデータ） (2026-01-16T14:08:51Z)
• TreeLoRA: Efficient Continual Learning via Layer-Wise LoRAs Guided by a Hierarchical Gradient-Similarity Tree [52.44403214958304]
  本稿では階層的な勾配の類似性を利用して階層型アダプタを構築する新しい手法であるTreeLoRAを紹介する。 タスク類似度推定の計算負担を軽減するために,より低い信頼度境界に基づくアルゴリズムを開発するために,バンド手法を用いる。 視覚変換器 (ViTs) と大規模言語モデル (LLMs) の両方を用いた実験により, 提案手法の有効性と有効性を示す。
  論文  参考訳（メタデータ） (2025-06-12T05:25:35Z)
• LLM Meeting Decision Trees on Tabular Data [14.527458439318725]
  タブラルデータは、医療や金融など、さまざまな現実世界の分野において重要な役割を担っている。 近年,Large Language Models (LLMs) の成功により,LLMを表データ領域に拡張する研究が進められている。
  論文  参考訳（メタデータ） (2025-05-23T13:57:53Z)
• LLM-Forest: Ensemble Learning of LLMs with Graph-Augmented Prompts for Data Imputation [50.375567142250446]
  巨大なコーパスで訓練された大規模言語モデル(LLM)は、データ生成に強い可能性を示している。 我々は,信頼度に基づく重み付け投票によって出力を集約した,数発のプロンプト学習 LLM ツリーの "フォレスト" を導入した新しいフレームワーク LLM-Forest を提案する。 このフレームワークは、2部情報グラフという新しい概念に基づいて構築され、特徴と値の粒度の両方で高品質な関連項目を識別する。
  論文  参考訳（メタデータ） (2024-10-28T20:42:46Z)
• "Oh LLM, I'm Asking Thee, Please Give Me a Decision Tree": Zero-Shot Decision Tree Induction and Embedding with Large Language Models [1.742301293487176]
  大規模言語モデル(LLM)は、データ制限時に予測モデリングに事前知識を活用する強力な手段を提供する。 本研究では,LLMが圧縮された世界知識を用いて,本質的に解釈可能な機械学習モデルを生成する方法を示す。
  論文  参考訳（メタデータ） (2024-09-27T09:53:48Z)
• Bridging LLMs and KGs without Fine-Tuning: Intermediate Probing Meets Subgraph-Aware Entity Descriptions [49.36683223327633]
  大規模言語モデル(LLM)は、幅広い世界の知識をカプセル化し、強力なコンテキストモデリング能力を示す。 実効的で効率的なKGCを実現するために,LLMの強みを頑健な知識表現と相乗化するための新しいフレームワークを提案する。 従来手法に比べて47%の相対的な改善を達成し,我々の知る限り,ファインチューニング LLM に匹敵する分類性能を初めて達成した。
  論文  参考訳（メタデータ） (2024-08-13T10:15:55Z)
• Optimized Feature Generation for Tabular Data via LLMs with Decision Tree Reasoning [53.241569810013836]
  本稿では,大規模言語モデル(LLM)を用いて,効率的な特徴生成ルールを同定するフレームワークを提案する。 我々は、自然言語で容易に表現できるため、この推論情報を伝達するために決定木を使用します。 OCTreeは様々なベンチマークで様々な予測モデルの性能を継続的に向上させる。
  論文  参考訳（メタデータ） (2024-06-12T08:31:34Z)
• Alphazero-like Tree-Search can Guide Large Language Model Decoding and Training [37.79247073276239]
  ToT(Tree-of-Thought)やRAP(Reasoning via Planning)といった最近の研究は、LLMの推論能力を強化することを目的としている。 LLMのためのAlphaZeroライクな木探索学習フレームワーク(TS-LLM)を提案する。 学習価値関数を用いた木探索がLLM復号を導出する方法を示す。
  論文  参考訳（メタデータ） (2023-09-29T12:20:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。