論文の概要: TLRD: Teaching LLMs to Reason over Tabular Data with Tri-Level Rationale Distillation

• arxiv url: http://arxiv.org/abs/2606.08295v1
• Date: Sat, 06 Jun 2026 18:31:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-09 14:42:06.025213
• Title: TLRD: Teaching LLMs to Reason over Tabular Data with Tri-Level Rationale Distillation
• Title（参考訳）: TLRD:LLMに3レベル蒸留法を応用したタブラルデータに対する推論法を教える
• Authors: Tianyuan Liang, Xuwei Tan, Lei Shi, Junsheng Zhong, Ziyu Hu, Tian Xie, Zhiqun Zuo, Xiaodong Yu, Xueru Zhang,
• Abstract要約: 本稿では,ラベルのみのデータセットを大規模言語モデル(LLM)の構造化監視に変換するフレームワークであるTLRD(Tri-Level Rationale Distillation)を提案する。 実験の結果,TLRDはLLMと最先端ツリーアンサンブルのパフォーマンスギャップを著しく縮めることがわかった。
• 参考スコア（独自算出の注目度）: 17.01990554676244
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Tabular data is a primary medium for storing real-world information, driving many industrial applications of machine learning. Traditional predictors achieve strong predictive performance but do not provide readable, case-specific explanations essential for decision-making. Large Language Models (LLMs) can naturally bridge this gap by generating predictions alongside explanations. However, dataset-specific patterns, such as feature distributions and interactions, make tabular data difficult for LLMs to understand and reason over, while label-only fine-tuning improves performance at the cost of catastrophic forgetting. To address this problem, we propose Tri-Level Rationale Distillation (TLRD), a framework that converts label-only tabular datasets into structured rationale supervision for LLMs. TLRD uses a high-capacity teacher to synthesize a rationale corpus grounded in three complementary levels of evidence: instance-level feature, dataset-level distributional context, and comparison-level retrieved neighbors, then distills the rationale into student LLMs, enabling zero-overhead prediction and grounded explanation from raw features only. Experiments on multiple domain datasets show that TLRD significantly closes the performance gap between LLMs and state-of-the-art tree ensembles while producing grounded and readable explanations, offering a valuable reference for high-stakes decision-making.
• Abstract（参考訳）: タブラルデータ(Tabular data)は、現実世界の情報を保存する主要な媒体であり、機械学習の産業的応用を推進している。 従来の予測器は強い予測性能を達成するが、決定に不可欠な読みやすいケース固有の説明は提供しない。 大きな言語モデル(LLM)は、説明とともに予測を生成することによって、このギャップを自然に埋めることができる。 しかし、特徴分布や相互作用などのデータセット固有のパターンは、LCMが理解し、推論することを難しくする一方で、ラベルのみの微調整は、破滅的な忘れを犠牲にしてパフォーマンスを向上させる。 この問題に対処するために,ラベルのみの表形式のデータセットをLLMの構造化合理的監視に変換するフレームワークであるTLRDを提案する。 TLRDは、高能力の教師を用いて、3つの相補的な証拠(例レベルの特徴、データセットレベルの分布コンテキスト、比較レベルの抽出された隣人)に基礎を置く有理論的コーパスを合成し、その後、理論を学生のLLMに蒸留し、ゼロオーバーヘッド予測と原特徴からの接地的説明を可能にする。 複数のドメインデータセットの実験では、TLRDはLLMと最先端のツリーアンサンブルのパフォーマンスギャップを著しく縮める一方で、基底的で読みやすい説明を生成し、高い意思決定のための貴重な基準を提供する。

関連論文リスト

• LLMTabBench: Evaluating LLMs on Binary Tabular Classification From Zero to Few Shots [0.9056483898540896]
  大きな言語モデル(LLM)は、タスク記述から直接ゼロと少数ショットのインコンテキスト学習を通じて、より柔軟な代替手段を提供することができる。 LLMはゼロショット設定で非常に競争力があり、たとえこれらのモデルが少数ショットの例にアクセスできたとしても、代替モデルよりも優れている。 LLMのパフォーマンスが低下し、少数の例では効果が低下するデータ複雑性しきい値が存在する。
  論文  参考訳（メタデータ） (2026-05-23T06:05:20Z)
• Explainable Token-level Noise Filtering for LLM Fine-tuning Datasets [46.275971836374026]
  XTFは説明可能なトークンレベルのノイズフィルタリングフレームワークである。 XTFは、通常の微調整に比べて、ダウンストリーム性能を最大13.7%向上させることができる。
  論文  参考訳（メタデータ） (2026-02-16T07:49:33Z)
• FORESTLLM: Large Language Models Make Random Forest Great on Few-shot Tabular Learning [20.27406245916013]
  本稿では,大規模言語モデル(LLM)の意味的推論能力を用いて,決定林の構造的帰納バイアスを統一する枠組みを提案する。 まずLLMがラベル付きデータとラベルなしデータの両方の一貫性に基づいて候補分割を評価するセマンティックスプリッティング基準を導入し、より堅牢で一般化可能な木構造を数発の監視下で実現する。 第2に,LLMが決定経路とその支持例を簡潔で決定論的な予測に蒸留し,雑音の多い経験的推定を意味的インフォームドアウトプットに置き換える,葉ノード安定化のためのワンタイムインコンテキスト推論機構を提案する。
  論文  参考訳（メタデータ） (2026-01-16T14:08:51Z)
• Summarize-Exemplify-Reflect: Data-driven Insight Distillation Empowers LLMs for Few-shot Tabular Classification [31.422359959517763]
  InsightTabを紹介します。これは、分割・分散、簡単優先、反射学習の原則によって導かれる洞察蒸留フレームワークです。 提案手法は, LLMとデータモデリング技術との深い協調を通して, ルール要約, 戦略実証, インサイトリフレクションを統合する。 その結果,最先端手法よりも一貫した改善が得られた。
  論文  参考訳（メタデータ） (2025-08-29T12:16:24Z)
• Beyond Isolated Dots: Benchmarking Structured Table Construction as Deep Knowledge Extraction [80.88654868264645]
  Arranged and Organized extract Benchmarkは、断片化された文書を理解するための大規模言語モデルの能力を評価するために設計された。 AOEには3つの異なるドメインにまたがる11のタスクが含まれており、さまざまな入力クエリに適したコンテキスト固有のスキーマを生成するモデルが必要である。 結果は、最も先進的なモデルでさえ、かなり苦労したことを示している。
  論文  参考訳（メタデータ） (2025-07-22T06:37:51Z)
• Mitigating Forgetting in LLM Fine-Tuning via Low-Perplexity Token Learning [65.23593936798662]
  LLM生成データによる微調整により,目標タスクの性能が向上し,非目標タスクの劣化が低減されることを示す。 微調整後のLSMにおける破滅的忘れを緩和するために、トークンの難易度低減に基づく経験的説明を提供する最初の研究である。
  論文  参考訳（メタデータ） (2025-01-24T08:18:56Z)
• LLM-Forest: Ensemble Learning of LLMs with Graph-Augmented Prompts for Data Imputation [50.375567142250446]
  巨大なコーパスで訓練された大規模言語モデル(LLM)は、データ生成に強い可能性を示している。 我々は,信頼度に基づく重み付け投票によって出力を集約した,数発のプロンプト学習 LLM ツリーの "フォレスト" を導入した新しいフレームワーク LLM-Forest を提案する。 このフレームワークは、2部情報グラフという新しい概念に基づいて構築され、特徴と値の粒度の両方で高品質な関連項目を識別する。
  論文  参考訳（メタデータ） (2024-10-28T20:42:46Z)
• Small Models are LLM Knowledge Triggers on Medical Tabular Prediction [39.78560996984352]
  小モデルを用いたシナジー学習による汎用的な自己プロンプト手法SERSALを提案する。 本研究は,SERSALが言語的プロンプト法に比べて大幅に改善されていることを示す。
  論文  参考訳（メタデータ） (2024-03-03T17:35:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。