論文の概要: Harnessing LLMs Explanations to Boost Surrogate Models in Tabular Data Classification

• arxiv url: http://arxiv.org/abs/2505.05744v1
• Date: Fri, 09 May 2025 02:57:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-12 20:40:10.133634
• Title: Harnessing LLMs Explanations to Boost Surrogate Models in Tabular Data Classification
• Title（参考訳）: タブラルデータ分類におけるサロゲートモデル向上のためのLLMのハーネス化
• Authors: Ruxue Shi, Hengrui Gu, Xu Shen, Xin Wang,
• Abstract要約: 大規模言語モデル(LLM)は、複雑なタスクを解く際、顕著な能力を示している。 既存の LLM ベースの手法は、高いリソース要求、準最適実演選択、限定的な解釈可能性に悩まされている。
• 参考スコア（独自算出の注目度）: 13.10925195056774
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) have shown remarkable ability in solving complex tasks, making them a promising tool for enhancing tabular learning. However, existing LLM-based methods suffer from high resource requirements, suboptimal demonstration selection, and limited interpretability, which largely hinder their prediction performance and application in the real world. To overcome these problems, we propose a novel in-context learning framework for tabular prediction. The core idea is to leverage the explanations generated by LLMs to guide a smaller, locally deployable Surrogate Language Model (SLM) to make interpretable tabular predictions. Specifically, our framework mainly involves three stages: (i) Post Hoc Explanation Generation, where LLMs are utilized to generate explanations for question-answer pairs in candidate demonstrations, providing insights into the reasoning behind the answer. (ii) Post Hoc Explanation-Guided Demonstrations Selection, which utilizes explanations generated by LLMs to guide the process of demonstration selection from candidate demonstrations. (iii) Post Hoc Explanation-Guided Interpretable SLM Prediction, which utilizes the demonstrations obtained in step (ii) as in-context and merges corresponding explanations as rationales to improve the performance of SLM and guide the model to generate interpretable outputs. Experimental results highlight the framework's effectiveness, with an average accuracy improvement of 5.31% across various tabular datasets in diverse domains.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、複雑なタスクを解く際、顕著な能力を示しており、表型学習を強化するための有望なツールとなっている。 しかし、既存のLCMベースの手法は、高いリソース要求、準最適デモンストレーション選択、限定的な解釈可能性に悩まされており、現実の世界での予測性能と応用をほとんど妨げている。 これらの問題を克服するために,表形式での予測のための新しい文脈内学習フレームワークを提案する。 中心となる考え方は、LLMによって生成された説明を活用して、より小さく、ローカルにデプロイ可能なサロゲート言語モデル(SLM)をガイドし、解釈可能な表形式の予測を行うことである。 特に、我々のフレームワークは主に3つの段階を含む。 一 ポストホック説明生成において、LCMを用いて、候補演示における質問応答対の説明を作成し、その答えの背後にある理由についての洞察を提供する。 (二) LLMによる説明を利用して、候補演示から演示選考のプロセスを導出するポストホック解説誘導演示選考 三 ステップで得た実演を利用したポストホック説明誘導解釈SLM予測 (ii) 文中の説明を合理化して、SLMの性能を改善し、解釈可能な出力を生成するためのモデルを導出する。 実験の結果、フレームワークの有効性が強調され、さまざまなドメインの表形式のデータセットの平均精度は5.31%向上した。

関連論文リスト

• What Makes In-context Learning Effective for Mathematical Reasoning: A Theoretical Analysis [81.15503859645149]
  本稿では,大規模言語モデルの推論性能に及ぼす文脈内実演の影響を理論的に解析することを目的とする。 本稿では, LMS3 という, 単純で一般化可能な, 低複雑さな実演選択法を提案する。
  論文  参考訳（メタデータ） (2024-12-11T11:38:11Z)
• Explanation-aware Soft Ensemble Empowers Large Language Model In-context Learning [50.00090601424348]
  大規模言語モデル(LLM)は、様々な自然言語理解タスクにおいて顕著な能力を示している。 我々は,LLMを用いたテキスト内学習を支援するための説明型ソフトアンサンブルフレームワークであるEASEを提案する。
  論文  参考訳（メタデータ） (2023-11-13T06:13:38Z)
• In-Context Explainers: Harnessing LLMs for Explaining Black Box Models [28.396104334980492]
  大規模言語モデル(LLM)は、機械翻訳、常識推論、言語理解といった複雑なタスクにおいて、例外的な機能を示している。 このような多様なタスクにおけるLLMの適応性の主要な理由の1つは、インコンテキスト学習(ICL)能力である。 本稿では,LLMのICL機能を利用して,他の予測モデルによる予測を説明する新しい3つの手法,In-Context Explainersを提案する。
  論文  参考訳（メタデータ） (2023-10-09T15:31:03Z)
• Towards LLM-based Fact Verification on News Claims with a Hierarchical Step-by-Step Prompting Method [9.099277246096861]
  本稿では,大規模事前学習型言語モデル (LLM) とコンテキスト内学習 (ICL) を併用して,ニュースクレームの検証を行う。 階層的なステップ・バイ・ステップ(HiSS)のプロンプト手法を導入し,LLMに対して複数のサブ文を分割し,複数の問合せを段階的に検証する手法を提案する。 2つの公開誤報データセットの実験結果から、HiSSのプロンプトは最先端の完全教師付きアプローチと強力な数発のICL対応ベースラインを上回っていることが示された。
  論文  参考訳（メタデータ） (2023-09-30T08:33:04Z)
• ICL-D3IE: In-Context Learning with Diverse Demonstrations Updating for Document Information Extraction [56.790794611002106]
  大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクにおいて、文脈内学習による顕著な結果を示している。 ICL-D3IEと呼ばれるシンプルだが効果的なテキスト内学習フレームワークを提案する。 具体的には、ハードトレーニング文書から最も困難で独特なセグメントをハードデモとして抽出する。
  論文  参考訳（メタデータ） (2023-03-09T06:24:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。