論文の概要: Harnessing LLMs Explanations to Boost Surrogate Models in Tabular Data Classification

• arxiv url: http://arxiv.org/abs/2505.05744v1
• Date: Fri, 09 May 2025 02:57:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-12 20:40:10.133634
• Title: Harnessing LLMs Explanations to Boost Surrogate Models in Tabular Data Classification
• Title（参考訳）: タブラルデータ分類におけるサロゲートモデル向上のためのLLMのハーネス化
• Authors: Ruxue Shi, Hengrui Gu, Xu Shen, Xin Wang,
• Abstract要約: 大規模言語モデル(LLM)は、複雑なタスクを解く際、顕著な能力を示している。 既存の LLM ベースの手法は、高いリソース要求、準最適実演選択、限定的な解釈可能性に悩まされている。
• 参考スコア（独自算出の注目度）: 13.10925195056774
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) have shown remarkable ability in solving complex tasks, making them a promising tool for enhancing tabular learning. However, existing LLM-based methods suffer from high resource requirements, suboptimal demonstration selection, and limited interpretability, which largely hinder their prediction performance and application in the real world. To overcome these problems, we propose a novel in-context learning framework for tabular prediction. The core idea is to leverage the explanations generated by LLMs to guide a smaller, locally deployable Surrogate Language Model (SLM) to make interpretable tabular predictions. Specifically, our framework mainly involves three stages: (i) Post Hoc Explanation Generation, where LLMs are utilized to generate explanations for question-answer pairs in candidate demonstrations, providing insights into the reasoning behind the answer. (ii) Post Hoc Explanation-Guided Demonstrations Selection, which utilizes explanations generated by LLMs to guide the process of demonstration selection from candidate demonstrations. (iii) Post Hoc Explanation-Guided Interpretable SLM Prediction, which utilizes the demonstrations obtained in step (ii) as in-context and merges corresponding explanations as rationales to improve the performance of SLM and guide the model to generate interpretable outputs. Experimental results highlight the framework's effectiveness, with an average accuracy improvement of 5.31% across various tabular datasets in diverse domains.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、複雑なタスクを解く際、顕著な能力を示しており、表型学習を強化するための有望なツールとなっている。 しかし、既存のLCMベースの手法は、高いリソース要求、準最適デモンストレーション選択、限定的な解釈可能性に悩まされており、現実の世界での予測性能と応用をほとんど妨げている。 これらの問題を克服するために,表形式での予測のための新しい文脈内学習フレームワークを提案する。 中心となる考え方は、LLMによって生成された説明を活用して、より小さく、ローカルにデプロイ可能なサロゲート言語モデル(SLM)をガイドし、解釈可能な表形式の予測を行うことである。 特に、我々のフレームワークは主に3つの段階を含む。 一 ポストホック説明生成において、LCMを用いて、候補演示における質問応答対の説明を作成し、その答えの背後にある理由についての洞察を提供する。 (二) LLMによる説明を利用して、候補演示から演示選考のプロセスを導出するポストホック解説誘導演示選考 三 ステップで得た実演を利用したポストホック説明誘導解釈SLM予測 (ii) 文中の説明を合理化して、SLMの性能を改善し、解釈可能な出力を生成するためのモデルを導出する。 実験の結果、フレームワークの有効性が強調され、さまざまなドメインの表形式のデータセットの平均精度は5.31%向上した。

関連論文リスト

• IDA-Bench: Evaluating LLMs on Interactive Guided Data Analysis [60.32962597618861]
  IDA-Benchは、多ラウンドの対話シナリオで大規模言語モデルを評価する新しいベンチマークである。 エージェント性能は、最終的な数値出力と人間由来のベースラインを比較して判断する。 最先端のコーディングエージェント(Claude-3.7-thinkingなど)でさえ50%のタスクを成功させ、シングルターンテストでは明らかでない制限を強調している。
  論文  参考訳（メタデータ） (2025-05-23T09:37:52Z)
• What Makes In-context Learning Effective for Mathematical Reasoning: A Theoretical Analysis [81.15503859645149]
  本稿では,大規模言語モデルの推論性能に及ぼす文脈内実演の影響を理論的に解析することを目的とする。 本稿では, LMS3 という, 単純で一般化可能な, 低複雑さな実演選択法を提案する。
  論文  参考訳（メタデータ） (2024-12-11T11:38:11Z)
• Enhancing Travel Choice Modeling with Large Language Models: A Prompt-Learning Approach [6.913791588789051]
  本稿では,予測精度を大幅に向上させ,個々の予測に対して明確な説明を提供する,プロンプト学習に基づく大規模言語モデル(LLM)フレームワークを提案する。 スイスで収集されたLondon Passenger Mode Choice(LPMC)とOptima-Mode(Optima-Mode)の2つの選択肢データセットを用いて,フレームワークの有効性を検証した。 その結果,LLMは人々の選択を予測する上で,最先端のディープラーニング手法や個別選択モデルよりも優れていたことが示唆された。
  論文  参考訳（メタデータ） (2024-06-19T13:46:08Z)
• Integrating Explanations in Learning LTL Specifications from Demonstrations [6.070833893646998]
  本稿では,LTL(Learar Temporal Logic)の学習を支援する形式として,Large Language Models (LLMs) の最近の進歩が人間の説明の翻訳に有効かどうかを検討する。 本稿では, LLMと最適化に基づく手法を組み合わせて, 人間の説明や実演を忠実に仕様に翻訳する手法を提案する。
  論文  参考訳（メタデータ） (2024-04-03T17:09:00Z)
• Explanation-aware Soft Ensemble Empowers Large Language Model In-context Learning [50.00090601424348]
  大規模言語モデル(LLM)は、様々な自然言語理解タスクにおいて顕著な能力を示している。 我々は,LLMを用いたテキスト内学習を支援するための説明型ソフトアンサンブルフレームワークであるEASEを提案する。
  論文  参考訳（メタデータ） (2023-11-13T06:13:38Z)
• Large Language Models can Contrastively Refine their Generation for Better Sentence Representation Learning [57.74233319453229]
  大規模言語モデル(LLM)は画期的な技術として登場し、それらの非並列テキスト生成能力は、基本的な文表現学習タスクへの関心を喚起している。 コーパスを生成するためにLLMの処理を分解するマルチレベルコントラスト文表現学習フレームワークであるMultiCSRを提案する。 実験の結果,MultiCSRはより高度なLCMをChatGPTの性能を超えつつ,ChatGPTに適用することで最先端の成果を得られることがわかった。
  論文  参考訳（メタデータ） (2023-10-17T03:21:43Z)
• In-Context Explainers: Harnessing LLMs for Explaining Black Box Models [28.396104334980492]
  大規模言語モデル(LLM)は、機械翻訳、常識推論、言語理解といった複雑なタスクにおいて、例外的な機能を示している。 このような多様なタスクにおけるLLMの適応性の主要な理由の1つは、インコンテキスト学習(ICL)能力である。 本稿では,LLMのICL機能を利用して,他の予測モデルによる予測を説明する新しい3つの手法,In-Context Explainersを提案する。
  論文  参考訳（メタデータ） (2023-10-09T15:31:03Z)
• Towards LLM-based Fact Verification on News Claims with a Hierarchical Step-by-Step Prompting Method [9.099277246096861]
  本稿では,大規模事前学習型言語モデル (LLM) とコンテキスト内学習 (ICL) を併用して,ニュースクレームの検証を行う。 階層的なステップ・バイ・ステップ(HiSS)のプロンプト手法を導入し,LLMに対して複数のサブ文を分割し,複数の問合せを段階的に検証する手法を提案する。 2つの公開誤報データセットの実験結果から、HiSSのプロンプトは最先端の完全教師付きアプローチと強力な数発のICL対応ベースラインを上回っていることが示された。
  論文  参考訳（メタデータ） (2023-09-30T08:33:04Z)
• Evaluating and Explaining Large Language Models for Code Using Syntactic Structures [74.93762031957883]
  本稿では,コード用大規模言語モデルに特有の説明可能性手法であるASTxplainerを紹介する。 その中核にあるASTxplainerは、トークン予測をASTノードに整合させる自動メソッドを提供する。 私たちは、最も人気のあるGitHubプロジェクトのキュレートデータセットを使用して、コード用の12の人気のあるLLMに対して、実証的な評価を行います。
  論文  参考訳（メタデータ） (2023-08-07T18:50:57Z)
• ICL-D3IE: In-Context Learning with Diverse Demonstrations Updating for Document Information Extraction [56.790794611002106]
  大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクにおいて、文脈内学習による顕著な結果を示している。 ICL-D3IEと呼ばれるシンプルだが効果的なテキスト内学習フレームワークを提案する。 具体的には、ハードトレーニング文書から最も困難で独特なセグメントをハードデモとして抽出する。
  論文  参考訳（メタデータ） (2023-03-09T06:24:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。