論文の概要: Can LLM-Generated Textual Explanations Enhance Model Classification Performance? An Empirical Study
- arxiv url: http://arxiv.org/abs/2508.09776v1
- Date: Wed, 13 Aug 2025 12:59:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-14 20:42:00.891113
- Title: Can LLM-Generated Textual Explanations Enhance Model Classification Performance? An Empirical Study
- Title(参考訳): LLMによるテキスト記述によるモデル分類性能向上の可能性 : 実証的研究
- Authors: Mahdi Dhaini, Juraj Vladika, Ege Erdogan, Zineb Attaoui, Gjergji Kasneci,
- Abstract要約: 高品質なテキスト記述を自動生成するフレームワークを提案する。
自然言語生成(NLG)メトリクスの包括的スイートを用いて,これらの説明の質を厳格に評価する。
本実験により,自動説明は人手による説明に比べて高い競争力を示すことが示された。
- 参考スコア(独自算出の注目度): 11.117380681219295
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In the rapidly evolving field of Explainable Natural Language Processing (NLP), textual explanations, i.e., human-like rationales, are pivotal for explaining model predictions and enriching datasets with interpretable labels. Traditional approaches rely on human annotation, which is costly, labor-intensive, and impedes scalability. In this work, we present an automated framework that leverages multiple state-of-the-art large language models (LLMs) to generate high-quality textual explanations. We rigorously assess the quality of these LLM-generated explanations using a comprehensive suite of Natural Language Generation (NLG) metrics. Furthermore, we investigate the downstream impact of these explanations on the performance of pre-trained language models (PLMs) and LLMs across natural language inference tasks on two diverse benchmark datasets. Our experiments demonstrate that automated explanations exhibit highly competitive effectiveness compared to human-annotated explanations in improving model performance. Our findings underscore a promising avenue for scalable, automated LLM-based textual explanation generation for extending NLP datasets and enhancing model performance.
- Abstract(参考訳): 説明可能な自然言語処理(NLP)の急速に発展する分野では、人間のような理性(英語版)というテキストによる説明が、モデル予測の説明や解釈可能なラベルによるデータセットの強化に欠かせない。
従来のアプローチは人的アノテーションに依存しており、コストがかかり、労力がかかり、スケーラビリティを損なう。
本研究では,複数の最先端の大規模言語モデル(LLM)を活用し,高品質なテキスト記述を生成する自動フレームワークを提案する。
自然言語生成(NLG)メトリクスの包括的スイートを用いて,これらのLCM生成説明の質を厳格に評価する。
さらに、これらの説明が2つの多様なベンチマークデータセット上での自然言語推論タスクにおける事前学習言語モデル(PLM)とLLMの性能に与える影響について検討した。
提案実験により, 自動説明は, モデル性能向上における人手による説明に比べ, 高い競争力を示すことが示された。
本研究は,NLPデータセットの拡張とモデル性能の向上を目的とした,スケーラブルで自動化されたLCMベースのテキスト説明生成のための,有望な道筋を示すものである。
関連論文リスト
- Learning to Explain: Prototype-Based Surrogate Models for LLM Classification [1.7373859011890633]
大規模言語モデル (LLM) は、自然言語処理における顕著な性能を示しているが、その決定過程はほとんど不透明である。
プロトタイプベースのサロゲートフレームワークである textbfProtoSurE を提案する。
論文 参考訳(メタデータ) (2025-05-25T04:25:28Z) - PromptExp: Multi-granularity Prompt Explanation of Large Language Models [16.259208045898415]
PromptExpは,トークンレベルの洞察を集約することで,複数の粒度を自動生成するフレームワークである。
PromptExpは、ホワイトボックスとブラックボックスの説明の両方をサポートし、説明をより高い粒度レベルまで拡張する。
PromptExpを感情分析などのケーススタディで評価し,摂動に基づくアプローチが優れていることを示す。
論文 参考訳(メタデータ) (2024-10-16T22:25:15Z) - Boosting the Capabilities of Compact Models in Low-Data Contexts with Large Language Models and Retrieval-Augmented Generation [2.9921619703037274]
本稿では,形態素解析の言語タスクにおいて,より小さなモデルの出力を補正するために,大言語モデル(LLM)を基盤とした検索拡張生成(RAG)フレームワークを提案する。
データ不足や訓練可能なパラメータの不足を補うために,言語情報を活用するとともに,LLMを通して解釈・蒸留された記述文法からの入力を許容する。
コンパクトなRAG支援モデルがデータスカース設定に極めて有効であることを示し、このタスクとターゲット言語に対する新しい最先端技術を実現する。
論文 参考訳(メタデータ) (2024-10-01T04:20:14Z) - FaithLM: Towards Faithful Explanations for Large Language Models [67.29893340289779]
大きな言語モデル(LLM)は、内部知識と推論能力を活用することで複雑なタスクに対処するのに熟練している。
これらのモデルのブラックボックスの性質は、意思決定プロセスを説明するタスクを複雑にしている。
自然言語 (NL) による LLM の決定を説明するために FaithLM を紹介した。
論文 参考訳(メタデータ) (2024-02-07T09:09:14Z) - Can Large Language Models Understand Context? [17.196362853457412]
本稿では,生成モデルの評価に適合する既存のデータセットを適応させることにより,文脈理解ベンチマークを提案する。
実験結果から, 事前学習された高密度モデルでは, 最先端の微調整モデルと比較して, よりニュアンスな文脈特徴の理解に苦慮していることが明らかとなった。
LLM圧縮は研究と実世界のアプリケーションの両方において重要度が高くなっているため、文脈学習環境下での量子化モデルの文脈理解を評価する。
論文 参考訳(メタデータ) (2024-02-01T18:55:29Z) - Explanation-aware Soft Ensemble Empowers Large Language Model In-context
Learning [50.00090601424348]
大規模言語モデル(LLM)は、様々な自然言語理解タスクにおいて顕著な能力を示している。
我々は,LLMを用いたテキスト内学習を支援するための説明型ソフトアンサンブルフレームワークであるEASEを提案する。
論文 参考訳(メタデータ) (2023-11-13T06:13:38Z) - Explainability for Large Language Models: A Survey [59.67574757137078]
大規模言語モデル(LLM)は、自然言語処理における印象的な能力を示している。
本稿では,トランスフォーマーに基づく言語モデルを記述する手法について,説明可能性の分類法を紹介した。
論文 参考訳(メタデータ) (2023-09-02T22:14:26Z) - Evaluating and Explaining Large Language Models for Code Using Syntactic
Structures [74.93762031957883]
本稿では,コード用大規模言語モデルに特有の説明可能性手法であるASTxplainerを紹介する。
その中核にあるASTxplainerは、トークン予測をASTノードに整合させる自動メソッドを提供する。
私たちは、最も人気のあるGitHubプロジェクトのキュレートデータセットを使用して、コード用の12の人気のあるLLMに対して、実証的な評価を行います。
論文 参考訳(メタデータ) (2023-08-07T18:50:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。