論文の概要: Towards Budget-Friendly Model-Agnostic Explanation Generation for Large Language Models

• arxiv url: http://arxiv.org/abs/2505.12509v1
• Date: Sun, 18 May 2025 18:05:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-20 14:57:11.275904
• Title: Towards Budget-Friendly Model-Agnostic Explanation Generation for Large Language Models
• Title（参考訳）: 大規模言語モデルのための予算フレンドリーなモデルに依存しない説明生成に向けて
• Authors: Junhao Liu, Haonan Yu, Xin Zhang,
• Abstract要約: いくつかの予算に優しいモデルから抽出することで,大規模言語モデルに対する忠実な説明を生成することは現実的であることを示す。 我々の分析は、予算に優しいモデルからの情報を含めることで、LCMのモデルに依存しない説明手法の新しいパラダイムを提供する。
• 参考スコア（独自算出の注目度）: 14.110188927768736
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With Large language models (LLMs) becoming increasingly prevalent in various applications, the need for interpreting their predictions has become a critical challenge. As LLMs vary in architecture and some are closed-sourced, model-agnostic techniques show great promise without requiring access to the model's internal parameters. However, existing model-agnostic techniques need to invoke LLMs many times to gain sufficient samples for generating faithful explanations, which leads to high economic costs. In this paper, we show that it is practical to generate faithful explanations for large-scale LLMs by sampling from some budget-friendly models through a series of empirical studies. Moreover, we show that such proxy explanations also perform well on downstream tasks. Our analysis provides a new paradigm of model-agnostic explanation methods for LLMs, by including information from budget-friendly models.
• Abstract（参考訳）: 大規模言語モデル(LLM)が様々なアプリケーションでますます普及している中、それらの予測を解釈する必要性は重要な課題となっている。 LLMはアーキテクチャが異なり、いくつかはクローズドソースであるので、モデルに依存しない手法はモデルの内部パラメータへのアクセスを必要とせずに非常に有望である。 しかし、既存のモデルに依存しない手法は、忠実な説明を生み出すのに十分なサンプルを得るために、LCMを何度も呼び出す必要があるため、経済的コストが高い。 本稿では,いくつかの予算に優しいモデルから,一連の実証研究を通じて,大規模LLMの忠実な説明を生成することが現実的であることを示す。 さらに、このようなプロキシの説明は下流のタスクでもうまく機能することを示す。 我々の分析は、予算に優しいモデルからの情報を含めることで、LCMのモデルに依存しない説明手法の新しいパラダイムを提供する。

関連論文リスト

• Can LLMs Explain Themselves Counterfactually? [16.569180690291773]
  説明はMLモデルの振る舞いに関する洞察を得るための重要なツールである。 我々は、特定のタイプの自己説明、自己生成反事実説明(SCE)について研究する。
  論文  参考訳（メタデータ） (2025-02-25T12:40:41Z)
• Reference Trustable Decoding: A Training-Free Augmentation Paradigm for Large Language Models [79.41139393080736]
  大規模言語モデル(LLM)は急速に進歩し、印象的な機能を示している。 In-Context Learning (ICL) など。 効率的なファインチューニング(PEFT)は、現在2つの主要な拡張方法である。 下流タスクへのLLM。 我々は、モデルが微調整なしで新しいタスクに迅速に適応できるパラダイムである参照信頼復号(RTD)を提案する。
  論文  参考訳（メタデータ） (2024-09-30T10:48:20Z)
• Retrieval-based Knowledge Transfer: An Effective Approach for Extreme Large Language Model Compression [64.07696663255155]
  大規模事前学習型言語モデル(LLM)は、様々な自然言語処理(NLP)タスクにおいて例外的な性能を示した。 しかし、これらのモデルの巨大なサイズは、現実世界のアプリケーションに展開する上で大きな課題をもたらします。 本稿では,LLMの知識を極めて小規模なモデルに効果的に伝達するRetrieval-based Knowledge Transfer (RetriKT)と呼ばれる新しい圧縮パラダイムを提案する。
  論文  参考訳（メタデータ） (2023-10-24T07:58:20Z)
• In-Context Explainers: Harnessing LLMs for Explaining Black Box Models [28.396104334980492]
  大規模言語モデル(LLM)は、機械翻訳、常識推論、言語理解といった複雑なタスクにおいて、例外的な機能を示している。 このような多様なタスクにおけるLLMの適応性の主要な理由の1つは、インコンテキスト学習(ICL)能力である。 本稿では,LLMのICL機能を利用して,他の予測モデルによる予測を説明する新しい3つの手法,In-Context Explainersを提案する。
  論文  参考訳（メタデータ） (2023-10-09T15:31:03Z)
• Faithful Explanations of Black-box NLP Models Using LLM-generated Counterfactuals [67.64770842323966]
  NLPシステムの予測に関する因果的説明は、安全性を確保し、信頼を確立するために不可欠である。 既存の手法は、しばしばモデル予測を効果的または効率的に説明できない。 本稿では, 対物近似(CF)の2つの手法を提案する。
  論文  参考訳（メタデータ） (2023-10-01T07:31:04Z)
• Evaluating and Explaining Large Language Models for Code Using Syntactic Structures [74.93762031957883]
  本稿では,コード用大規模言語モデルに特有の説明可能性手法であるASTxplainerを紹介する。 その中核にあるASTxplainerは、トークン予測をASTノードに整合させる自動メソッドを提供する。 私たちは、最も人気のあるGitHubプロジェクトのキュレートデータセットを使用して、コード用の12の人気のあるLLMに対して、実証的な評価を行います。
  論文  参考訳（メタデータ） (2023-08-07T18:50:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。