論文の概要: XPrompt:Explaining Large Language Model's Generation via Joint Prompt Attribution

• arxiv url: http://arxiv.org/abs/2405.20404v1
• Date: Thu, 30 May 2024 18:16:41 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-03 18:34:31.579251
• Title: XPrompt:Explaining Large Language Model's Generation via Joint Prompt Attribution
• Title（参考訳）: XPrompt: 共同プロンプト属性による大規模言語モデル生成の解説
• Authors: Yurui Chang, Bochuan Cao, Yujia Wang, Jinghui Chen, Lu Lin,
• Abstract要約: LLM(Large Language Models)は複雑なテキスト生成タスクにおいて顕著なパフォーマンスを示す。 生成したコンテンツに対する入力プロンプトの寄与は、まだ人間には明らかでない。 本稿では,共同プロンプト帰属型XPromptに基づく実例説明フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 26.639271355209104
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) have demonstrated impressive performances in complex text generation tasks. However, the contribution of the input prompt to the generated content still remains obscure to humans, underscoring the necessity of elucidating and explaining the causality between input and output pairs. Existing works for providing prompt-specific explanation often confine model output to be classification or next-word prediction. Few initial attempts aiming to explain the entire language generation often treat input prompt texts independently, ignoring their combinatorial effects on the follow-up generation. In this study, we introduce a counterfactual explanation framework based on joint prompt attribution, XPrompt, which aims to explain how a few prompt texts collaboratively influences the LLM's complete generation. Particularly, we formulate the task of prompt attribution for generation interpretation as a combinatorial optimization problem, and introduce a probabilistic algorithm to search for the casual input combination in the discrete space. We define and utilize multiple metrics to evaluate the produced explanations, demonstrating both faithfulness and efficiency of our framework.
• Abstract（参考訳）: LLM(Large Language Models)は複雑なテキスト生成タスクにおいて顕著なパフォーマンスを示す。 しかしながら、生成した内容に対する入力プロンプトの寄与は、入力と出力のペア間の因果関係の解明と説明の必要性を強調し、まだ人間には明らかでない。 プロンプト固有の説明を提供するための既存の作業は、しばしばモデルの出力を分類または次の単語の予測として限定する。 言語生成全体を説明しようとする最初の試みは、インプットプロンプトテキストを独立して扱うことが少なく、後続生成に対する組合せ効果を無視している。 そこで本研究では,LLMの完全生成に対して,いくつかのプロンプトテキストが協調的にどのように影響を与えるかを説明することを目的とした,共同プロンプトXPromptに基づく対実的説明フレームワークを提案する。 特に、組合せ最適化問題として、生成の帰属を帰属させるタスクを定式化し、離散空間におけるカジュアルな入力の組み合わせを探索する確率的アルゴリズムを導入する。 複数のメトリクスを定義して、生成した説明を評価し、フレームワークの忠実さと効率性を実証する。

関連論文リスト

• Likelihood as a Performance Gauge for Retrieval-Augmented Generation [78.28197013467157]
  言語モデルの性能の効果的な指標としての可能性を示す。 提案手法は,より優れた性能をもたらすプロンプトの選択と構築のための尺度として,疑似可能性を利用する2つの手法を提案する。
  論文  参考訳（メタデータ） (2024-11-12T13:14:09Z)
• Graph-DPEP: Decomposed Plug and Ensemble Play for Few-Shot Document Relation Extraction with Graph-of-Thoughts Reasoning [34.85741925091139]
  Graph-DPEPフレームワークは、自然言語で提示された三重項の説明思想の背景にある。 我々は,サブグラフに埋め込まれた推論的思考を活用することで,型リスト全体の「アンサンブルプレイ」生成を開発する。
  論文  参考訳（メタデータ） (2024-11-05T07:12:36Z)
• PromptExp: Multi-granularity Prompt Explanation of Large Language Models [16.259208045898415]
  PromptExpは,トークンレベルの洞察を集約することで,複数の粒度を自動生成するフレームワークである。 PromptExpは、ホワイトボックスとブラックボックスの説明の両方をサポートし、説明をより高い粒度レベルまで拡張する。 PromptExpを感情分析などのケーススタディで評価し,摂動に基づくアプローチが優れていることを示す。
  論文  参考訳（メタデータ） (2024-10-16T22:25:15Z)
• Towards LLM-guided Causal Explainability for Black-box Text Classifiers [16.36602400590088]
  我々は,近年の大規模言語モデルにおける命令追従とテキスト理解機能を活用して,因果的説明可能性を高めることを目指している。 提案する3ステップパイプラインは,既製のLCMを用いて,入力テキスト中の潜時的・未観測な特徴を識別する。 我々は,複数のNLPテキスト分類データセットを用いたパイプライン実験を行い,興味深い,有望な結果を示した。
  論文  参考訳（メタデータ） (2023-09-23T11:22:28Z)
• On the Role of Attention in Prompt-tuning [90.97555030446563]
  本研究では,一層アテンションアーキテクチャのプロンプトチューニングについて検討し,文脈混合モデルについて検討する。 ソフトマックス・プロンプト・アテンションは, ソフトマックス・自己アテンションやリニア・プロンプト・アテンションよりも明らかに表現力が高いことを示す。 また、実際のデータセットに関する理論的洞察を検証し、モデルが文脈関連情報にどのように対応できるかを示す実験も提供する。
  論文  参考訳（メタデータ） (2023-06-06T06:23:38Z)
• Parallel Sentence-Level Explanation Generation for Real-World Low-Resource Scenarios [18.5713713816771]
  本論文は,弱教師付き学習から教師なし学習へ,問題を円滑に探求する最初の試みである。 並列説明生成と同時予測を容易にする非自己回帰解釈モデルを提案する。
  論文  参考訳（メタデータ） (2023-02-21T14:52:21Z)
• Explanation Selection Using Unlabeled Data for Chain-of-Thought Prompting [80.9896041501715]
  非専門家によって書かれたオフ・ザ・シェルフの説明のように、タスクのために"チューニング"されていない説明は、中途半端なパフォーマンスをもたらす可能性がある。 本稿では,ブラックボックス方式で説明拡散プロンプトを最適化する方法の課題に対処する。
  論文  参考訳（メタデータ） (2023-02-09T18:02:34Z)
• Explaining Patterns in Data with Language Models via Interpretable Autoprompting [143.4162028260874]
  本稿では,データを説明する自然言語文字列を生成するアルゴリズムである,解釈可能なオートプロンプト(iPrompt)を提案する。 iPromptは、基盤となるデータセット記述を正確に見つけることで、意味のある洞察を得ることができる。 fMRIデータセットを用いた実験は、iPromptが科学的発見に役立つ可能性を示している。
  論文  参考訳（メタデータ） (2022-10-04T18:32:14Z)
• Local Explanation of Dialogue Response Generation [77.68077106724522]
  反応生成の局所的説明(LERG)は、生成モデルの推論過程に関する洞察を得るために提案される。 LERGは、シーケンス予測を人間の応答の不確実性推定とみなし、入力を摂動させ、人間の応答に対する確実性の変化を計算することによって説明を作成する。 提案手法は, 提案手法を改良し, 提案手法の4.4～12.8%を改良した。
  論文  参考訳（メタデータ） (2021-06-11T17:58:36Z)
• Lexically-constrained Text Generation through Commonsense Knowledge Extraction and Injection [62.071938098215085]
  我々は、ある入力概念のセットに対して妥当な文を生成することを目的としているcommongenベンチマークに焦点を当てる。 生成したテキストの意味的正しさを高めるための戦略を提案する。
  論文  参考訳（メタデータ） (2020-12-19T23:23:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。