論文の概要: Zero-shot LLM-guided Counterfactual Generation: A Case Study on NLP Model Evaluation

• arxiv url: http://arxiv.org/abs/2405.04793v2
• Date: Tue, 19 Nov 2024 10:59:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-20 13:34:51.282262
• Title: Zero-shot LLM-guided Counterfactual Generation: A Case Study on NLP Model Evaluation
• Title（参考訳）: ゼロショットLPM誘導対物生成:NLPモデル評価のケーススタディ
• Authors: Amrita Bhattacharjee, Raha Moraffah, Joshua Garland, Huan Liu,
• Abstract要約: ゼロショット対実生成に大規模言語モデルを活用する可能性について検討する。 我々は,この生成を容易にするための構造化パイプラインを提案し,近年のLLMにおける命令追従とテキスト理解の能力を効果的に活用できるという仮説を立てた。
• 参考スコア（独自算出の注目度）: 15.254775341371364
• License:
• Abstract: With the development and proliferation of large, complex, black-box models for solving many natural language processing (NLP) tasks, there is also an increasing necessity of methods to stress-test these models and provide some degree of interpretability or explainability. While counterfactual examples are useful in this regard, automated generation of counterfactuals is a data and resource intensive process. such methods depend on models such as pre-trained language models that are then fine-tuned on auxiliary, often task-specific datasets, that may be infeasible to build in practice, especially for new tasks and data domains. Therefore, in this work we explore the possibility of leveraging large language models (LLMs) for zero-shot counterfactual generation in order to stress-test NLP models. We propose a structured pipeline to facilitate this generation, and we hypothesize that the instruction-following and textual understanding capabilities of recent LLMs can be effectively leveraged for generating high quality counterfactuals in a zero-shot manner, without requiring any training or fine-tuning. Through comprehensive experiments on a variety of propreitary and open-source LLMs, along with various downstream tasks in NLP, we explore the efficacy of LLMs as zero-shot counterfactual generators in evaluating and explaining black-box NLP models.
• Abstract（参考訳）: 多くの自然言語処理(NLP)タスクを解くための大規模で複雑なブラックボックスモデルの開発と普及に伴い、これらのモデルをストレステストし、ある程度の解釈可能性や説明可能性を提供する方法の必要性が高まっている。 反ファクトの例はこの点において有用であるが、反ファクトの自動生成はデータとリソース集約的なプロセスである。 このような手法は、訓練済みの言語モデルのようなモデルに依存しており、補助的な、しばしばタスク固有のデータセットに基づいて微調整されるが、特に新しいタスクやデータドメインのために、実際に構築することは不可能である。 そこで本研究では,NLPモデルをストレステストするために,大規模言語モデル(LLM)をゼロショット対実生成に活用する可能性について検討する。 我々は,この生成を容易にするための構造化パイプラインを提案し,最近のLCMの命令追従およびテキスト理解能力は,訓練や微調整を必要とせずに,ゼロショットで高品質な偽物を生成するために有効に活用できると仮定した。 NLPにおける様々な下流タスクとともに、様々なプロプライタリーおよびオープンソースLCMに関する総合的な実験を通じて、ブラックボックスNLPモデルの評価と説明においてゼロショットの反ファクト生成器としてのLCMの有効性について検討する。

関連論文リスト

• Forewarned is Forearmed: Leveraging LLMs for Data Synthesis through Failure-Inducing Exploration [90.41908331897639]
  大規模言語モデル(LLM)は、多種多様な高品質なタスク特化データのトレーニングの恩恵を受けている。 本稿では,効果的なトレーニングサンプルを自動生成する新しい手法であるReverseGenを提案する。
  論文  参考訳（メタデータ） (2024-10-22T06:43:28Z)
• SELF-GUIDE: Better Task-Specific Instruction Following via Self-Synthetic Finetuning [70.21358720599821]
  大規模言語モデル(LLM)は、適切な自然言語プロンプトを提供する際に、多様なタスクを解決するという約束を持っている。 学生LLMからタスク固有の入出力ペアを合成する多段階メカニズムであるSELF-GUIDEを提案する。 ベンチマークの指標から,分類タスクに約15%,生成タスクに18%の絶対的な改善を報告した。
  論文  参考訳（メタデータ） (2024-07-16T04:41:58Z)
• Exploring Precision and Recall to assess the quality and diversity of LLMs [82.21278402856079]
  我々はtextscLlama-2 や textscMistral のような大規模言語モデル (LLM) のための新しい評価フレームワークを提案する。 このアプローチにより、コーパスの整合を必要とせず、生成したテキストの品質と多様性を微妙に評価できる。
  論文  参考訳（メタデータ） (2024-02-16T13:53:26Z)
• CoAnnotating: Uncertainty-Guided Work Allocation between Human and Large Language Models for Data Annotation [94.59630161324013]
  本稿では,非構造化テキストの大規模共同アノテーションのための新しいパラダイムであるCoAnnotatingを提案する。 我々の実証研究は、CoAnnotatingが、異なるデータセット上の結果から作業を割り当てる効果的な手段であることを示し、ランダムベースラインよりも最大21%のパフォーマンス改善を実現している。
  論文  参考訳（メタデータ） (2023-10-24T08:56:49Z)
• L2CEval: Evaluating Language-to-Code Generation Capabilities of Large Language Models [102.00201523306986]
  大規模言語モデル(LLM)の言語間コード生成能力を体系的に評価するL2CEvalを提案する。 モデルのサイズ、事前学習データ、命令チューニング、異なるプロンプトメソッドなど、それらのパフォーマンスに影響を与える可能性のある要因を分析する。 モデル性能の評価に加えて、モデルに対する信頼性校正を計測し、出力プログラムの人間による評価を行う。
  論文  参考訳（メタデータ） (2023-09-29T17:57:00Z)
• Benchmarking Large Language Model Capabilities for Conditional Generation [15.437176676169997]
  既存のアプリケーション固有の生成ベンチマークをPLMに適応させる方法について論じる。 PLMは異なるデータ体系に適用可能であり、複数の言語に一般化可能であることを示す。
  論文  参考訳（メタデータ） (2023-06-29T08:59:40Z)
• Language models are weak learners [71.33837923104808]
  本研究では,プロンプトベースの大規模言語モデルは弱い学習者として効果的に動作可能であることを示す。 これらのモデルをブースティングアプローチに組み込むことで、モデル内の知識を活用して、従来のツリーベースのブースティングよりも優れています。 結果は、プロンプトベースのLLMが、少数の学習者だけでなく、より大きな機械学習パイプラインのコンポーネントとして機能する可能性を示している。
  論文  参考訳（メタデータ） (2023-06-25T02:39:19Z)
• Generation-driven Contrastive Self-training for Zero-shot Text Classification with Instruction-following LLM [31.25193238045053]
  我々は、より小さな言語モデルの訓練を支援するために、大規模言語モデルの強力な生成力を利用する新しい手法、GenCoを導入する。 本手法では,LLMは2つの重要な方法で,より小さなモデルの自己学習ループにおいて重要な役割を果たす。 予測ラベルに条件付き入力テキストを書き換えることで、高品質なトレーニングペアの開発を支援する。
  論文  参考訳（メタデータ） (2023-04-24T07:35:38Z)
• MEGA: Multilingual Evaluation of Generative AI [23.109803506475174]
  生成AIモデルは、多くの自然言語処理タスクで素晴らしいパフォーマンスを示している。 LLMのほとんどの研究は英語に限られている。 これらのモデルが、他の言語でのテキストの理解と生成にどの程度の能力があるかは定かではない。
  論文  参考訳（メタデータ） (2023-03-22T13:03:10Z)
• AStitchInLanguageModels: Dataset and Methods for the Exploration of Idiomaticity in Pre-Trained Language Models [7.386862225828819]
  本研究は、MWEを含む自然発生文のデータセットを、細かな意味の集合に手作業で分類する。 我々は,このデータセットを,idiomを含む文の表現生成における言語モデルの有効性と,idiomを用いた言語モデルの有効性を検証するために,2つのタスクで使用する。
  論文  参考訳（メタデータ） (2021-09-09T16:53:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。