論文の概要: Guiding LLMs to Generate High-Fidelity and High-Quality Counterfactual Explanations for Text Classification

• arxiv url: http://arxiv.org/abs/2503.04463v1
• Date: Thu, 06 Mar 2025 14:15:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-07 16:00:11.326694
• Title: Guiding LLMs to Generate High-Fidelity and High-Quality Counterfactual Explanations for Text Classification
• Title（参考訳）: テキスト分類のためのLCMによる高忠実度および高品質な数値記述の誘導
• Authors: Van Bach Nguyen, Christin Seifert, Jörg Schlötterer,
• Abstract要約: 大規模言語モデルによる対実生成を支援するための単純な分類器誘導方式を2つ導入する。 その単純さにもかかわらず、我々の手法は最先端の対物生成方法より優れている。
• 参考スコア（独自算出の注目度）: 2.899704155417792
• License:
• Abstract: The need for interpretability in deep learning has driven interest in counterfactual explanations, which identify minimal changes to an instance that change a model's prediction. Current counterfactual (CF) generation methods require task-specific fine-tuning and produce low-quality text. Large Language Models (LLMs), though effective for high-quality text generation, struggle with label-flipping counterfactuals (i.e., counterfactuals that change the prediction) without fine-tuning. We introduce two simple classifier-guided approaches to support counterfactual generation by LLMs, eliminating the need for fine-tuning while preserving the strengths of LLMs. Despite their simplicity, our methods outperform state-of-the-art counterfactual generation methods and are effective across different LLMs, highlighting the benefits of guiding counterfactual generation by LLMs with classifier information. We further show that data augmentation by our generated CFs can improve a classifier's robustness. Our analysis reveals a critical issue in counterfactual generation by LLMs: LLMs rely on parametric knowledge rather than faithfully following the classifier.
• Abstract（参考訳）: ディープラーニングにおける解釈可能性の必要性は、モデルの予測を変えるインスタンスへの最小限の変更を識別する、反ファクト的説明への関心を惹き付けている。 現在のカウンティファクト(CF)生成法はタスク固有の微調整を必要とし、低品質のテキストを生成する。 LLM(Large Language Models)は、高品質なテキスト生成に有効であるが、微調整なしでラベルを浮き彫りにする対物(すなわち、予測を変える対物)と苦労する。 LLMの強度を保ちながら微調整の必要をなくし、LLMによる対実生成を支援するための単純な分類器誘導方式を2つ導入する。 それらの単純さにもかかわらず、我々の手法は最先端の対物生成方法より優れており、異なるLLMに対して有効であり、分類器情報を用いたLLMによる対物生成の導出の利点を浮き彫りにしている。 さらに、生成されたCFによるデータ拡張により、分類器の堅牢性が向上することを示す。 LLMは分類器を忠実に追従するのではなく、パラメトリック知識に依存している。

関連論文リスト

• "I know myself better, but not really greatly": Using LLMs to Detect and Explain LLM-Generated Texts [10.454446545249096]
  大規模言語モデル(LLM)は、人間のようなテキストを生成する際、印象的な能力を示した。 本稿では,LLMによる人為的テキストの検出と説明機能について検討する。
  論文  参考訳（メタデータ） (2025-02-18T11:00:28Z)
• Through the Thicket: A Study of Number-Oriented LLMs derived from Random Forest Models [0.0]
  大規模言語モデル (LLM) はテキスト処理において例外的な性能を示した。 本稿では,ランダムフォレスト(RF)アンサンブルからの知識伝達を用いたLLMの学習手法を提案する。 我々は、細調整のためのアウトプットを生成し、その決定を分類し、説明するモデルの能力を高めます。
  論文  参考訳（メタデータ） (2024-06-07T13:31:51Z)
• One Token Can Help! Learning Scalable and Pluggable Virtual Tokens for Retrieval-Augmented Large Language Models [67.49462724595445]
  Retrieval-augmented Generation (RAG)は、大規模言語モデル(LLM)を改善するための有望な方法である。 本稿では,RAGのためのスケーラブルでプラガブルな仮想トークンを学習する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-05-30T03:44:54Z)
• ReMoDetect: Reward Models Recognize Aligned LLM's Generations [55.06804460642062]
  大型言語モデル (LLM) は人間の好むテキストを生成する。 本稿では,これらのモデルで共有される共通特性について述べる。 報奨モデルの検出能力をさらに向上する2つのトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2024-05-27T17:38:33Z)
• Unsupervised Information Refinement Training of Large Language Models for Retrieval-Augmented Generation [128.01050030936028]
  InFO-RAG という情報改質訓練手法を提案する。 InFO-RAGは低コストで、様々なタスクにまたがっている。 LLaMA2の性能を平均9.39%向上させる。
  論文  参考訳（メタデータ） (2024-02-28T08:24:38Z)
• Pushing The Limit of LLM Capacity for Text Classification [27.684335455517417]
  本稿では,特殊なテキスト分類 LLM を生成するための適応型ブースティングフレームワーク RGPT を提案する。 RGPTは,4つのベンチマークで平均1.36%,8個のSOTA PLMと7個のSOTA LLMより有意に優れていた。
  論文  参考訳（メタデータ） (2024-02-12T08:14:03Z)
• Supervised Knowledge Makes Large Language Models Better In-context Learners [94.89301696512776]
  大規模言語モデル(LLM)は、素早い工学を通して、文脈内学習能力の出現を示す。 自然言語理解と質問応答におけるLLMの一般化性と事実性の向上という課題は、まだ未解決のままである。 本研究では, LLM の信頼性を高める枠組みを提案する。1) 分布外データの一般化,2) 差別モデルによる LLM のメリットの解明,3) 生成タスクにおける幻覚の最小化。
  論文  参考訳（メタデータ） (2023-12-26T07:24:46Z)
• Prompt Optimization via Adversarial In-Context Learning [51.18075178593142]
  adv-ICLは、ジェネレータとディスクリミネータの間の2プレイヤーゲームとして実装される。 ジェネレータは、判別器を騙すのに十分な出力を生成する。 本稿では,Adv-ICLが最先端のプロンプト最適化技術を大幅に改善することを示す。
  論文  参考訳（メタデータ） (2023-12-05T09:44:45Z)
• DoLa: Decoding by Contrasting Layers Improves Factuality in Large Language Models [79.01926242857613]
  大型言語モデル(LLM)は幻覚を起こす傾向があり、事前訓練中に見られる事実から逸脱した内容を生成する。 事前学習したLLMによる幻覚を低減するための簡単な復号法を提案する。 コントラスティング・レイヤ(DoLa)アプローチによるこのデコーディングは,事実知識をよりよく提示し,誤った事実の生成を減らすことができる。
  論文  参考訳（メタデータ） (2023-09-07T17:45:31Z)
• Prompting Large Language Models for Counterfactual Generation: An Empirical Study [13.506528217009507]
  大規模言語モデル(LLM)は、幅広い自然言語理解と生成タスクにおいて顕著な進歩を遂げている。 本稿では,様々な種類のNLUタスクに対する総合的な評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-24T06:44:32Z)
• Generation-driven Contrastive Self-training for Zero-shot Text Classification with Instruction-following LLM [31.25193238045053]
  我々は、より小さな言語モデルの訓練を支援するために、大規模言語モデルの強力な生成力を利用する新しい手法、GenCoを導入する。 本手法では,LLMは2つの重要な方法で,より小さなモデルの自己学習ループにおいて重要な役割を果たす。 予測ラベルに条件付き入力テキストを書き換えることで、高品質なトレーニングペアの開発を支援する。
  論文  参考訳（メタデータ） (2023-04-24T07:35:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。