論文の概要: EVADE: LLM-Based Explanation Generation and Validation for Error Detection in NLI

• arxiv url: http://arxiv.org/abs/2511.08949v1
• Date: Thu, 13 Nov 2025 01:20:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-13 22:34:54.323882
• Title: EVADE: LLM-Based Explanation Generation and Validation for Error Detection in NLI
• Title（参考訳）: EVADE:NLIにおける誤り検出のためのLCMに基づく説明生成と検証
• Authors: Longfei Zuo, Barbara Plank, Siyao Peng,
• Abstract要約: EVADEは、大規模な言語モデルを使用してエラーを検出するための説明を生成し、検証するためのフレームワークである。 HLVは、複数のラベルが同じインスタンスに対して有効である場合に発生する。
• 参考スコア（独自算出の注目度）: 36.91800117379075
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: High-quality datasets are critical for training and evaluating reliable NLP models. In tasks like natural language inference (NLI), human label variation (HLV) arises when multiple labels are valid for the same instance, making it difficult to separate annotation errors from plausible variation. An earlier framework VARIERR (Weber-Genzel et al., 2024) asks multiple annotators to explain their label decisions in the first round and flag errors via validity judgments in the second round. However, conducting two rounds of manual annotation is costly and may limit the coverage of plausible labels or explanations. Our study proposes a new framework, EVADE, for generating and validating explanations to detect errors using large language models (LLMs). We perform a comprehensive analysis comparing human- and LLM-detected errors for NLI across distribution comparison, validation overlap, and impact on model fine-tuning. Our experiments demonstrate that LLM validation refines generated explanation distributions to more closely align with human annotations, and that removing LLM-detected errors from training data yields improvements in fine-tuning performance than removing errors identified by human annotators. This highlights the potential to scale error detection, reducing human effort while improving dataset quality under label variation.
• Abstract（参考訳）: 高品質なデータセットは、信頼性の高いNLPモデルのトレーニングと評価に不可欠である。 自然言語推論(NLI)のようなタスクでは、複数のラベルが同じインスタンスに対して有効であるときに、人間のラベル変動(HLV)が発生する。 以前のフレームワークであるVARIERR (Weber-Genzel et al , 2024) では、複数のアノテータに対して、第1ラウンドでラベルの決定を説明し、第2ラウンドで妥当性判断によってエラーをフラグする。 しかし、2ラウンドのマニュアルアノテーションの実施はコストがかかり、妥当なラベルや説明の範囲が制限される可能性がある。 本研究では,大規模な言語モデル(LLM)を用いた誤り検出のための説明の生成と検証を行う新しいフレームワークEVADEを提案する。 分布比較,検証重複,モデル微調整への影響を総合的に比較し,NLIの人間検出誤差とLLM検出誤差を比較した。 実験により, LLM の検証によって生成した説明分布が人間のアノテーションとより密接に一致し, LLM が検出した誤りをトレーニングデータから除去することで, 人間のアノテーションによって識別された誤りを除去するよりも, 微調整性能の向上が期待できることがわかった。 これは、エラー検出をスケールし、ラベルのバリエーションの下でデータセットの品質を改善しながら、人間の労力を削減する可能性を強調している。

関連論文リスト

• ZeroED: Hybrid Zero-shot Error Detection through Large Language Model Reasoning [45.352592886478774]
  我々は,新しいゼロショット誤り検出フレームワークZeroEDを提案する。 ZeroEDは、特徴表現、エラーラベリング、データ構築のトレーニング、検出器トレーニングの4つのステップで運用されている。 実験の結果、ZeroEDはF1スコアの最大30%改善と最大90%のトークンコスト削減で最先端の手法を大幅に上回ることがわかった。
  論文  参考訳（メタデータ） (2025-04-06T10:28:41Z)
• Tgea: An error-annotated dataset and benchmark tasks for text generation from pretrained language models [57.758735361535486]
  TGEAは、事前訓練された言語モデル(PLM)からテキストを生成するためのエラーアノテートデータセットである。 PLM生成文で発生する24種類の誤りを網羅する誤り分類を作成する。 PLM生成テキストに対する包括的なアノテーションを備えた最初のデータセットである。
  論文  参考訳（メタデータ） (2025-03-06T09:14:02Z)
• Are LLMs Better than Reported? Detecting Label Errors and Mitigating Their Effect on Model Performance [28.524573212179124]
  大きな言語モデル(LLM)は、アノテーションプロセスを強化する新しい機会を提供する。 合意、ラベルの品質、効率の観点から、専門家、クラウドソース、LLMベースのアノテーションを比較します。 以上の結果から,ラベルエラーがかなり多く,修正された場合,報告されたモデル性能が大幅に上向きに変化することが判明した。
  論文  参考訳（メタデータ） (2024-10-24T16:27:03Z)
• Subtle Errors in Reasoning: Preference Learning via Error-injected Self-editing [59.405145971637204]
  eRror-Injected Self-Editing (RISE) と呼ばれる新しい好み学習フレームワークを提案する。 RISEは、事前定義された微妙なエラーをピボットトークンに注入する。 RISEの有効性を検証する実験では、Qwen2-7B-Instructでの優先学習により、GSM8Kでは3.0%、MATHでは7.9%が顕著に改善され、トレーニングサンプルは4.5Kに留まった。
  論文  参考訳（メタデータ） (2024-10-09T07:43:38Z)
• Understanding and Mitigating Classification Errors Through Interpretable Token Patterns [58.91023283103762]
  容易に解釈可能な用語でエラーを特徴付けることは、分類器が体系的なエラーを起こす傾向にあるかどうかを洞察する。 正しい予測と誤予測を区別するトークンのパターンを発見することを提案する。 提案手法であるPremiseが実際によく動作することを示す。
  論文  参考訳（メタデータ） (2023-11-18T00:24:26Z)
• Contrastive Error Attribution for Finetuned Language Models [35.80256755393739]
  ノイズと誤記のデータは、自然言語生成(NLG)タスクにおける幻覚と不誠実なアウトプットの中核的な原因である。 望ましくないアウトプットにつながる低品質のトレーニングインスタンスを特定し、削除するフレームワークを導入します。 本研究では、勾配に基づく影響尺度のような既存の誤差追跡手法は、忠実度誤差を検出するために確実に機能しないことを示す。
  論文  参考訳（メタデータ） (2022-12-21T02:28:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。