論文の概要: ZeroED: Hybrid Zero-shot Error Detection through Large Language Model Reasoning

• arxiv url: http://arxiv.org/abs/2504.05345v1
• Date: Sun, 06 Apr 2025 10:28:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-09 13:28:28.751109
• Title: ZeroED: Hybrid Zero-shot Error Detection through Large Language Model Reasoning
• Title（参考訳）: ZeroED: 大規模言語モデル推論によるハイブリッドゼロショット誤り検出
• Authors: Wei Ni, Kaihang Zhang, Xiaoye Miao, Xiangyu Zhao, Yangyang Wu, Yaoshu Wang, Jianwei Yin,
• Abstract要約: 我々は,新しいゼロショット誤り検出フレームワークZeroEDを提案する。 ZeroEDは、特徴表現、エラーラベリング、データ構築のトレーニング、検出器トレーニングの4つのステップで運用されている。 実験の結果、ZeroEDはF1スコアの最大30%改善と最大90%のトークンコスト削減で最先端の手法を大幅に上回ることがわかった。
• 参考スコア（独自算出の注目度）: 45.352592886478774
• License:
• Abstract: Error detection (ED) in tabular data is crucial yet challenging due to diverse error types and the need for contextual understanding. Traditional ED methods often rely heavily on manual criteria and labels, making them labor-intensive. Large language models (LLM) can minimize human effort but struggle with errors requiring a comprehensive understanding of data context. In this paper, we propose ZeroED, a novel hybrid zero-shot error detection framework, which combines LLM reasoning ability with the manual label-based ED pipeline. ZeroED operates in four steps, i.e., feature representation, error labeling, training data construction, and detector training. Initially, to enhance error distinction, ZeroED generates rich data representations using error reason-aware binary features, pre-trained embeddings, and statistical features. Then, ZeroED employs LLM to label errors holistically through in-context learning, guided by a two-step reasoning process for detailed error detection guidelines. To reduce token costs, LLMs are applied only to representative data selected via clustering-based sampling. High-quality training data is constructed through in-cluster label propagation and LLM augmentation with verification. Finally, a classifier is trained to detect all errors. Extensive experiments on seven public datasets demonstrate that, ZeroED substantially outperforms state-of-the-art methods by a maximum 30% improvement in F1 score and up to 90% token cost reduction.
• Abstract（参考訳）: 表データのエラー検出(ED)は、多様なエラータイプとコンテキスト理解の必要性のため、非常に難しい。 従来のED手法は、しばしば手作業の基準やラベルに大きく依存しており、労働集約的である。 大規模言語モデル(LLM)は人間の努力を最小限に抑えるが、データコンテキストの包括的な理解を必要とするエラーに対処する。 本稿では,LSM推論能力と手動ラベルに基づくEDパイプラインを組み合わせた新しいゼロショット誤り検出フレームワークZeroEDを提案する。 ZeroEDは、特徴表現、エラーラベリング、データ構築のトレーニング、検出器トレーニングの4つのステップで運用されている。 最初は、エラーの区別を強化するために、ZeroEDはエラー理由認識のバイナリ機能、事前訓練された埋め込み、統計機能を使用してリッチなデータ表現を生成する。 そして、ZeroEDはLLMを用いて、コンテキスト内学習を通じてエラーのラベル付けを行い、2段階の推論プロセスで詳細なエラー検出ガイドラインを導出する。 トークンコストを低減するため、LCMはクラスタリングベースのサンプリングによって選択された代表データにのみ適用される。 高品質なトレーニングデータは、クラスタ内ラベルの伝搬とLLM拡張による検証によって構築される。 最後に、すべてのエラーを検出するために分類器が訓練される。 7つの公開データセットに対する大規模な実験により、ZeroEDはF1スコアの最大30%改善と最大90%のトークンコスト削減によって最先端の手法を大幅に上回ることを示した。

関連論文リスト

• Are LLMs Better than Reported? Detecting Label Errors and Mitigating Their Effect on Model Performance [21.926934384262594]
  大きな言語モデル(LLM)は、アノテーションプロセスを強化する新しい機会を提供する。 合意、ラベルの品質、効率の点で、専門家、クラウドソース、LLMベースのアノテーションを比較します。 以上の結果から,ラベルエラーがかなり多く,修正されると,報告されたモデル性能が大幅に上向きに変化することが判明した。
  論文  参考訳（メタデータ） (2024-10-24T16:27:03Z)
• Subtle Errors Matter: Preference Learning via Error-injected Self-editing [59.405145971637204]
  eRror-Injected Self-Editing (RISE) と呼ばれる新しい好み学習フレームワークを提案する。 RISEは、事前定義された微妙なエラーをピボットトークンに注入する。 RISEの有効性を検証する実験では、Qwen2-7B-Instructでの優先学習により、GSM8Kでは3.0%、MATHでは7.9%が顕著に改善され、トレーニングサンプルは4.5Kに留まった。
  論文  参考訳（メタデータ） (2024-10-09T07:43:38Z)
• Improving Label Error Detection and Elimination with Uncertainty Quantification [5.184615738004059]
  我々は不確実な量子化に基づくラベル誤り検出(UQ-LED)のための新しいモデル認識アルゴリズムを開発した。 我々のUQ-LEDアルゴリズムは、ラベルエラーの同定において最先端の信頼性学習より優れている。 本稿では,現実的なクラス依存ラベルエラーを合成的に生成する手法を提案する。
  論文  参考訳（メタデータ） (2024-05-15T15:17:52Z)
• Parameter-tuning-free data entry error unlearning with adaptive selective synaptic dampening [51.34904967046097]
  本稿では,パラメータチューニングの必要性を排除した選択的シナプス減衰アンラーニング法の拡張を提案する。 本稿では,ResNet18とVision Transformerの未学習タスクにおける適応選択的シナプス減衰(ASSD)の性能を示す。 このアプローチの適用は、サプライチェーン管理などの産業環境において特に魅力的である。
  論文  参考訳（メタデータ） (2024-02-06T14:04:31Z)
• Understanding and Mitigating Classification Errors Through Interpretable Token Patterns [58.91023283103762]
  容易に解釈可能な用語でエラーを特徴付けることは、分類器が体系的なエラーを起こす傾向にあるかどうかを洞察する。 正しい予測と誤予測を区別するトークンのパターンを発見することを提案する。 提案手法であるPremiseが実際によく動作することを示す。
  論文  参考訳（メタデータ） (2023-11-18T00:24:26Z)
• XAL: EXplainable Active Learning Makes Classifiers Better Low-resource Learners [71.8257151788923]
  低リソーステキスト分類のための新しい説明可能なアクティブラーニングフレームワーク(XAL)を提案する。 XALは分類器に対して、推論を正当化し、合理的な説明ができないラベルのないデータを掘り下げることを推奨している。 6つのデータセットの実験では、XALは9つの強いベースラインに対して一貫した改善を達成している。
  論文  参考訳（メタデータ） (2023-10-09T08:07:04Z)
• Improving Opinion-based Question Answering Systems Through Label Error Detection and Overwrite [4.894035903847371]
  本稿では,ラベル誤り検出とオーバーライトのためのモデルに依存しない,計算的に効率的なフレームワーク LEDO を提案する。 LEDOはモンテカルロ・ドロップアウトと不確実性メトリクスを組み合わせており、複数のタスクやデータセットに簡単に一般化できる。 LEDOを業界意見に基づく質問応答システムに適用することは、すべてのコアモデルの精度を向上させるのに有効であることを示す。
  論文  参考訳（メタデータ） (2023-06-13T02:20:58Z)
• Contrastive Error Attribution for Finetuned Language Models [35.80256755393739]
  ノイズと誤記のデータは、自然言語生成(NLG)タスクにおける幻覚と不誠実なアウトプットの中核的な原因である。 望ましくないアウトプットにつながる低品質のトレーニングインスタンスを特定し、削除するフレームワークを導入します。 本研究では、勾配に基づく影響尺度のような既存の誤差追跡手法は、忠実度誤差を検出するために確実に機能しないことを示す。
  論文  参考訳（メタデータ） (2022-12-21T02:28:07Z)
• ZeroBERTo -- Leveraging Zero-Shot Text Classification by Topic Modeling [57.80052276304937]
  本稿では、教師なしクラスタリングのステップを利用して、分類タスクの前に圧縮されたデータ表現を得る新しいモデルZeroBERToを提案する。 また,ZeroBERToは,FolhaUOLデータセットのF1スコアにおいて,XLM-Rを約12%上回り,長い入力と実行時間の短縮に優れた性能を示した。
  論文  参考訳（メタデータ） (2022-01-04T20:08:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。