論文の概要: When Do LLMs Actually Help? Evaluating LLMs as Data Quality Annotators

• arxiv url: http://arxiv.org/abs/2608.18158v1
• Date: Thu, 13 Aug 2026 19:12:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-20 20:13:55.161209
• Title: When Do LLMs Actually Help? Evaluating LLMs as Data Quality Annotators
• Title（参考訳）: LLMは本当に役に立つのか? LLMをデータ品質アノテータとして評価する
• Abstract要約: 本研究は,2つのeコマースデータ品質タスク,エンティティマッチングとブランドミスラベルのLLMをテストする。 多数決によってF1は0.005に改善され、推論コストの5倍になった。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: LLMs have been increasingly used to catch data quality issues automatically, but we know very little about how consistent these judgments actually are. This study tests an LLM on two e-commerce data quality tasks, entity matching and brand mislabeling, against rule based baselines and human verified ground truth, under both zero-shot and few-shot prompting. On entity matching while using the Abt Buy benchmark (2,194 labeled pairs), a simple rule based baseline (F1=0.950) performed about as well as LLM zero shot prompting (F1=0.948). Moreover, a few-shot prompt revision that looked effective on a small validation sample reduced full-scale performance to F1=0.914. This showed that small sample prompt evaluation can be misleading. On brand mislabeling detection, using 500 Amazon product listings with synthetically injected labeling errors, the LLM clearly outperformed a naive rule based baseline (F1=0.833 vs 0.721), because it could draw on background knowledge of brand product relationships that a simple rule could not access. Testing consistency across repeated runs (200 pairs, 5 runs at temperature 0.7) showed the model agreeing with itself 99.7% of the time on average, with 99% of pairs giving identical answers across all 5 runs. Using majority voting across these runs only improved F1 by 0.005, at 5 times the inference cost. These results suggest that the value of using an LLM over traditional methods depends heavily on the task. LLMs offer little advantage when strong lexical signals already exist, but a clear advantage when the task requires background knowledge, all while remaining highly consistent across repeated queries.
• Abstract（参考訳）: LLMはデータ品質の問題を自動検出するためにますます使われてきましたが、これらの判断が実際にどの程度一貫性があるかはほとんど分かっていません。 本研究では、ゼロショットと少数ショットの両方のプロンプトの下で、2つの電子商取引データ品質タスク、エンティティマッチングとブランドミスラベル、ルールベースベースラインと人間の検証された根拠真理に対してLLMを試験する。 Abt Buyベンチマーク(2,194個のラベル付きペア)を使用中のエンティティマッチングでは、単純なルールベースベースライン(F1=0.950)とLCMゼロショットプロンプト(F1=0.948)が実行された。 さらに、小さな検証サンプルで有効に見えた数発のプロンプトリビジョンにより、フルスケールの性能はF1=0.914に低下した。 この結果から,小サンプルのプロンプト評価が誤解を招く可能性が示唆された。 ブランドのミスラベル検出では、合成的なラベル付けエラーを注入した500のAmazon製品リストを使用して、LCMは単純なルールがアクセスできないブランド製品関係の背景知識に基づいて、単純ルールベースのベースライン(F1=0.833 vs 0.721)を明らかに上回った。 連続したラン(200対、温度0.7で5ラン)の一貫性のテストでは、平均して99.7%のタイムでモデルが一致し、99%のペアが5ランで同じ回答を示した。 多数決によってF1は0.005に改善され、推論コストの5倍になった。 これらの結果は,従来のメソッドよりもLCMを使うことの価値がタスクに大きく依存していることを示唆している。 LLMは、強い語彙信号がすでに存在する場合にはほとんど利点がないが、タスクがバックグラウンド知識を必要とする場合に明らかな利点である。

関連論文リスト

• Do We Still Need Humans in the Loop? Comparing Human and LLM Annotation in Active Learning for Hostility Detection [68.37351671559675]
  アクティブな学習は、無視可能なコストで短いプロンプトから何千ものインスタンスに注釈を付けることができる。 LLMラベルはALループ内で人間のラベルを置き換えることができ、ALはコーパス全体を一度にラベル付けできるときに必要か? 277,902人のドイツの政治的TikTokコメントの新しいデータセットについて、両方の質問を調査した。
  論文  参考訳（メタデータ） (2026-04-15T14:10:58Z)
• Confident Rankings with Fewer Items: Adaptive LLM Evaluation with Continuous Scores [25.638175689769934]
  IRTベースの適応テストの原則的拡張を連続有界スコア(ROUGE, BLEU, LLM-as-a-Judge)に適用する。 本稿では,信頼性の高いモデルランキングを実現するための適応的停止基準付き不確実性意識ランクアを導入し,できるだけ少数の項目をテストする。 提案手法では,各項目の2%をランダムサンプリングよりも格付け相関を0.12改善し,95%の精度で信頼度予測を行う。
  論文  参考訳（メタデータ） (2026-01-20T11:59:13Z)
• Self-reflection in Automated Qualitative Coding: Improving Text Annotation through Secondary LLM Critique [1.5749416770494706]
  大規模言語モデル(LLM)は、大規模なデータセットの高度な定性的な符号化を可能にする。 簡単な一般化可能な2段階のワークフローを提示する: LLMは人間設計のコードブックを適用し、二次LPM批評家は各正のラベルに対して自己回帰を行う。 我々は,Apache Software Foundationのプロジェクト評価に関する議論において,3,000件以上の高コンテンツメールに対する6つの定性的なコードに対して,このアプローチを評価した。
  論文  参考訳（メタデータ） (2026-01-14T22:27:13Z)
• LLM-as-a-Judge: Reassessing the Performance of LLMs in Extractive QA [27.86922657261678]
  LLM-as-a-judgeを用いて4つの読解QAデータセット間でQAモデルの性能を再評価する。 その結果, LLM-as-a-judgeは人間の判断と強く相関しており, 従来のEM/F1メトリクスを置き換えることができることがわかった。
  論文  参考訳（メタデータ） (2025-04-16T11:08:46Z)
• MMLU-CF: A Contamination-free Multi-task Language Understanding Benchmark [57.999567012489706]
  我々は,MMLU-CFと呼ばれる汚染のない,より困難なベンチマークを提案する。 このベンチマークは、意図しないデータ漏洩と悪意のないデータ漏洩の両方を回避することで、LLMの世界の知識に対する理解を再評価する。 GPT-4o は 5 ショットスコア73.4% と 0 ショットスコア71.9% しか達成できない。
  論文  参考訳（メタデータ） (2024-12-19T18:58:04Z)
• LLM Robustness Against Misinformation in Biomedical Question Answering [50.98256373698759]
  探索拡張生成(RAG)アプローチは,質問応答のための大規模言語モデル(LLM)の折り畳みを低減するために用いられる。 バイオメディカル質問に対する誤報に対する4つのLDMの有効性とロバスト性を評価した。
  論文  参考訳（メタデータ） (2024-10-27T16:23:26Z)
• GRATH: Gradual Self-Truthifying for Large Language Models [63.502835648056305]
  GRATH(Gradual Self-Truthifying)は,大規模言語モデル(LLM)の真偽性を高めるためのポストプロセッシング手法である。 GRATHは、反復的に真理データを洗練し、モデルを更新する。 GRATHはTruthfulQAの最先端性能を達成し、MC1の精度は54.71%、MC2の精度は69.10%であり、70B-LLMよりも高い。
  論文  参考訳（メタデータ） (2024-01-22T19:00:08Z)
• Assessing the Reliability of Large Language Model Knowledge [78.38870272050106]
  大規模言語モデル(LLM)は、知識探索タスクにおける高い性能のため、知識ベースとして扱われてきた。 LLMが実際に正しい答えを連続的に生成する能力をどのように評価するか。 LLMの信頼性を直接測定するための新しい指標であるMOdel kNowledge relIabiliTy score (MONITOR)を提案する。
  論文  参考訳（メタデータ） (2023-10-15T12:40:30Z)
• LLMs as Factual Reasoners: Insights from Existing Benchmarks and Beyond [135.8013388183257]
  そこで我々は,SummEditsと呼ばれる10ドメインのベンチマークで不整合検出ベンチマークを作成し,実装する新しいプロトコルを提案する。 ほとんどのLLMはSummEditsで苦労しており、パフォーマンスはランダムに近い。 最も優れたモデルであるGPT-4は、推定された人間のパフォーマンスよりも8%低い。
  論文  参考訳（メタデータ） (2023-05-23T21:50:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。