論文の概要: Evaluating LLMs Without Oracle Feedback: Agentic Annotation Evaluation Through Unsupervised Consistency Signals

• arxiv url: http://arxiv.org/abs/2509.08809v1
• Date: Wed, 10 Sep 2025 17:42:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-11 15:16:52.537113
• Title: Evaluating LLMs Without Oracle Feedback: Agentic Annotation Evaluation Through Unsupervised Consistency Signals
• Title（参考訳）: Oracleのフィードバックを伴わないLLMの評価:教師なし一貫性信号によるエージェントアノテーションの評価
• Authors: Cheng Chen, Haiyan Yin, Ivor Tsang,
• Abstract要約: 大規模言語モデル(LLM)は、プロンプトベースのタスクと組み合わせることで、データアノテーションのコストと人間のアノテーションへの依存を大幅に削減した。 そこで,本研究では,学生モデルが雑音の多い教師と協調して,オラクルのフィードバックに頼ることなく,アノテーションの質を評価し,洗練する,新しいエージェント・アノテーション・パラダイムを提案する。 本稿では,新しい教師なし評価尺度であるConsistent and Inconsistent (CAI) Ratioを紹介する。
• 参考スコア（独自算出の注目度）: 9.145863861037862
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs), when paired with prompt-based tasks, have significantly reduced data annotation costs and reliance on human annotators. However, evaluating the quality of their annotations remains challenging in dynamic, unsupervised environments where oracle feedback is scarce and conventional methods fail. To address this challenge, we propose a novel agentic annotation paradigm, where a student model collaborates with a noisy teacher (the LLM) to assess and refine annotation quality without relying on oracle feedback. The student model, acting as an unsupervised feedback mechanism, employs a user preference-based majority voting strategy to evaluate the consistency of the LLM outputs. To systematically measure the reliability of LLM-generated annotations, we introduce the Consistent and Inconsistent (CAI) Ratio, a novel unsupervised evaluation metric. The CAI Ratio not only quantifies the annotation quality of the noisy teacher under limited user preferences but also plays a critical role in model selection, enabling the identification of robust LLMs in dynamic, unsupervised environments. Applied to ten open-domain NLP datasets across four LLMs, the CAI Ratio demonstrates a strong positive correlation with LLM accuracy, establishing it as an essential tool for unsupervised evaluation and model selection in real-world settings.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、プロンプトベースのタスクと組み合わせることで、データアノテーションのコストと人間のアノテーションへの依存を大幅に削減した。 しかし、オラクルのフィードバックが乏しく、従来の手法が失敗する動的で教師なしの環境では、アノテーションの品質を評価することは依然として困難である。 この課題に対処するために,学生モデルが雑音の多い教師(LLM)と協調して,オラクルのフィードバックに頼ることなく,アノテーションの質を評価し,洗練する,新しいエージェント・アノテーション・パラダイムを提案する。 教師なしフィードバック機構として機能する学生モデルは、LLM出力の一貫性を評価するために、ユーザの選好に基づく多数決戦略を採用する。 LLM生成アノテーションの信頼性を体系的に評価するために、新しい教師なし評価指標である一貫性と一貫性(CAI)比を導入する。 CAI比は、ノイズの多い教師の注釈品質を限られたユーザー好みで定量化するだけでなく、モデル選択において重要な役割を担い、動的で教師なし環境における堅牢なLLMの識別を可能にする。 4つのLLMにわたる10のオープンドメインNLPデータセットに適用されたCAI Ratioは、LLMの精度と強い正の相関を示し、実世界の環境での教師なし評価とモデル選択に不可欠なツールとして確立した。

関連論文リスト

• Self-Evolving Critique Abilities in Large Language Models [59.861013614500024]
  本稿では,Large Language Models (LLM) の批判能力の向上について検討する。 SCRITは、LCMを自己生成データで訓練し、批判能力を進化させるフレームワークである。 分析の結果,SCRITの性能はデータやモデルサイズと正の相関関係にあることが明らかとなった。
  論文  参考訳（メタデータ） (2025-01-10T05:51:52Z)
• Towards Understanding the Robustness of LLM-based Evaluations under Perturbations [9.944512689015998]
  大言語モデル(LLM)は、要約やダイアログベースのタスクにおいて、非標準化メトリクスの自動評価器として機能する。 人間の判断に比較して,LLMが品質評価指標としていかに優れているかを検討するために,複数のプロンプト戦略にまたがる実験を行った。
  論文  参考訳（メタデータ） (2024-12-12T13:31:58Z)
• Your Weak LLM is Secretly a Strong Teacher for Alignment [19.33906256866585]
  既存のアライメントフレームワークは、高価な人的労力または高い計算コストの形で制約を提示します。 本稿では,上位層モデルよりも資源集約度が低い弱いLLMを用いた,有望な中間層を探索する。 弱いLLMは、完全に注釈付けされたデータに匹敵する、あるいは超えるフィードバックを提供することができる。
  論文  参考訳（メタデータ） (2024-09-13T13:24:52Z)
• Large Language Models are Inconsistent and Biased Evaluators [2.136983452580014]
  我々は,Large Language Models (LLMs) が親しみの偏りを示し,評価の歪んだ分布を示すため,評価値の偏りを示すことを示した。 また, LLM は不整合性評価器であり, テキスト品質の人間の理解に欠かせない相違を誘発する「サンプル間合意」が低く, 感度が高いことがわかった。
  論文  参考訳（メタデータ） (2024-05-02T20:42:28Z)
• An In-depth Evaluation of Large Language Models in Sentence Simplification with Error-based Human Assessment [9.156064716689833]
  本研究は, 評価の信頼性を確保しつつ, LLMの性能に関する詳細な知見を提供する。 我々は、GPT-4、Qwen2.5-72B、Llama-3.2-3Bを含む、クローズドソースとオープンソースの両方のLLMを選択する。 その結果, LLM は従来と比べ, 誤った単純化出力が少ないことがわかった。
  論文  参考訳（メタデータ） (2024-03-08T00:19:24Z)
• ReEval: Automatic Hallucination Evaluation for Retrieval-Augmented Large Language Models via Transferable Adversarial Attacks [91.55895047448249]
  本稿では,LLMベースのフレームワークであるReEvalについて述べる。 本稿では、ChatGPTを用いてReEvalを実装し、2つの人気のあるオープンドメインQAデータセットのバリエーションを評価する。 我々の生成したデータは人間可読であり、大きな言語モデルで幻覚を引き起こすのに役立ちます。
  論文  参考訳（メタデータ） (2023-10-19T06:37:32Z)
• Bring Your Own Data! Self-Supervised Evaluation for Large Language Models [52.15056231665816]
  大規模言語モデル(LLM)の自己教師型評価のためのフレームワークを提案する。 閉書知識,毒性,長期文脈依存性を測定するための自己指導型評価戦略を実証する。 自己監督評価と人監督評価との間には強い相関関係が認められた。
  論文  参考訳（メタデータ） (2023-06-23T17:59:09Z)
• On Learning to Summarize with Large Language Models as References [101.79795027550959]
  大型言語モデル (LLM) は、一般的な要約データセットにおける元の参照要約よりも人間のアノテーションに好まれる。 より小さなテキスト要約モデルに対するLLM-as-reference学習設定について検討し,その性能が大幅に向上するかどうかを検討する。
  論文  参考訳（メタデータ） (2023-05-23T16:56:04Z)
• Large Language Models are Not Yet Human-Level Evaluators for Abstractive Summarization [66.08074487429477]
  抽象的な要約のための自動評価器として,大規模言語モデル(LLM)の安定性と信頼性について検討する。 また、ChatGPTとGPT-4は、一般的に使われている自動測定値よりも優れていますが、人間の代替品として準備ができていません。
  論文  参考訳（メタデータ） (2023-05-22T14:58:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。