論文の概要: Quantifying and Auditing LLM Evaluation via Positive--Unlabeled Learning

• arxiv url: http://arxiv.org/abs/2606.19057v1
• Date: Wed, 17 Jun 2026 13:26:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-18 17:16:51.179976
• Title: Quantifying and Auditing LLM Evaluation via Positive--Unlabeled Learning
• Title（参考訳）: 肯定的学習によるLCM評価の定量化と監査
• Abstract要約: 大規模言語モデル(LLM)は、スケーラブルな評価のための裁判官として、ますます使われています。 LLMは、意味的品質から切り離された体系的なバイアスを示す。 人間の監督は費用がかかり、典型的には選択的であり、信頼できる肯定的な判断を下すが、ほとんどの出力は損なわれず、品質が混ざり合っている可能性がある。
• 参考スコア（独自算出の注目度）: 4.114698130306098
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) are increasingly used as judges for scalable evaluation, yet such LLM--as--a--Judge systems exhibit systematic biases that are decoupled from semantic quality, most notably verbosity bias. Meanwhile, human supervision is costly and typically selective, yielding reliable positive judgments but leaving most outputs unlabelled and potentially mixed in quality. We formulate LLM evaluation under selective human supervision as a positive--unlabelled learning problem and propose a geometric auditing framework based on Partial Optimal Transport. By aligning a small set of human--verified positives with a reliable subset of unlabelled outputs in a fixed embedding space, our method identifies human--consistent preferences and corrects biased judges without retraining. Experiments demonstrate improved alignment with human preferences, increased robustness to presentation biases, and interpretable confidence estimates, offering a scalable and statistically grounded alternative to existing LLM--as--a--judge pipelines.
• Abstract（参考訳）: 大規模言語モデル (LLM) は, 大規模言語モデル (LLM) をスケーラブルな評価の判断に用いつつあるが, このようなLLM-as-a-Judgeシステムは, 意味的品質から切り離された体系的バイアスを示す。その一方で, 人的監督はコストが高く, 概ね選択的であり, 信頼性の高い肯定的な判断を得られるが, 殆どのアウトプットは問題なく, 品質が混在している。我々は, 選択的人的監督下でのLLM評価を, 正のアンラベリング学習問題として定式化し, 部分的最適移動に基づく幾何的監査フレームワークを提案する。 固定埋め込み空間において,人間の検証された正の小さなセットを信頼できない出力のサブセットと整列させることにより,人間の一貫性のある選好を識別し,偏見のある判断を再訓練せずに修正する。 実験では、人間の好みとの整合性の改善、プレゼンテーションバイアスに対する堅牢性の向上、信頼度推定の解釈が示され、既存のLCM--as-a-judgeパイプラインに代わるスケーラブルで統計的基盤を提供する。

関連論文リスト

• AURA: Adaptive Uncertainty-aware Refinement for LLM-as-a-Judge Auditing [5.259890149301948]
  本稿では,ペアワイドな言語モデルを監査するための適応的不確実性を考慮した改良フレームワークであるAURAを提案する。 AURAは、人間の一貫性のシグナルを反復的に学習し、信頼できる証拠を伝播し、不確実な比較を人間のレビューに優先する。 我々は, コンパクトな定式化, 安定な精錬手順, および合成および実対LLM-Awerデータの包括的評価を行う。
  論文  参考訳（メタデータ） (2026-06-18T02:26:05Z)
• Reference-Free Rating of LLM Responses via Latent Information [53.463883683503106]
  本研究では,判断モデルに対して,自由テキスト応答にQuattスケールのスコアを割り当てるよう依頼する一般的な実践について検討する。 次に、内部モデル信号からスカラー評価を導出する潜在裁判官を提案し、評価する。 ペアとシングルレーティングのベンチマークの幅広いスイートの中で、潜在メソッドは標準のプロンプトにマッチするか、超えている。
  論文  参考訳（メタデータ） (2025-09-29T12:15:52Z)
• Quantitative LLM Judges [60.773734899532336]
  本研究では,既存のLLM審査員の評価スコアを,与えられた領域内の人間と一致させる定量的LLM審査員を提案する。 モデルは、その合理性とスコアを使用して、元の審査員のスコアを改善するために訓練される。 実験の結果, 定量的な判断は, ポストホックモデリングにより, 既存の判断の予測力を向上できることがわかった。
  論文  参考訳（メタデータ） (2025-06-03T14:44:23Z)
• Beyond Single-Point Judgment: Distribution Alignment for LLM-as-a-Judge [24.862965044243168]
  従来の手法は、人間の評価において固有の多様性と不確実性を見越して、単一点評価に依存していた。 本研究では,LLM生成した判定分布と経験的人的分布とを明確に整合させる新しいトレーニングフレームワークを提案する。 我々のフレームワークは、既存のオープンソースLCMや従来の単一点アライメント手法よりも大幅に優れています。
  論文  参考訳（メタデータ） (2025-05-18T08:33:09Z)
• Pairwise or Pointwise? Evaluating Feedback Protocols for Bias in LLM-Based Evaluation [57.380464382910375]
  評価のためのフィードバックプロトコルの選択は,評価信頼性に大きく影響し,系統的なバイアスを生じさせることを示す。 ジェネレータモデルは、気を散らす機能を埋め込むことで好みをひっくり返すことができる。 我々は,データセットの特徴と評価目標に基づくフィードバックプロトコルの選択を推奨する。
  論文  参考訳（メタデータ） (2025-04-20T19:05:59Z)
• Justice or Prejudice? Quantifying Biases in LLM-as-a-Judge [84.34545223897578]
  多くの領域で優れているにもかかわらず、潜在的な問題は未解決のままであり、その信頼性と実用性の範囲を損なう。 提案手法は, LLM-as-a-Judgeにおける各種類のバイアスを定量化し, 解析する自動バイアス定量化フレームワークである。 当社の作業は、これらの問題に対処するステークホルダの必要性を強調し、LLM-as-a-Judgeアプリケーションで注意を喚起します。
  論文  参考訳（メタデータ） (2024-10-03T17:53:30Z)
• Mitigating the Bias of Large Language Model Evaluation [30.67730115141905]
  LLM-as-a-Judgeのバイアスに関する系統的研究を提案する。 クローズドソース・ジャッジモデルでは、表面品質の重要性を緩和するためにキャリブレーションを適用する。 オープンソース・ジャッジ・モデルでは, 対照的な学習によってバイアスを軽減し, 学習から逸脱するが, 表面品質が向上する負のサンプルをキュレートする。
  論文  参考訳（メタデータ） (2024-09-25T09:52:44Z)
• Fairer Preferences Elicit Improved Human-Aligned Large Language Model Judgments [41.25558612970942]
  大規模言語モデル (LLMs) が優先バイアスを示し, 設計に敏感であることを示す。 この現象に触発された自動ゼロショット評価指向のプロンプト最適化フレームワークZEPOを提案する。
  論文  参考訳（メタデータ） (2024-06-17T09:48:53Z)
• Aligning with Human Judgement: The Role of Pairwise Preference in Large Language Model Evaluators [48.54465599914978]
  大規模言語モデル(LLM)は、生成された自然言語の品質を評価するための自動評価器として有望な能力を示した。 LLMは依然として評価のバイアスを示しており、人間の評価と整合したコヒーレントな評価を生成するのに苦労することが多い。 Pairwise-preference Search (PAIRS) は、LLMを用いた不確実性誘導検索に基づくランクアグリゲーション手法で、局所的にペアワイズ比較を行い、グローバルに候補テキストを効率よくランク付けする。
  論文  参考訳（メタデータ） (2024-03-25T17:11:28Z)
• Calibrating LLM-Based Evaluator [92.17397504834825]
  マルチステージで勾配のないアプローチであるAutoCalibrateを提案し,LLMに基づく評価器を人間の好みに合わせて調整・調整する。 人間の嗜好を明示的にモデル化する代わりに、まず暗黙的に人間のラベルに含めます。 複数のテキスト品質評価データセットに関する実験は、校正による専門家評価との相関性を大幅に改善したことを示す。
  論文  参考訳（メタデータ） (2023-09-23T08:46:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。