論文の概要: Decomposing LLM-Judge Uncertainty to Target Expert Labels

• arxiv url: http://arxiv.org/abs/2609.06444v2
• Date: Wed, 09 Sep 2026 11:31:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-10 19:44:08.251616
• Title: Decomposing LLM-Judge Uncertainty to Target Expert Labels
• Title（参考訳）: LLM-Judgeの不確実性を分解して専門家ラベルを狙う
• Abstract要約: 専門家は、最低限確実な場所にのみラベルを付けるべきだ。 専門家は、最低限確実な場所にのみラベルを付けるべきだ。 我々は、専門家が真に意見の一致しない場所よりも、裁判官が無知である場所を推定できることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: An LLM judge evaluates outputs at scale. Experts should label only where it is least sure. Its natural escalation signal conflates two uncertainties: aleatoric, real disagreement in the expert pool, which labels cannot reduce, and epistemic, the judge's ignorance, which labels do reduce. A small Bayesian model separates them: a regression on labels already collected learns how far to trust a black-box judge's prediction. Both components follow as simple formulas, with no sampling or further judge calls. The components isolate on a real LLM judge against exactly known truth, and stated confidence is no guide to its actual error. On real human disagreement (ChaosNLI) the epistemic ranking removes 83% more error than total uncertainty for the same expert labels, though simply escalating the least-labelled items does as well there. We demonstrate we can estimate where a judge is ignorant rather than where experts genuinely disagree, and propose using this to direct expert labelling. Code and data are available at https://github.com/composo-ai/ judge-uncertainty-decomposition.
• Abstract（参考訳）: LLM判定器は、大規模に出力を評価する。 専門家は、最低限確実な場所にのみラベルを付けるべきだ。 その自然のエスカレーション信号は、2つの不確実性、すなわち、ラベルが還元できない専門家プールにおける真の不一致と、ラベルが減少する裁判官の無知であるてんかんの2つを混同する。 既に収集されたラベルの回帰は、ブラックボックスの裁判官の予測をどれだけ信頼するかを学ぶ。 どちらのコンポーネントも単純な公式に従っており、サンプリングや判断の呼び出しは不要である。 コンポーネントは、正確な真実に対して実際のLLM判事に隔離されており、信頼は実際のエラーのガイドではない、と述べている。 実際のヒトの不一致(ChaosNLI)では、認識的ランキングは、同一の専門家ラベルの完全不確実性よりも83%多いエラーを除去するが、最小の項目も単にエスカレートするだけである。 我々は、専門家が真に意見の一致しない場所よりも、裁判官が無知である場所を推定できることを示し、これを用いて専門家のラベル付けを指示することを提案する。 コードとデータはhttps://github.com/composo-ai/ judge-uncertainty-decompositionで公開されている。

関連論文リスト

• From Uncertain Judgments to Calibrated Rankings: Conformal Elo Estimation for LLM Evaluation [3.5637034560362935]
  2つの相補的なレベルで、結果の判断と人間の意見の不一致を定量化する。 地方レベルでは、審査員自身のスコア差から、各戦場における不確実性を推定する。 これだけでも、Elo推定精度を大幅に改善する。
  論文  参考訳（メタデータ） (2026-06-11T11:38:05Z)
• Calibrate, Don't Curate: Label-Efficient Estimation from Noisy LLM Judges [3.974554103907186]
  ラベル付きキャリブレーションデータを用いたマルチジャッジ評価では、弱い判断を精度だけで破棄しないことが示されている。 本稿では, 適切なスコアリングルール下での最適校正リスクが, 付加的な判定信号が利用可能になった場合に増大しないことを示すオラクル分析による逆転について説明する。
  論文  参考訳（メタデータ） (2026-05-10T18:49:58Z)
• Label Effects: Shared Heuristic Reliance in Trust Assessment by Humans and LLM-as-a-Judge [26.31243351014906]
  大規模言語モデル (LLM) は自動評価器 (LLM-as-a-Judge) としてますます使われている。 この研究は、LSMによる信頼判断が開示されたソースラベルに偏っていることを示すことによって、信頼性に挑戦する。 視線追跡データは、人間が判断の手がかりとしてソースラベルに大きく依存していることを明らかにする。
  論文  参考訳（メタデータ） (2026-04-07T08:43:30Z)
• A Coin Flip for Safety: LLM Judges Fail to Reliably Measure Adversarial Robustness [57.510025257780306]
  既存の検証プロトコルは、レッドチーム固有の分散シフトを考慮できないことを示す。 我々は、より一貫して判断可能な振る舞いのベンチマークであるReliableBenchと、判断失敗を公開するために設計されたデータセットであるJiceStressTestを提案する。
  論文  参考訳（メタデータ） (2026-02-04T15:13:35Z)
• No-Knowledge Alarms for Misaligned LLMs-as-Judges [0.0]
  我々は,LLM審査員のミスアラームに対する非知識アラームを開発する。 警報器は、誤判定なしで、審査員の少なくとも1人以上のメンバーが、ユーザが指定した格付け能力要件に違反していることを検知することができる。
  論文  参考訳（メタデータ） (2025-09-10T13:46:40Z)
• Judging LLMs on a Simplex [2.088672652658465]
  一般的な実践は、大言語モデル(LLM)自体を裁判官として使用することであるが、このアプローチの理論的性質はまだよく理解されていない。 判定と候補の両方を確率的単純度上の点として表現する幾何学的枠組みは,何であるか,何であるかを識別できないのか,有用な知見を提供することができる。
  論文  参考訳（メタデータ） (2025-05-28T04:50:41Z)
• Label Distribution Learning with Biased Annotations by Learning Multi-Label Representation [120.97262070068224]
  マルチラベル学習(MLL)は,実世界のデータ表現能力に注目されている。 ラベル分布学習(LDL)は正確なラベル分布の収集において課題に直面している。
  論文  参考訳（メタデータ） (2025-02-03T09:04:03Z)
• JudgeBench: A Benchmark for Evaluating LLM-based Judges [61.048125269475854]
  judgeBenchは、知識、推論、数学、コーディングにまたがる挑戦的な応答ペアに関するLSMベースの判断を評価するためのベンチマークである。 審査員、微調整された審査員、マルチエージェントの審査員、報酬モデルに関する包括的な評価は、審査員ベンチが以前のベンチマークよりもかなり大きな課題を課していることを示している。
  論文  参考訳（メタデータ） (2024-10-16T17:58:19Z)
• Appeal: Allow Mislabeled Samples the Chance to be Rectified in Partial Label Learning [55.4510979153023]
  部分ラベル学習(PLL)では、各インスタンスは候補ラベルのセットに関連付けられ、そのうち1つだけが接地真実である。 誤記されたサンプルの「アペアル」を支援するため,最初の魅力に基づくフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-18T09:09:52Z)
• Dist-PU: Positive-Unlabeled Learning from a Label Distribution Perspective [89.5370481649529]
  本稿では,PU学習のためのラベル分布視点を提案する。 そこで本研究では,予測型と基底型のラベル分布間のラベル分布の整合性を追求する。 提案手法の有効性を3つのベンチマークデータセットで検証した。
  論文  参考訳（メタデータ） (2022-12-06T07:38:29Z)
• Acknowledging the Unknown for Multi-label Learning with Single Positive Labels [65.5889334964149]
  伝統的に、全ての無注釈ラベルは、単一正のマルチラベル学習(SPML)において負のラベルとして仮定される。 本研究では, 予測確率のエントロピーを最大化するエントロピー最大化(EM)損失を提案する。 非通知ラベルの正負ラベル不均衡を考慮し、非対称耐性戦略とより精密な監視を行うセルフペースト手順を備えた非対称擬似ラベル(APL)を提案する。
  論文  参考訳（メタデータ） (2022-03-30T11:43:59Z)
• Learning with Proper Partial Labels [87.65718705642819]
  部分ラベル学習は、不正確なラベルを持つ弱い教師付き学習の一種である。 この適切な部分ラベル学習フレームワークには,従来の部分ラベル学習設定が数多く含まれていることを示す。 次に、分類リスクの統一的非バイアス推定器を導出する。
  論文  参考訳（メタデータ） (2021-12-23T01:37:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。