論文の概要: JudgeProfile: Understanding and Steering Subjectivity in LLM Judges

• arxiv url: http://arxiv.org/abs/2609.36705v2
• Date: Tue, 06 Oct 2026 00:21:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 02:58:29.228495
• Title: JudgeProfile: Understanding and Steering Subjectivity in LLM Judges
• Title（参考訳）: judgeProfile: LLM審査員の理解と主観性
• Abstract要約: 審査員は、明瞭さ、正確さ、詳細など、特定の属性にまたがる2つの反応を比較検討する。 裁判官は、全体的な選択がばらばらになっても、しばしば属性判断に同意する。
• 参考スコア（独自算出の注目度）: 33.77747232529031
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: LLM judges are inherently subjective, often favoring different responses in pairwise comparison when neither option is objectively wrong. To study this subjectivity, we introduce JudgeProfile, a framework that dissects LLM evaluation into perception (how a judge compares two responses across specific attributes like clarity, correctness, and detail) and prioritization (how much each attribute influences the final choice). We curate SubjectiveSet, a dataset of 50,013 response pairs from 17 public data sources, evaluated by 21 LLM judges across 87 attributes. We find a hidden consensus in perception: judges frequently agree on attribute judgments even when their overall choices diverge. Building on this separation, we first characterize each judge's prioritization using attribute weights estimated from its own overall choices. These weights differ across judges even when estimated from the same attribute judgments. We then learn new weights from reference labels to adapt their decisions to a target evaluation standard. Reweighting perceived attributes improves average held-out agreement with reference labels from 66.48% to 71.97%, outperforming fine-tuning and rubric prompting. Our findings show that understanding and steering the subjectivity of LLM judges requires attention not only to what they perceive, but also to how they prioritize it.
• Abstract（参考訳）: LLM審査員は本質的に主観的であり、どちらの選択肢も客観的に間違っている場合、ペアワイズ比較で異なる反応を好むことが多い。 この主観性を研究するために,LLM評価を認識に識別するフレームワークであるJiceProfileを紹介した。 我々は、17の公開データソースから50,013のレスポンスペアのデータセットであるSubjectiveSetを、87の属性にまたがる21のLCM審査員によって評価した。 裁判官は、全体的な選択がばらばらになっても、しばしば属性判断に同意する。 この分離に基づいて、我々はまず、各裁判官の優先順位付けを、その全体的な選択から推定される属性重みを用いて特徴づける。 これらの重みは、同一の属性の判断から見積もっても、裁判官によって異なる。 次に、基準ラベルから新たな重み付けを学び、その決定を目標評価基準に適合させる。 認識された属性の再重み付けは、参照ラベルとの平均的持久一致を66.48%から71.97%に改善し、微調整とルーリックのプロンプトを上回ります。 以上の結果から,LLM審査員の主観性に対する理解と評価は,彼らが何を認識しているかだけでなく,どのように優先するかに注意が必要であることが示唆された。

関連論文リスト

• Quantitative LLM Judges [60.773734899532336]
  本研究では,既存のLLM審査員の評価スコアを,与えられた領域内の人間と一致させる定量的LLM審査員を提案する。 モデルは、その合理性とスコアを使用して、元の審査員のスコアを改善するために訓練される。 実験の結果, 定量的な判断は, ポストホックモデリングにより, 既存の判断の予測力を向上できることがわかった。
  論文  参考訳（メタデータ） (2025-06-03T14:44:23Z)
• Beyond the Surface: Measuring Self-Preference in LLM Judgments [35.66285592603435]
  大規模言語モデル(LLM)は、裁判官として機能する際の自己選好バイアスを示す。 既存の方法は、審査員モデルが割り当てるスコアと、他のモデルからのレスポンスに割り当てるスコアの差を計算することで、このバイアスを測定するのが一般的である。 そこで本研究では,自己選好バイアス(自己選好バイアス)を測定するDBGスコアを提案する。
  論文  参考訳（メタデータ） (2025-06-03T08:12:47Z)
• JuStRank: Benchmarking LLM Judges for System Ranking [7.507819077549208]
  我々はLLM審査員をシステムランクラーとして大規模に調査した。 システムスコアは、複数のシステム出力に対して判定スコアを集約することで生成される。 我々の分析は、判断力や偏見を含む判断行動のきめ細かい特徴を提供する。
  論文  参考訳（メタデータ） (2024-12-12T18:51:13Z)
• JudgeBench: A Benchmark for Evaluating LLM-based Judges [61.048125269475854]
  judgeBenchは、知識、推論、数学、コーディングにまたがる挑戦的な応答ペアに関するLSMベースの判断を評価するためのベンチマークである。 審査員、微調整された審査員、マルチエージェントの審査員、報酬モデルに関する包括的な評価は、審査員ベンチが以前のベンチマークよりもかなり大きな課題を課していることを示している。
  論文  参考訳（メタデータ） (2024-10-16T17:58:19Z)
• From Calculation to Adjudication: Examining LLM judges on Mathematical Reasoning Tasks [11.01213914485374]
  数学的推論タスクにおいて,大規模言語モデル (LLM) について検討する。 本分析により,判定性能と候補モデルタスク性能との間に強い相関関係が明らかになった。 その結果、音声の一部タグのような単純な特徴を用いて、LLM判断者の行動を予測することができるかどうかを検証した。
  論文  参考訳（メタデータ） (2024-09-06T10:09:41Z)
• JudgeLM: Fine-tuned Large Language Models are Scalable Judges [48.053949045598344]
  大規模言語モデル(LLM)をオープンなシナリオで評価することは、既存のベンチマークやメトリクスがそれらを包括的に測定できないため、難しい。 本稿では,拡張性のある審査員 (JudgeLM) としてLLMを微調整し,LLMを効率よく,かつ効率的に評価する手法を提案する。 我々は7B,13Bから33Bパラメータの異なるスケールでJiceLMを訓練し、その能力と振る舞いを体系的に分析する。
  論文  参考訳（メタデータ） (2023-10-26T17:48:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。