論文の概要: DIAL: Position-Debiased LLM Judges with Adaptive Human Preference Calibration

• arxiv url: http://arxiv.org/abs/2609.31215v1
• Date: Fri, 25 Sep 2026 12:56:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 18:27:51.399841
• Title: DIAL: Position-Debiased LLM Judges with Adaptive Human Preference Calibration
• Title（参考訳）: DIAL: 適応的ヒト選好校正を用いた位置ずれ型LLM審査員
• Abstract要約: ジャッジとしての大規模言語モデル(LLM)は、スケーラブルな評価を可能にするが、その判断は応答順序に敏感である。 DIALは、豊富なLLM比較と限定された人間比較とを結合した統合されたフレームワークで、判断固有の位置効果を分離する。 DIALの3つの側面として, (i) 潜時LDM選好, 位置効果, 人間の校正の同定, (ii) 限定された人間の証拠とLLMアンカーのバランスをとる適応推定, (iii) 校正された人間の選好に対する固定重量不確実性定量化について検討した。
• 参考スコア（独自算出の注目度）: 6.840580014232331
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) as a judge enable scalable evaluation, but their judgments can be sensitive to response order and, even after removing such position effects, can still diverge systematically from human preferences.We introduce DIAL, a unified framework that combines abundant LLM comparisons with limited human comparisons to separate judge-specific position effects, learn shared structure in position-debiased LLM preferences, and adaptively calibrate that structure toward the human preference target. Theoretically, we study three aspects of DIAL: (i) identification of latent LLM preferences, position effects, and human calibration; (ii) adaptive estimation that balances LLM anchoring against limited human evidence; and (iii) fixed-weight uncertainty quantification for the calibrated human preference. Empirically, we evaluate position debiasing and human alignment separately in controlled simulations and on three human-preference benchmarks, showing that DIAL remains robust to unbalanced response order, achieves strong human-aligned rankings with limited labels, and adapts toward human evidence when LLM information is imperfect. Our real-data study collects over 410K judgments from 21 LLM judges in both display orders, providing a resource for future studies of LLM-judge bias, heterogeneity, and human alignment.
• Abstract（参考訳）: 大規模言語モデル (LLM) は, 尺度としてスケーラブルな評価を可能にするが, その判断は応答順序に敏感であり, 位置の影響を除去しても, 体系的に人間の嗜好から逸脱することができる。 理論的には、DIALの3つの側面について研究する。 一 潜伏LLMの選好、位置効果及びヒトの校正の特定 二 限定された人的証拠に対してLLMアンカーのバランスをとる適応的評価及び 三 校正された人間の嗜好に対する固定重量不確実性定量化。 実験により、制御されたシミュレーションと3つの人選ベンチマークにおいて、位置偏差と人間のアライメントを別々に評価し、DIALがバランスの取れていない応答順序に頑健であり、ラベルが限られている強い人選ランキングを達成し、LLM情報が不完全である場合の人間のエビデンスに適応することを示す。 実データ調査では、21人のLCM審査員から2つの表示順序で410万以上の判断を収集し、LCM-judgeバイアス、不均一性、および人間のアライメントに関する将来の研究のリソースを提供する。

関連論文リスト

• Automated Concept Discovery for LLM-as-a-Judge Preference Analysis [21.171990974350773]
  大規模言語モデル(LLM)は、モデル出力のスケーラブルな評価手段として、ますます使われています。 彼らの選好判断は体系的な偏見を示し、人間の評価から分岐することができる。 LLM判定の動作を解析するための埋め込みレベルの概念抽出法について検討した。
  論文  参考訳（メタデータ） (2026-02-09T20:55:16Z)
• On Evaluating LLM Alignment by Evaluating LLMs as Judges [68.15541137648721]
  大規模言語モデル(LLM)のアライメントを評価するには、助け、誠実、安全、正確に人間の指示に従う必要がある。 本研究では,LLMの生成能力と評価能力の関係について検討した。 モデル出力を直接評価することなくアライメントを評価するベンチマークを提案する。
  論文  参考訳（メタデータ） (2025-11-25T18:33:24Z)
• Bridging Human and LLM Judgments: Understanding and Narrowing the Gap [39.90675202514829]
  大規模言語モデルは、モデルアウトプットを大規模に評価するために、審査員(LLM-as-a-judge)として使われることが多い。 我々は、人間とLLMの評価を明示的に橋渡しする統一統計フレームワークであるBridgeを提案する。
  論文  参考訳（メタデータ） (2025-08-18T10:14:20Z)
• Arbiters of Ambivalence: Challenges of Using LLMs in No-Consensus Tasks [52.098988739649705]
  本研究では, LLMのバイアスと限界について, 応答生成器, 判定器, 討論器の3つの役割について検討した。 我々は、様々な先行的曖昧なシナリオを含む例をキュレートすることで、合意なしのベンチマークを開発する。 以上の結果から, LLMは, オープンエンドの回答を生成する際に, 曖昧な評価を行うことができる一方で, 審査員や討論者として採用する場合は, 合意なしのトピックにスタンスを取る傾向が示唆された。
  論文  参考訳（メタデータ） (2025-05-28T01:31:54Z)
• Uncovering Factor Level Preferences to Improve Human-Model Alignment [58.50191593880829]
  PROFILEは、好みを駆動する特定の要因の影響を明らかにし、定量化するフレームワークである。 ProFILE の因子レベル分析は、人間モデルのアライメントと不適応の背後にある 'なぜ' を説明している。 我々は、不整合要因に対処するなど、要因レベルの洞察の活用が、人間の嗜好との整合性をいかに改善するかを実証する。
  論文  参考訳（メタデータ） (2024-10-09T15:02:34Z)
• Systematic Evaluation of LLM-as-a-Judge in LLM Alignment Tasks: Explainable Metrics and Diverse Prompt Templates [11.948519516797745]
  LLM審査員の信頼性とアライメントを評価・比較・可視化するオープンソースフレームワークを開発した。 以上の結果から,LLM判定性能に対するプロンプトテンプレートの影響や,LLM判定器とヒト評価器の中間的なアライメントレベルに有意な影響が示唆された。
  論文  参考訳（メタデータ） (2024-08-23T11:49:01Z)
• Fairer Preferences Elicit Improved Human-Aligned Large Language Model Judgments [41.25558612970942]
  大規模言語モデル (LLMs) が優先バイアスを示し, 設計に敏感であることを示す。 この現象に触発された自動ゼロショット評価指向のプロンプト最適化フレームワークZEPOを提案する。
  論文  参考訳（メタデータ） (2024-06-17T09:48:53Z)
• Aligning with Human Judgement: The Role of Pairwise Preference in Large Language Model Evaluators [48.54465599914978]
  大規模言語モデル(LLM)は、生成された自然言語の品質を評価するための自動評価器として有望な能力を示した。 LLMは依然として評価のバイアスを示しており、人間の評価と整合したコヒーレントな評価を生成するのに苦労することが多い。 Pairwise-preference Search (PAIRS) は、LLMを用いた不確実性誘導検索に基づくランクアグリゲーション手法で、局所的にペアワイズ比較を行い、グローバルに候補テキストを効率よくランク付けする。
  論文  参考訳（メタデータ） (2024-03-25T17:11:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。