論文の概要: Post-hoc Alignment of LLM-judges to Human Judgment Distribution

• arxiv url: http://arxiv.org/abs/2609.01073v1
• Date: Tue, 01 Sep 2026 11:03:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-02 16:31:36.598027
• Title: Post-hoc Alignment of LLM-judges to Human Judgment Distribution
• Title（参考訳）: LLMジャッジのポストホックアライメントと人間の判断分布
• Authors: Sebastian Steindl, Nikos Voskarides, Alberto Gasparin, Diego Marcheggiani,
• Abstract要約: NAPHAはベースLLMモデルとデータセット間のソフトラベル予測を一貫して改善することを示す。 また, オラクル実験を通じて, エントロピークラス予測の改善は, NAPHAの実用性を大幅に向上させることを示した。
• 参考スコア（独自算出の注目度）: 3.0607199893136006
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: The LLM-as-a-judge (LLMaJ) framework offers a cost-effective and reproducible solution for automatic evaluation. However, current evaluation practices typically compare LLMaJ judgments against aggregated ground-truth labels, overlooking the valuable information contained in Human Label Variation (HLV). Inspired by an increasing line of work that proposes to leverage HLV, we systematically study LLMaJ performance on predicting both a single, aggregated ground truth hard-label and unaggregated soft-labels that represent Human Judgment Distributions (HJD). Our results across five diverse datasets reveal that while LLMs achieve near human-level performance at hard-label prediction on most tasks, they exhibit poor performance when predicting soft-labels. To address this limitation, we propose NAPHA (eNtropy-Aware Post-Hoc Alignment), a simple yet effective lightweight post-hoc alignment method that matches the LLM distribution to the HJD by first assigning an instance to a discrete entropy class and then routing it to specialized, trained alignment models. We find that NAPHA consistently improves soft-labels prediction across base LLM models and datasets, with particularly strong gains on high-entropy instances where capturing diverse human perspectives is most critical. We also show via oracle experiments that improving entropy class prediction can substantially enhance NAPHA's practical effectiveness.
• Abstract（参考訳）: LLM-as-a-judge(LLMaJ)フレームワークは、自動評価のための費用対効果と再現性を備えたソリューションを提供する。 しかしながら、現在の評価慣行は、一般的に、人ラベル変動(HLV)に含まれる貴重な情報を見越して、集約された地味ラベルに対するLLMaJの判断と比較する。 HLVを活用することを提案する研究の行に触発されて,我々は,HJD(Human Judgment Distributions)を表す単一の,集約された真実のハードラベルと未集約のソフトラベルの両方を予測するLLMaJのパフォーマンスを体系的に研究した。 これらの結果から,LLMは,ほとんどのタスクにおいてハードラベル予測において,ほぼ人間レベルの性能を達成できるが,ソフトラベル予測では性能が劣っていることが明らかとなった。 この制限に対処するために、まずインスタンスを離散エントロピークラスに割り当て、その後、専門的に訓練されたアライメントモデルにルーティングすることで、LLM分布をHJDにマッチさせる、シンプルで効果的な軽量なポストホックアライメント手法であるNAPHA(eNtropy-Aware Post-Hoc Alignment)を提案する。 NAPHAは、基本LLMモデルとデータセット間のソフトラベル予測を一貫して改善し、多種多様な人間の視点を捉える高エントロピーインスタンスが特に重要となる。 また, オラクル実験を通じて, エントロピークラス予測の改善は, NAPHAの実用性を大幅に向上させることを示した。

関連論文リスト

• GEM: Generative Entropy-Guided Preference Modeling for Few-shot Alignment of LLMs [5.1816417820270075]
  本稿では,大規模言語モデル(LLM)のためのジェネレーティブエントロピー誘導選好モデリング手法GEMを提案する。 選好データに基づいて差別的な報酬モデルを訓練する代わりに、LLMを直接訓練してクローズドループ最適化アーキテクチャを内部化する。 一般的なベンチマークとドメイン固有のタスクの実験は、GEMが数ショットの選好データで大幅な改善を達成していることを示している。
  論文  参考訳（メタデータ） (2025-11-17T06:04:47Z)
• Beyond the Surface: Enhancing LLM-as-a-Judge Alignment with Human via Internal Representations [15.542741121573203]
  LAGERは「LLM-as-a-Judge」評価と人間のスコアとのアライメントを改善するためのフレームワークである。 本研究では,Frask,HelpSteer,BIGGenの標準アライメントベンチマークをSpearman相関を用いて評価し,LAGERが最高のベースラインに対して最大7.5%の改善を実現していることを確認した。
  論文  参考訳（メタデータ） (2025-08-05T15:18:36Z)
• Reward-Augmented Data Enhances Direct Preference Alignment of LLMs [63.32585910975191]
  報奨条件付き大言語モデル(LLM)を導入し、データセット内の応答品質のスペクトル全体から学習する。 当社のアプローチは,DPOをかなりのマージンで継続的に向上させることを示す。 本手法は,嗜好データの有用性を最大化するだけでなく,未学習の問題も軽減し,データ拡張を超えてその広範な効果を実証する。
  論文  参考訳（メタデータ） (2024-10-10T16:01:51Z)
• Uncertainty Aware Learning for Language Model Alignment [97.36361196793929]
  異なるタスクシナリオのモデルアライメントを改善するために,不確実性認識学習(UAL)を提案する。 トレーニングのラベルの平滑化値を個々のサンプルの不確実性に応じて適応的に設定する。 広く使われているベンチマーク実験では、我々のUALは標準教師あり微調整よりも著しく優れています。
  論文  参考訳（メタデータ） (2024-06-07T11:37:45Z)
• From Quantity to Quality: Boosting LLM Performance with Self-Guided Data Selection for Instruction Tuning [52.257422715393574]
  本稿では,Large Language Models (LLMs) の自己誘導手法を導入し,オープンソースデータセットからサクラサンプルを自動識別し,選択する。 我々の重要な革新である命令追従困難度(IFD)メトリックは、モデルが期待する応答と本質的な生成能力の相違を識別するための重要な指標として現れます。
  論文  参考訳（メタデータ） (2023-08-23T09:45:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。