論文の概要: Post-hoc Alignment of LLM-judges to Human Judgment Distribution
- arxiv url: http://arxiv.org/abs/2609.01073v1
- Date: Tue, 01 Sep 2026 11:03:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-02 16:31:36.598027
- Title: Post-hoc Alignment of LLM-judges to Human Judgment Distribution
- Title（参考訳）: LLMジャッジのポストホックアライメントと人間の判断分布
- Abstract要約: NAPHAはベースLLMモデルとデータセット間のソフトラベル予測を一貫して改善することを示す。
また, オラクル実験を通じて, エントロピークラス予測の改善は, NAPHAの実用性を大幅に向上させることを示した。
- 参考スコア（独自算出の注目度）: 3.0607199893136006
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: The LLM-as-a-judge (LLMaJ) framework offers a cost-effective and reproducible solution for automatic evaluation. However, current evaluation practices typically compare LLMaJ judgments against aggregated ground-truth labels, overlooking the valuable information contained in Human Label Variation (HLV). Inspired by an increasing line of work that proposes to leverage HLV, we systematically study LLMaJ performance on predicting both a single, aggregated ground truth hard-label and unaggregated soft-labels that represent Human Judgment Distributions (HJD). Our results across five diverse datasets reveal that while LLMs achieve near human-level performance at hard-label prediction on most tasks, they exhibit poor performance when predicting soft-labels. To address this limitation, we propose NAPHA (eNtropy-Aware Post-Hoc Alignment), a simple yet effective lightweight post-hoc alignment method that matches the LLM distribution to the HJD by first assigning an instance to a discrete entropy class and then routing it to specialized, trained alignment models. We find that NAPHA consistently improves soft-labels prediction across base LLM models and datasets, with particularly strong gains on high-entropy instances where capturing diverse human perspectives is most critical. We also show via oracle experiments that improving entropy class prediction can substantially enhance NAPHA's practical effectiveness.
- Abstract（参考訳）: LLM-as-a-judge(LLMaJ)フレームワークは、自動評価のための費用対効果と再現性を備えたソリューションを提供する。
しかしながら、現在の評価慣行は、一般的に、人ラベル変動(HLV)に含まれる貴重な情報を見越して、集約された地味ラベルに対するLLMaJの判断と比較する。
HLVを活用することを提案する研究の行に触発されて,我々は,HJD(Human Judgment Distributions)を表す単一の,集約された真実のハードラベルと未集約のソフトラベルの両方を予測するLLMaJのパフォーマンスを体系的に研究した。
これらの結果から,LLMは,ほとんどのタスクにおいてハードラベル予測において,ほぼ人間レベルの性能を達成できるが,ソフトラベル予測では性能が劣っていることが明らかとなった。
この制限に対処するために、まずインスタンスを離散エントロピークラスに割り当て、その後、専門的に訓練されたアライメントモデルにルーティングすることで、LLM分布をHJDにマッチさせる、シンプルで効果的な軽量なポストホックアライメント手法であるNAPHA(eNtropy-Aware Post-Hoc Alignment)を提案する。
NAPHAは、基本LLMモデルとデータセット間のソフトラベル予測を一貫して改善し、多種多様な人間の視点を捉える高エントロピーインスタンスが特に重要となる。
また, オラクル実験を通じて, エントロピークラス予測の改善は, NAPHAの実用性を大幅に向上させることを示した。
関連論文リスト
- Rethinking the Evaluation and Optimization of LLM-Based Social Simulation [56.18577997572273]
主観性係数を用いて、主観性が高くなるにつれて、精度に基づく評価とハードラベルトレーニングがいかに失敗するかを分析する。
我々は193のアノテーションと100の主観的質問を含む19,300の文脈のベンチマークであるSUBJSIMを構築した。
SUBJSIMの結果は,本手法の利点を示すものである。
論文 参考訳（メタデータ） (2026-08-20T06:26:03Z) - DAJ: Data-Reweighted LLM Judge for Test-Time Scaling in Code Generation [30.131052926559956]
DAJは,2段階のデータ重み付け学習フレームワークを用いて報酬を訓練した推論に基づくLLM判定器である。
提案手法は,手作り検証に頼らずに,困難問題,分布内サンプル,軌跡整列データを自動的に強調する。
論文 参考訳（メタデータ） (2026-01-29T19:04:24Z) - LLM Performance Predictors: Learning When to Escalate in Hybrid Human-AI Moderation Systems [5.7001352660257005]
本稿では,コンテンツモデレーションシステムにおける不確実性定量化の監視のためのフレームワークを提案する。
提案手法は,実世界のヒューマンAIにおいて,コストアウェアの選択的分類を可能にする。
この研究は、不確実性を認識し、スケーラブルで責任あるヒューマンAIモデレーションのための原則化されたフレームワークを確立する。
論文 参考訳（メタデータ） (2026-01-11T17:46:49Z) - GEM: Generative Entropy-Guided Preference Modeling for Few-shot Alignment of LLMs [5.1816417820270075]
本稿では,大規模言語モデル(LLM)のためのジェネレーティブエントロピー誘導選好モデリング手法GEMを提案する。
選好データに基づいて差別的な報酬モデルを訓練する代わりに、LLMを直接訓練してクローズドループ最適化アーキテクチャを内部化する。
一般的なベンチマークとドメイン固有のタスクの実験は、GEMが数ショットの選好データで大幅な改善を達成していることを示している。
論文 参考訳（メタデータ） (2025-11-17T06:04:47Z) - Beyond the Surface: Enhancing LLM-as-a-Judge Alignment with Human via Internal Representations [15.542741121573203]
LAGERは「LLM-as-a-Judge」評価と人間のスコアとのアライメントを改善するためのフレームワークである。
本研究では,Frask,HelpSteer,BIGGenの標準アライメントベンチマークをSpearman相関を用いて評価し,LAGERが最高のベースラインに対して最大7.5%の改善を実現していることを確認した。
論文 参考訳（メタデータ） (2025-08-05T15:18:36Z) - Mitigating Forgetting in LLM Fine-Tuning via Low-Perplexity Token Learning [65.23593936798662]
LLM生成データによる微調整により,目標タスクの性能が向上し,非目標タスクの劣化が低減されることを示す。
微調整後のLSMにおける破滅的忘れを緩和するために、トークンの難易度低減に基づく経験的説明を提供する最初の研究である。
論文 参考訳（メタデータ） (2025-01-24T08:18:56Z) - Reward-Augmented Data Enhances Direct Preference Alignment of LLMs [63.32585910975191]
報奨条件付き大言語モデル(LLM)を導入し、データセット内の応答品質のスペクトル全体から学習する。
当社のアプローチは,DPOをかなりのマージンで継続的に向上させることを示す。
本手法は,嗜好データの有用性を最大化するだけでなく,未学習の問題も軽減し,データ拡張を超えてその広範な効果を実証する。
論文 参考訳（メタデータ） (2024-10-10T16:01:51Z) - Uncertainty Aware Learning for Language Model Alignment [97.36361196793929]
異なるタスクシナリオのモデルアライメントを改善するために,不確実性認識学習(UAL)を提案する。
トレーニングのラベルの平滑化値を個々のサンプルの不確実性に応じて適応的に設定する。
広く使われているベンチマーク実験では、我々のUALは標準教師あり微調整よりも著しく優れています。
論文 参考訳（メタデータ） (2024-06-07T11:37:45Z) - Spread Preference Annotation: Direct Preference Judgment for Efficient LLM Alignment [72.99676237703099]
大規模言語モデルと人間の嗜好の整合性を高める新しいフレームワークを提案する。
私たちのキーとなるアイデアは、小さな(種)データの中で人間の事前知識を活用することです。
本稿では,ノイズ認識型選好学習アルゴリズムを導入し,生成した選好データにおける品質低下のリスクを軽減する。
論文 参考訳（メタデータ） (2024-06-06T18:01:02Z) - A Channel-ensemble Approach: Unbiased and Low-variance Pseudo-labels is Critical for Semi-supervised Classification [61.473485511491795]
半教師付き学習(SSL)はコンピュータビジョンにおける実践的な課題である。
Pseudo-label (PL) メソッド、例えば FixMatch や FreeMatch は SSL で State of The Art (SOTA) のパフォーマンスを取得する。
本稿では,複数の下位PLを理論的に保証された非偏りと低分散のPLに集約する,軽量なチャネルベースアンサンブル法を提案する。
論文 参考訳（メタデータ） (2024-03-27T09:49:37Z) - From Quantity to Quality: Boosting LLM Performance with Self-Guided Data Selection for Instruction Tuning [52.257422715393574]
本稿では,Large Language Models (LLMs) の自己誘導手法を導入し,オープンソースデータセットからサクラサンプルを自動識別し,選択する。
我々の重要な革新である命令追従困難度(IFD)メトリックは、モデルが期待する応答と本質的な生成能力の相違を識別するための重要な指標として現れます。
論文 参考訳（メタデータ） (2023-08-23T09:45:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。