論文の概要: Human-Residual Steering: Aligning Frozen LLM Judges with Human Judgment Distributions

• arxiv url: http://arxiv.org/abs/2610.37868v1
• Date: Tue, 27 Oct 2026 19:13:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-03 19:23:12.343449
• Title: Human-Residual Steering: Aligning Frozen LLM Judges with Human Judgment Distributions
• Title（参考訳）: ヒューマン・レジデンシャル・ステアリング:人間の判断分布を考慮した冷凍LDM審査員の調整
• Abstract要約: 人間-残留ステアリング(Human-Residual Steering、HRS)は、凍結した大きな言語モデルと人間の判断分布を合わせる方法である。 HRSは、裁判官の隠された表現と評価ログからそのような修正を予測することを学ぶ。 HRSは、アライメントのわずかなコストで、分布微調整の約88倍のパラメータを訓練する。
• 参考スコア（独自算出の注目度）: 9.129781985019688
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) are widely used as automated judges, yet most alignment methods target aggregated human judgments and overlook variation among individual annotators. Existing approaches to matching the full distribution of human ratings mainly rely on output-level calibration or parameter fine-tuning. We propose Human-Residual Steering (HRS), to our knowledge the first method to align frozen LLM judges with human judgment distributions through learned hidden-state interventions. An oracle analysis shows that low-rank corrections at a single layer remove most of the discrepancy between judge and human distributions. HRS learns to predict such corrections from the judge's hidden representation and rating logits, training on individual annotations with proper scoring rules for ordinal and nominal judgments and optimising through the frozen downstream layers. Across 14 benchmarks and four judges from three model families, HRS outperforms all evaluated frozen-weight baselines. With Qwen2.5-7B, it achieves the lowest Jensen-Shannon distance on 13 of 14 benchmarks, reducing the mean from 0.565 to 0.352 versus 0.377 for the strongest calibrator. HRS also raises mean Spearman correlation with aggregate human scores from 0.449 to 0.579, improves population-level estimation under limited annotation budgets, and trains about 88 times fewer parameters than distributional fine-tuning at a modest cost in alignment.
• Abstract（参考訳）: 大規模言語モデル (LLM) は自動判断法として広く用いられているが、ほとんどのアライメント手法は、個々のアノテータの集約された人間の判断と見落としの変化をターゲットとしている。 人間のレーティングの完全な分布をマッチングするための既存のアプローチは、主に出力レベルのキャリブレーションやパラメータの微調整に依存している。 本研究では, 凍結型LLM審査員と人間の判断分布を, 学習された隠れ状態の介入によって整合させる最初の方法として, HRS(Human-Residual Steering)を提案する。 オラクル分析により、単一層での低ランク補正は、判断と人的分布の相違の大部分を排除していることが示された。 HRSは、裁判官の隠された表現と評価ロジットからそのような修正を予測することを学び、規則と名目上の判断の適切なスコアリングルールで個々のアノテーションを訓練し、凍結した下流層を通して最適化する。 14のベンチマークと3つのモデルファミリーの4人の審査員は、すべて凍結重量ベースラインを上回ります。 Qwen2.5-7Bでは14ベンチマーク中13ベンチマークで最低のJensen-Shannon距離を達成し、最強キャリブレータでは平均0.565から0.352に下げた。 HRSはまた、人間全体のスコアと平均スピアマン相関を0.449から0.579に引き上げ、限定的なアノテーション予算の下での人口レベルの推定を改善し、アライメントのわずかなコストで分布微調整の約88倍のパラメータを訓練する。

関連論文リスト

• Pinned and Still Unstable: Within-Judge Verdict Variance and the Noise Floor of LLM-as-Judge Leaderboards [0.0]
  LLM評価は、審査員を固定されたモデルバージョンに固定し、温度ゼロで復号すると再現可能な判定が得られると仮定する。 この仮定は、LLM-as-Judgeがクラウドサービスインフラ上でどのように運用されているかという特性として失敗することを示す。
  論文  参考訳（メタデータ） (2026-09-27T00:19:41Z)
• RoPoLL: Robust Panel of LLM Judges [0.48140562393133074]
  我々は,ハマー汚染モデルの下でLLM Juryを定式化し,PoLLが任意の正の汚染下でバイアスを発生させることを示す。 本稿では,PoLLパネルを保存するが,アグリゲーション関数を頑健な平均推定器で置き換えるRoPoLL(LLM-as-JudgeのRobust Panel)を提案する。
  論文  参考訳（メタデータ） (2026-06-29T21:34:27Z)
• From Uncertain Judgments to Calibrated Rankings: Conformal Elo Estimation for LLM Evaluation [3.5637034560362935]
  2つの相補的なレベルで、結果の判断と人間の意見の不一致を定量化する。 地方レベルでは、審査員自身のスコア差から、各戦場における不確実性を推定する。 これだけでも、Elo推定精度を大幅に改善する。
  論文  参考訳（メタデータ） (2026-06-11T11:38:05Z)
• Instance-Optimal Estimation with Multiple LLM Judges on a Budget [84.31744861038106]
  我々は、この問題を*予算付きヘテロスケダティックなマルチジャッジ推定*として定式化する。 K$のプロンプト-レスポンスペア、J$の既知のコストと未知のクエリ-ジャッジ分散が与えられた場合、目標は、$ell_p$-errorを最小化しながら、有界スコアベクトルを推定することである。 EST-IVWEは,予算の低次項までのオラクルIVWEレートと一致していることを示す。
  論文  参考訳（メタデータ） (2026-05-22T08:26:08Z)
• CriterAlign: Criterion-Centric Rationale Alignment for Code Preference Judging [95.02210956333374]
  本稿では,一対の選好評価にルーブリックに基づく判断を適応させる基準中心のフレームワークを提案する。 BigCodeRewardでは、CriterAlignはQwen2.5-VL-32Bモノリシック判事を60.4%から66.3%に改善した。
  論文  参考訳（メタデータ） (2026-05-19T10:59:19Z)
• Step-wise Rubric Rewards for LLM Reasoning [72.17879367869503]
  RLVR(Reinforcement Learning with Verifiable Rewards)は、大規模言語モデルの推論を改善するために広く使われている。 正しい回答の18.2%は間違っているが、肯定的な報酬がある。 6つの数学的推論ベンチマークで、SRaRはRaRの平均精度を3.57ポイント改善した。
  論文  参考訳（メタデータ） (2026-05-17T07:08:14Z)
• Putting HUMANS first: Efficient LAM Evaluation with Human Preference Alignment [53.72927532626824]
  わずか50個のサンプル(0.3%のデータ)のサブセットは、完全なベンチマークスコアと0.93以上のピアソン相関を達成可能であることを示す。 選好をより良く予測するために、選択したサブセットの回帰モデルを訓練し、0.98の相関を達成した。 これは回帰モデリングにおいて、よく計算されたサブセットが完全なベンチマークを予測し、量を超える品質を示すことを示している。
  論文  参考訳（メタデータ） (2026-04-20T00:57:31Z)
• K-Sort Eval: Efficient Preference Evaluation for Visual Generation via Corrected VLM-as-a-Judge [51.93484138861584]
  視覚生成モデルの急速な開発により、よりスケーラブルで人間に合わせた評価方法の必要性が高まっている。 K-Sort Evalは,後方補正と動的マッチングを統合した信頼性と効率的なVLMに基づく評価フレームワークである。 実験の結果、K-Sort EvalはK-Sort Arenaと一致した評価結果を提供する。
  論文  参考訳（メタデータ） (2026-02-10T05:07:46Z)
• Better than Random: Reliable NLG Human Evaluation with Constrained Active Sampling [50.08315607506652]
  信頼性の高い人的判断のための制約付きアクティブサンプリングフレームワーク(CASF)を提案する。 実験の結果、CASFは93.18%のシステム認識精度が得られた。
  論文  参考訳（メタデータ） (2024-06-12T07:44:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。