論文の概要: What Pairwise Evaluation Misses: Reward Scores across Prompts

• arxiv url: http://arxiv.org/abs/2610.31090v1
• Date: Thu, 22 Oct 2026 11:00:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-24 02:08:44.330097
• Title: What Pairwise Evaluation Misses: Reward Scores across Prompts
• Title（参考訳）: ペアワイズ・アセスメントの失敗 - プロンプト全体でのリワードスコア
• Abstract要約: モデルスコアの差分変動と、同じ反応の人間の評価値の差を比較した。 スコアのクラスタは、評価よりも早くなります。
• 参考スコア（独自算出の注目度）: 0.12277343096128711
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reward models score responses for preference optimization, filtering and ranking, and pooling scores across prompts needs them to be comparable. Yet pairwise evaluation compares two responses to the same prompt, so any score component shared by a prompt's responses cancels and goes untested. We study this component by comparing between-prompt variation in model scores with the same variation in human ratings of the same responses. We propose a human-referenced audit, built from a between-prompt variance share, a sibling-rating regression and prompt substitutions, and apply it to eighteen released scorers and six matched training conditions. We find that scores cluster by prompt more than the ratings do: on HelpSteer2, six reward models have between-prompt shares of 0.34 to 0.64 against a human share near zero. Replacing the original prompt with a fixed instruction keeps substantial clustering but weakens agreement with prompt-level human ratings, so clustering alone does not show agreement with humans. Part of that variation is useful: subtracting prompt means lowers the helpfulness of globally selected responses, and scores stay sensitive to a wrong prompt even when training shuffles prompt means. We propose that reward evaluation check between-prompt variation, sensitivity to a wrong prompt and usefulness for selection separately.
• Abstract（参考訳）: Rewardモデルは、好みの最適化、フィルタリングとランク付けのためのレスポンスをスコアし、プロンプトをまたいだスコアをプールするには、それらと同等にする必要がある。 しかし、ペアワイズ評価は2つのレスポンスを同じプロンプトと比較するため、プロンプトのレスポンスで共有されるスコアコンポーネントはキャンセルされ、テストされない。 本研究は,モデルスコアの確率間変動と,同じ応答の人間の評価値の変動を比較することで,この成分について検討する。 本研究では,段階間分散,兄弟関係の回帰,即時置換から構築した人間関係監査法を提案し,それを18点のスコアと6つの一致したトレーニング条件に適用する。 HelpSteer2では、6つの報酬モデルが0に近い人間のシェアに対して0.34から0.64の確率の株式を持つ。 元のプロンプトを固定命令で置き換えることは、実質的なクラスタリングを維持するが、迅速なレベルの人間格付けとの一致を弱めるため、クラスタリングだけでは人間との一致を示さない。 プロンプトの減算手段は、グローバルに選択された応答の利便性を低下させ、トレーニングシャッフルのプロンプト手段をトレーニングしてもスコアは間違ったプロンプトに敏感である。 提案手法は,報酬評価において,プロンプト間の変動,誤ったプロンプトに対する感度,選択に別々に有用であることを示す。

関連論文リスト

• Behind Aggregate Scores: What Systematically Varying Arena-Hard's LLM Judge Reveals [0.0]
  類似の集計スコアは、個々の評定の実質的な変化を隠蔽できることを示す。 ある設定では、判断を推論せずに要求し、他のいくつかの指示を下すと、結果が28.2ポイント以上のプロンプトで変化する。 安定した集計スコアは、個々の評定が繰り返し可能であることを証明しない。
  論文  参考訳（メタデータ） (2026-10-21T22:46:14Z)
• PerSPL: Personalized Semi-supervised Preference Learning [10.764131400770024]
  textbfPerSPL (Personal Semi-supervised Preference Learning) は,ペア平均スコアを用いてユーザ固有のトレーニング信号への応答を安定化するバックボーンに依存しないフレームワークである。 PerSPLは、目に見えるユーザと目に見えないユーザの両方にとって、最も高い平均精度を達成している。 これらの結果から,ユーザごとの嗜好ラベルが不足している場合,ラベルなし応答はパーソナライズされた報酬モデリングのための追加の監視を提供する可能性が示唆された。
  論文  参考訳（メタデータ） (2026-10-21T05:21:36Z)
• Compare to Correct: Pairwise-Guided Logit Adjustment for LLM Test-Time Scaling [86.37409257444484]
  回答レベル比較の利点を捉えるために,異なる回答をサポートする経路間の相互信頼度比較を導入する。 提案したPairwise-Guided Logit Adjustment (PGLA) フレームワークは,より弱い投票支援と投票ベースのランキングエラーの補正を可能にする。
  論文  参考訳（メタデータ） (2026-10-13T15:46:15Z)
• PRISM: Calibrating Black-Box Judges with Counterfactual Probes [4.008552520886025]
  PRISMは、評価されたコンテンツを固定し、属性が強調されたり強調されていない場合のスコアの変化を測定する。 人間のラベルのリッジ回帰はベースラインスコアの補正を学習する。 PRISMとその学習ベースラインの変種は、校正されていないスコアよりも人間のランキングとの一致を著しく改善した。
  論文  参考訳（メタデータ） (2026-10-13T13:39:50Z)
• Reflective Prompt Optimization of a Deep-Research Agent: A Topic-Disjoint, Multi-Seed Protocol for Measuring Transferable Gains and Prompt-Level Overfitting [0.0]
  深層学習エージェントの2つのシステムプロンプトに反射的プロンプト進化(GEPA)を適用した。 我々は、トレイン、バリデーション、テストでトピックを共有できないトピック結合分割の下で評価する。 勝利のプロンプトのほぼ半分は記憶された応答キーだが、制御されたアブレーションは、それがエンコードする正確なトレーニング質問でさえも、このキーを表示する。
  論文  参考訳（メタデータ） (2026-10-08T18:23:23Z)
• Gaming the Answer Matcher: Examining the Impact of Text Manipulation on Automated Judgment [6.104512852467398]
  自動回答マッチングは、人間の評価に代わるスケーラブルで整合性のあるものとして、かなり有望である。 本研究では,このような手法が,受験者モデルに冗長な応答を生じさせるよう促すことで,回答マッチングモデルを欺くかどうかを検討する。 以上の結果から,これらの操作ではスコアが増加せず,しばしば減少することが示された。
  論文  参考訳（メタデータ） (2025-12-22T17:39:13Z)
• Reference-Free Rating of LLM Responses via Latent Information [53.463883683503106]
  本研究では,判断モデルに対して,自由テキスト応答にQuattスケールのスコアを割り当てるよう依頼する一般的な実践について検討する。 次に、内部モデル信号からスカラー評価を導出する潜在裁判官を提案し、評価する。 ペアとシングルレーティングのベンチマークの幅広いスイートの中で、潜在メソッドは標準のプロンプトにマッチするか、超えている。
  論文  参考訳（メタデータ） (2025-09-29T12:15:52Z)
• Prompt Optimization with Human Feedback [69.95991134172282]
  人間のフィードバックによる迅速な最適化問題(POHF)について検討する。 我々は自動POHF(Automatic POHF)というアルゴリズムを導入する。 その結果、APOHFは、少数の好みフィードバックインスタンスを用いて、効率的に適切なプロンプトを見つけることができることがわかった。
  論文  参考訳（メタデータ） (2024-05-27T16:49:29Z)
• Large Language Models are not Fair Evaluators [60.27164804083752]
  候補回答の品質ランキングは,文脈の出現順序を変えることで容易にハックできることがわかった。 この操作により、評価結果をスキューし、一方のモデルを他方よりもかなり優れているようにすることができる。 この問題を緩和するための3つのシンプルかつ効果的な戦略を持つフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-29T07:41:03Z)
• Dialogue Response Ranking Training with Large-Scale Human Feedback Data [52.12342165926226]
  ソーシャルメディアのフィードバックデータを利用して、フィードバック予測のための大規模なトレーニングデータセットを構築します。 我々は,1300万対の人間のフィードバックデータに基づくGPT-2モデルであるDialogRPTを訓練した。 我々のランキングは、Redditのフィードバックを予測する上で、従来のダイアログの難易度ベースラインよりも優れています。
  論文  参考訳（メタデータ） (2020-09-15T10:50:05Z)
• Beyond User Self-Reported Likert Scale Ratings: A Comparison Model for Automatic Dialog Evaluation [69.03658685761538]
  オープンドメインダイアログシステム評価はダイアログ研究における最も重要な課題の1つである。 本稿では,自動評価モデルCMADEを提案する。 実験の結果,対話比較作業においてCMADEの精度は89.2%であった。
  論文  参考訳（メタデータ） (2020-05-21T15:14:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。