論文の概要: Human Evaluation with Automatic Scores: Separating Sampling and Estimation Gains

• arxiv url: http://arxiv.org/abs/2610.38282v1
• Date: Wed, 28 Oct 2026 05:05:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-03 18:23:57.810375
• Title: Human Evaluation with Automatic Scores: Separating Sampling and Estimation Gains
• Title（参考訳）: 自動スコアによる人的評価:サンプリングと推定の分離
• Abstract要約: スコアはサンプリングをガイドしたり、見積もりを修正したり、適応的な取得をサポートすることができる。 3つの選好データセットと19の属性質問応答システムから定評価プールの漸進値を比較した。
• 参考スコア（独自算出の注目度）: 11.490207082125815
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Automatic judges offer inexpensive information about model outputs, but an evaluation team must decide how to turn that information into fewer human annotations. Scores can guide sampling, correct an estimate, or support adaptive acquisition, and these uses may capture overlapping gains. We compare their incremental value on fixed evaluation pools from three preference datasets, and 19 attributed-question-answering systems. Matched comparisons use the same scores, account for pilot labels and budget rules, and separate acquisition from estimation. Score stratification is a strong reference: after ten-bin stratification, the best fixed local linear correction offers only 1.00--5.27% further MSE reduction in the primary configurations. Unequal allocation offers larger gains in some pools, but can increase error when confident scores conceal variable human outcomes. Comparison on AttributedQA, shrinking learned quotas toward score-only quotas lowers pooled MSE for 17 of 19 systems relative to the score-only procedure, but ordinary pooled 95% intervals cover only 88.09--93.54%. The same shrinkage improves on the score-only reference in only one of eight preference configurations. Ranking experiments further show that lower individual MSE need not improve system selection. These findings support a simple starting procedure, proportional sampling within score strata followed by a stratified human mean, and identify what additional evidence is needed to justify correction or adaptation for the intended evaluation output.
• Abstract（参考訳）: 自動判断は、モデル出力に関する安価な情報を提供するが、評価チームは、その情報をより少ない人間のアノテーションに変換する方法を決定する必要がある。 スコアはサンプリングをガイドしたり、見積もりを修正したり、適応的な獲得をサポートすることができる。 3つの選好データセットと19の属性質問応答システムから定評価プールの漸進値を比較した。 マッチングされた比較は、同じスコアを使用し、パイロットラベルと予算ルールを考慮し、見積もりから別々に取得する。 スコア成層は強い基準であり、テンビン成層の後、最良の固定された局所線形補正は、一次構成におけるMSEの減少を1.00--5.27%しか与えない。 不等割当は、いくつかのプールにおいてより大きな利得を提供するが、自信のあるスコアが様々な人間の結果を隠すとエラーを増大させる可能性がある。 AttributedQAとの比較では、スコアオンリーのクォータに対する学習クォータの縮小は、スコアオンリーの手順と比較して19のシステムのうち17のシステムで MSE をプールするが、通常の95%の間隔は88.09--93.54%しかカバーしていない。 同じ縮小は、スコアのみの参照を8つの設定のうちの1つで改善する。 ランキング実験により、より低い個人MSEはシステム選択を改善する必要はないことが示された。 これらの知見は、単純な開始手順、スコアストラタ内の比例サンプリング、次いで階層化された人間の平均、および意図した評価結果に対する補正や適応を正当化するために必要な追加の証拠を同定する。

関連論文リスト

• From Association to Decision Value: Testing Paired Instruction Dependence for VLA Corpus Selection [3.383341806828598]
  本研究は,目標のみを変更すると,実証者が最初の決定を変更できる確率であるペア命令依存度について検討する。 56コーパスで発生した予測は, それぞれ独立に開花した4次航法コーパス136回にわたって, 80個の保留コーパスで前向きに評価した。 監査は信頼性が高く、下流対の正当性と関連付けられ、正当性を認識したベースラインに追加した場合の平均絶対予測誤差を低くする。
  論文  参考訳（メタデータ） (2026-10-21T12:27:55Z)
• Benchmarking Self-Supervised 3D Medical Vision Foundation Models and Transferability Estimation [57.65266782182578]
  セルフ教師付き事前トレーニングは、3D医療基盤モデルのプールを拡張したが、異なるデータセット、エンドポイント、微調整プロトコルを使用した評価を公表した。 14のセグメンテーション、分類、回帰タスク、複数の解剖学とモダリティにまたがる23の候補をベンチマークした。 3モデルショートリストは、7つのセグメンテーションタスクで記録された抜粋+訓練ジョブ時間を85.8%削減した。
  論文  参考訳（メタデータ） (2026-10-13T01:52:19Z)
• Storage Is Not Strategy: State-Conditioned Support Control for LLM Unlearning [23.660463189596257]
  ローカライズされた大言語モデル(LLM)アンラーニング手法は、ローカライズ信号から小さなパラメータサブセットを選択し、最適化中にそれを固定し続ける。 我々は、実際の未学習更新の予測効果によって編集可能なグループをランク付けするインターベンションスコアを導入する。 次に、選択的動的介入再分類(DIR-R)を導入し、記述的プローブが比較を正当化するときにのみその部分集合を再検討する。
  論文  参考訳（メタデータ） (2026-09-29T15:44:42Z)
• Speculative Evaluation of Stochastic LLMs [48.902430583833585]
  投機的評価は、短い一様パイロットと、タスク毎の成功回数のプールを実行する。 HBN-asyncは、部分的なパイロットフィードバックからの継続を投機的に実行し、最終的なアロケーションによって選択されたものを保持する。 1タスクあたり8-64のロールアウト予算では、投機的評価は、Uniformに対する分散を平均12.8%から33.6%削減する。
  論文  参考訳（メタデータ） (2026-09-23T09:20:22Z)
• Anchoring Bias in LLM-as-a-Judge Systems: Prior Scores Compromise Evaluation Independence [0.7340017786387767]
  先行スコアは,文脈メタデータにのみ含まれていても,判断をアンカーし,評価を評価値に体系的にシフトすることを示す。 人間のラベル付き地上真実によるカテゴリー産業データでは、アンカーされたメタデータは誤り訂正の48%をブロックし、割り当てられた間違ったラベルに対して正しい判断の10.18%をフリップする。
  論文  参考訳（メタデータ） (2026-08-26T14:41:24Z)
• Rethinking the Evaluation and Optimization of LLM-Based Social Simulation [56.18577997572273]
  主観性係数を用いて、主観性が高くなるにつれて、精度に基づく評価とハードラベルトレーニングがいかに失敗するかを分析する。 我々は193のアノテーションと100の主観的質問を含む19,300の文脈のベンチマークであるSUBJSIMを構築した。 SUBJSIMの結果は,本手法の利点を示すものである。
  論文  参考訳（メタデータ） (2026-08-20T06:26:03Z)
• Less Data, Better Alignment: Data-Centric Multi-Evaluator Agreement for Preference Optimization [20.147316178118732]
  DMAPOは、ターゲットポリシーから候補応答を生成し、有用性、事実性、およびルーリック特異的評価器による簡潔性を評価する。 この手続きは、54,236人のMistral-7B候補のうち1,871人(3.45%)を受け入れている。 このセットで訓練されたKTOは、MT-Benchで7.50点、テキストダヴィンチ003参照に対して95.5%の勝利率、IFEvalが57.3%に達した。
  論文  参考訳（メタデータ） (2026-07-27T23:05:12Z)
• Step-wise Rubric Rewards for LLM Reasoning [72.17879367869503]
  RLVR(Reinforcement Learning with Verifiable Rewards)は、大規模言語モデルの推論を改善するために広く使われている。 正しい回答の18.2%は間違っているが、肯定的な報酬がある。 6つの数学的推論ベンチマークで、SRaRはRaRの平均精度を3.57ポイント改善した。
  論文  参考訳（メタデータ） (2026-05-17T07:08:14Z)
• Reference-Free Rating of LLM Responses via Latent Information [53.463883683503106]
  本研究では,判断モデルに対して,自由テキスト応答にQuattスケールのスコアを割り当てるよう依頼する一般的な実践について検討する。 次に、内部モデル信号からスカラー評価を導出する潜在裁判官を提案し、評価する。 ペアとシングルレーティングのベンチマークの幅広いスイートの中で、潜在メソッドは標準のプロンプトにマッチするか、超えている。
  論文  参考訳（メタデータ） (2025-09-29T12:15:52Z)
• Re-Examining System-Level Correlations of Automatic Summarization Evaluation Metrics [64.81682222169113]
  システムレベルの相関により, 要約品質の人的判断を再現する自動要約評価指標を確実に定量化する。 システムレベルの相関の定義が、実際にシステムを評価するためにメトリクスがどのように使われているかと矛盾する2つの方法を特定する。
  論文  参考訳（メタデータ） (2022-04-21T15:52:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。