論文の概要: Selecting the Best Few with Human Evaluators: Adaptively Combining Ratings and Pairwise Comparisons

• arxiv url: http://arxiv.org/abs/2610.26380v1
• Date: Mon, 19 Oct 2026 13:32:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.346885
• Title: Selecting the Best Few with Human Evaluators: Adaptively Combining Ratings and Pairwise Comparisons
• Title（参考訳）: 評価者によるベストフットの選択--レーティングとペアワイズの比較を適応的に組み合わせて
• Abstract要約: 本論文は、候補者の大規模なプールから$k$のベストアイテムを特定できる意思決定者について考察する。 重要な考慮事項は、評価の形式であり、評価者が提供しやすくすべきである。 そこで本研究では,2つのアロケーションポリシから構築した適応アルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper considers a decision-maker tasked with identifying the $k$ best items from a large pool of candidates, such as job applicants, LLMs, award nominees, or new product ideas. The decision-maker learns about the items' quality by soliciting human evaluations. Each evaluation can be costly, so the decision-maker aims to use the limited evaluation budget efficiently by allocating evaluations adaptively. A key consideration is the form of evaluation to solicit, which should be something evaluators are comfortable providing. Two popular forms are ratings and pairwise comparisons, and we allow for both, as they may be especially useful in combination given the limited budget. Ratings can be used early on to get a coarse picture of which items are good and which are not. As that picture forms, comparisons can refine the ordering of the good items, narrowing in on the ultimate top-$k$ selection. To solve the allocation problem, we develop an adaptive algorithm built from two allocation policies. The first, our primary contribution, is based on a surrogate objective that is naturally forward-looking, valuing evaluations that help inform what to evaluate in future rounds, not just those that directly improve the selection decision. The decision rule is interpretable, and we prove that it is asymptotically consistent. Late in the evaluation process, when being forward-looking is less productive, we construct a myopic policy and a criterion for switching to it. In simulation, the method gives insight into how to combine these two types of evaluations, and beats the (limited) existing benchmarks.
• Abstract（参考訳）: 本稿では、求職者、LLM、ノミネート候補者、新製品アイデアなど、候補者の大規模なプールから、$k$のベストアイテムを特定できる意思決定者について考察する。 意思決定者は、人間の評価を募ることで、アイテムの品質について学習する。 各評価は費用がかかるため、限られた評価予算を適応的に割り当てることにより効率的に活用することを目指している。 重要な考慮事項は、評価の形式であり、評価者が提供しやすくすべきである。 2つの一般的な形式は評価とペア比較である。 レーティングは、どのアイテムが良いのか、どれがそうでないのかの粗い写真を得るために、早期に使用することができる。 その図形が整うにつれて、比較は良い項目の順序を洗練させ、最終的な上位k$選択に絞り込むことができる。 そこで本研究では,2つのアロケーションポリシから構築した適応アルゴリズムを提案する。 第一に、私たちの主な貢献は、選択決定を直接的に改善するだけでなく、将来のラウンドで何を評価するべきかを伝えるのに役立つ評価を、自然に前向きに評価する代理的な目標に基づいています。 決定ルールは解釈可能であり、漸近的に一貫したものであることを証明します。 評価プロセスの後半では、前方視が生産性の低い場合には、筋電図ポリシーとそれへの切り替え基準を構築します。 シミュレーションにおいて、この手法はこれらの2種類の評価を組み合わせる方法の洞察を与え、(限られた)既存のベンチマークを破る。

関連論文リスト

• Algorithmic Recourse Under Competition [1.4806222270285054]
  コンピュータ・リコースにおける中心的な前提は、リコースの実装フェーズを通して決定ルールが固定されていることである。 本稿では,レコメンデーション・レコメンデーション・レコメンデーションとレコメンデーション・スコア・ターゲットを共同で最適化する「レコメンデーション・アン・コンペティション」というフレームワークを導入する。 合成データセットと実データセットの実験により、パーソナライズされたスコアターゲットはより高い妥当性を達成できるが、高いコストで達成できることが示されている。
  論文  参考訳（メタデータ） (2026-09-30T14:53:22Z)
• A Principled Approach to Randomized Selection under Uncertainty: Applications to Peer Review and Grant Funding [61.86327960322782]
  本稿では,各項目の品質の間隔推定に基づくランダム化意思決定の枠組みを提案する。 最適化に基づく最適化手法であるMERITを導入する。 MERITが既存のアプローチで保証されていない望ましい公理特性を満たすことを証明している。
  論文  参考訳（メタデータ） (2025-06-23T19:59:30Z)
• CompassJudger-1: All-in-one Judge Model Helps Model Evaluation and Evolution [74.41064280094064]
  textbfJudger-1は、最初のオープンソースのtextbfall-in-one judge LLMである。 CompassJudger-1は、優れた汎用性を示す汎用LLMである。 textbfJudgerBenchは、様々な主観評価タスクを含む新しいベンチマークである。
  論文  参考訳（メタデータ） (2024-10-21T17:56:51Z)
• Evaluating Agents using Social Choice Theory [20.58298173034909]
  我々は、投票理論のレンズを通して、多くの一般的な評価問題を見ることができると論じる。 各タスクは別個の投票者として解釈され、全体的な評価を得るためには、通常のランク付けやエージェントのペア比較しか必要としない。 これらの評価は解釈可能で柔軟性があり、現在クロスタスク評価に直面している多くの問題を回避している。
  論文  参考訳（メタデータ） (2023-12-05T20:40:37Z)
• Eliciting User Preferences for Personalized Multi-Objective Decision Making through Comparative Feedback [76.7007545844273]
  目的に対して異なるユーザの好みに対応する多目的意思決定フレームワークを提案する。 我々のモデルは、ベクトル値の報酬関数を持つマルコフ決定プロセスで構成され、各ユーザが未知の選好ベクトルを持つ。 少数の比較クエリを用いて,ユーザに対してほぼ最適なポリシを求めるアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-02-07T23:58:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。