論文の概要: Funding the runners-up beats a golden ticket

• arxiv url: http://arxiv.org/abs/2609.19552v1
• Date: Thu, 17 Sep 2026 01:23:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:54.060181
• Title: Funding the runners-up beats a golden ticket
• Title（参考訳）: ランナーの資金提供がゴールデンチケットを打つ
• Abstract要約: ゴールデンチケットは、あるレビュアーがパネルの残りが拒否する提案を前進させることを可能にする。 我々は、少数派が支持するランキングを、同じ数の場所を割り当てる他のルールと比較する。 受理数のうち10%の予算で、パネル平均ランキングは、少数派支持のランキングよりも平均7.75ポイント高い引用率で選ばれた。
• 参考スコア（独自算出の注目度）: 2.576207168296934
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A golden ticket allows one reviewer to advance a proposal that the rest of a panel would reject. We assess its score-based rationale by comparing minority-support ranking with other rules for allocating the same number of places. We do so on 10,625 rejected submissions to a computer-science conference between 2017 and 2024, using later citation percentiles as the outcome. Minority-support ranking measured the gap between the two highest scores after adjustment for the panel mean and reviewer count. At a budget of 10% of the year's accepted count, panel-mean ranking selected submissions with a mean citation percentile 7.75 points higher than minority-support ranking (95% bootstrap interval 4.35 to 11.09). The difference was larger in the other sample periods and citation windows examined. At that budget, minority-support ranking was equivalent to a lottery within a margin of plus or minus 5 percentile points. Two further analyses, adjusted highest-score ranking and a matched comparison, found no clear citation advantage from minority support once the panel mean was accounted for. Ranking on score variance also outperformed minority-support ranking in a paired comparison. Estimates cover the 69.8% of eligible rejections whose later citations could be verified. These comparisons identify panel-mean ranking as a benchmark for evaluating whether golden tickets select work that would otherwise be overlooked.
• Abstract（参考訳）: ゴールデンチケットは、あるレビュアーがパネルの残りが拒否する提案を前進させることを可能にする。 我々は、そのスコアに基づく理論的根拠を、少数派支持のランキングと、同じ数の場所を割り当てるための他のルールを比較して評価する。 私たちは2017年から2024年にかけて行われたコンピュータサイエンス会議への応募を10,625件拒否し、後続の引用パーセンタイルを結果として使用しました。 パネル平均値とレビュアーカウントの調整後の2つの最高得点の差をマイノリティ支持ランキングが測定した。 受理された数の10%の予算で、パネル平均ランクは、少数派支持のランキング(95%ブートストラップ間隔4.35から11.09)よりも平均7.75ポイント高い引用率で選ばれた。 他のサンプルでは差が大きく, 励振窓が検討された。 その予算では、少数派支持のランキングはプラス5%またはマイナス5%の範囲で宝くじに匹敵するものだった。 さらに2つの分析、調整された最高スコアランキングと一致した比較の結果、パネル平均が考慮されれば、少数派からの明確な引用の優位性は見つからなかった。 スコア差のランク付けも、ペア比較で少数派支持ランキングを上回った。 推定では69.8%の受理拒否をカバーし、後続の引用を検証できる。 これらの比較では、パネル平均ランキングは、ゴールデンチケットが見過ごされるであろう作業を選択するかどうかを評価するベンチマークとして特定されている。

関連論文リスト

• Verdict Instability of OOD Scores under Reference Resampling [4.260015792110957]
  ポストホック・アウト・オブ・ディストリビューション検出器は有限基準セットに収まるので、それらが生成するすべてのスコアは推定値である。 基準セットを再サンプリングし、スコアのブートストラップ標準偏差を記録することにより、検証の不安定性を測定する。 ラベルのない1つの相関から任意のスコアに対するこのサインを予測するルールを与え、間違った符号付きスコアによって駆動される棄権は、テストするデータセット毎にランダムに棄権するよりもひどい結果となる。
  論文  参考訳（メタデータ） (2026-09-01T04:12:15Z)
• Correct Looks Better: Pairwise Comparisons Reveal Accuracy Rankings [30.711773754965986]
  本研究では, 対比較によるモデルランキングは, 比較対象の真理が得られれば, 地中真理に基づく精度ランキングと強く一致することを示す。 いずれの解答も正解であるようなペアで発生する判断がほとんどであるにもかかわらず、スタイルと判断バイアスはモデルランキングに小さな影響しか与えないことがわかった。
  論文  参考訳（メタデータ） (2026-06-08T12:26:54Z)
• Smooth Partial Lotteries for Stable Randomized Selection [61.86327960322782]
  多くの組織では、評価スコアに基づいて選択をランダム化する部分的な宝くじを採用している。 既存の抽選デザインは本質的に不安定であり、単一の候補のスコアへの小さな変更は、選択確率の大きな変化を引き起こす可能性がある。 部分的な宝くじの設計原理として滑らかさを提案し、候補に対するレビュースコアから選択確率へのマッピングにおいて、リプシッツ条件として定式化する。
  論文  参考訳（メタデータ） (2026-05-19T16:22:51Z)
• The Coin Flip Judge? Reliability and Bias in LLM-as-a-Judge Evaluation [0.0]
  2つのOpenAIジャッジモデルを用いて、10のカテゴリにまたがる29のタスクの同一評価について検討した。 審査員全体では、ペアの選好は平均13.6%で反転し、質問の28%は20%のフリップ率を超え、1つの質問は56%に達した。 クロスジャッジ合意はわずか76%であり、意味論的に等価なプロンプトテンプレートはテストケースの25%で過半数の結果を変え、決定論的復号化は減少するが矛盾を排除しない。
  論文  参考訳（メタデータ） (2026-04-23T18:19:10Z)
• What Is the Optimal Ranking Score Between Precision and Recall? We Can Always Find It and It Is Rarely $F_1$ [17.215680052668244]
  F_$誘導ランキングは有意義であり、精度とリコール誘導ランキングの間の最短経路を定義する。 我々は,任意の分布や性能に対して$$の最適値を求めるために,理論ツールとクローズドフォーム式を提供する。
  論文  参考訳（メタデータ） (2025-11-27T13:29:50Z)
• Found in the Middle: Permutation Self-Consistency Improves Listwise Ranking in Large Language Models [63.714662435555674]
  大規模言語モデル(LLM)は、文脈の使い方に位置バイアスを示す。 我々は,ブラックボックスLLMのランキングリスト出力に対して,自己整合性(permutation self-consistency)を提案する。 LLaMA v2 (70B) では GPT-3.5 では 7-18% , LLaMA v2 (70B) では 8-16% である。
  論文  参考訳（メタデータ） (2023-10-11T17:59:02Z)
• Bipartite Ranking Fairness through a Model Agnostic Ordering Adjustment [54.179859639868646]
  本稿では,二部類ランキングにおける公平性を実現するためのモデルに依存しない後処理フレームワークxOrderを提案する。 xOrderは、教師なしおよび教師なしの公正度メトリックを含む、さまざまな分類モデルとランキングフェアネスメトリクスと互換性がある。 提案アルゴリズムを,4つのベンチマークデータセットと2つの実世界の患者電子健康記録リポジトリ上で評価した。
  論文  参考訳（メタデータ） (2023-07-27T07:42:44Z)
• Integrating Rankings into Quantized Scores in Peer Review [61.27794774537103]
  ピアレビューでは、レビュアーは通常、論文のスコアを提供するように求められます。 この問題を軽減するため、カンファレンスはレビュアーにレビューした論文のランキングを付加するように求め始めている。 このランキング情報を使用するための標準的な手順はなく、エリアチェアは異なる方法でそれを使用することができる。 我々は、ランキング情報をスコアに組み込むために、原則化されたアプローチを取る。
  論文  参考訳（メタデータ） (2022-04-05T19:39:13Z)
• On the Problem of Underranking in Group-Fair Ranking [8.963918049835375]
  ランク付けシステムのバイアスは、社会的・経済的不平等を悪化させ、意見を分極し、ステレオタイプを強化する。 本稿では,グループフェアランキングにおける下位ランクの問題について定式化する。 任意のランク付けを行い、同時にランク付けとグループフェアネスを保証した別のランク付けを出力する公平なランク付けアルゴリズムを提供する。
  論文  参考訳（メタデータ） (2020-09-24T14:56:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。