論文の概要: The Review Lottery: Calibrating an Observational Estimator of Peer-Review Noise (ICLR 2017-2025)

• arxiv url: http://arxiv.org/abs/2610.06591v1
• Date: Mon, 05 Oct 2026 16:05:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-09 07:22:47.49822
• Title: The Review Lottery: Calibrating an Observational Estimator of Peer-Review Noise (ICLR 2017-2025)
• Title（参考訳）: The Review Lottery: Calibrating a Observational Estimator of Peer-Review Noise (ICLR 2017-2025)
• Abstract要約: 同じ論文が別のレビュアーによってレビューされた場合、カンファレンスの受理/拒否の決定はどの程度変わるのか? ICLR 4+-2025 の9年間にわたって,この量の観測的推定器を公開レビューデータだけで構築し,2回校正し,それを適用した。 評価された不一致率はk=2で23-30%、kで18-24%であり、受理された論文の30-50%は拒否される。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: How much of a conference accept/reject decision would change if the same paper were reviewed by a different set of reviewers? Running a second independent program committee is the gold standard for answering this, but it is prohibitively expensive: done only twice (NeurIPS 2014 and 2021). We build an observational estimator of this quantity from public review data alone, calibrate it twice, and apply it to nine years of ICLR (2017-2025; 36,113 papers, 134,912 reviews). The estimator decomposes scores with a Bayesian ordered-probit model into paper quality and reviewer noise, maps scores to decisions with a logistic model, and simulates two independent committees (posterior draws B=1,000; committee sizes k=2,3,4). Estimated disagreement rates are 23-30% at k=2 and 18-24% at k=4; 30-50% of accepted papers would be rejected. External calibration: at the NeurIPS 2021 reviewer-count caliber (k=3), the simulated 2021 disagreement rate is 23.3% [21.7%, 25.0%] vs. reported 23.0% (bias +0.3pp); accept precision and committee correlation agree within 5pp and 0.04. Internal calibration: on 18,740 papers with 4+ reviews, random model-free 2+2 reviewer splits agree with the k=2 simulation within 1pp in 2018 and 2021-2025. Longitudinally, we find no robust time trend in reviewer noise over 2017-2025. The high accepted-paper flip rates of 2020 and 2021 have distinct mechanisms: the 2020 four-point scale compressed scores (23.7% of papers had zero within-paper variance), and a counterfactual shows coarsening the scale raises disagreement by about 7pp; 2021 instead combined the lowest signal-to-noise ratio in the sample with the most threshold-crowded acceptances. For the LLM era, a 2023 breakpoint test on within-paper score variance finds no break, but the design has almost no power, and no post-2022 review text or confidence data exist, so no LLM attribution is attempted.
• Abstract（参考訳）: 同じ論文が別のレビュアーによってレビューされた場合、カンファレンスの受理/拒否の決定はどの程度変わるのか? 第2の独立したプログラム委員会を運営することは、これに答えるための金の基準であるが、違法に高価であり、2回しか行われない(NeurIPS 2014と2021)。 我々は、公開レビューデータだけでこの量の観測的推定器を構築し、それを2回校正し、9年間のICLR(2017-2025; 36,113論文、134,912レビュー)に適用する。 推定器は、ベイジアン順序プロビットモデルでスコアを紙の品質とレビュアーノイズに分解し、スコアをロジスティックモデルで決定にマップし、2つの独立した委員会をシミュレートする(後部はB=1,000、委員会のサイズはk=2,3,4)。 評価された不一致率はk=2で23-30%、k=4で18-24%であり、受理された論文の30-50%は拒否される。 外部校正:NeurIPS 2021レビュアーカウント校正(k=3)では、シミュレーションされた2021の不一致率は23.3%(21.7%、25.0%)対報告された23.0%(ビアス+0.3pp)で、精度と委員会の相関は5ppと0.04で一致している。 内部キャリブレーション:4以上のレビューを持つ18,740の論文では、ランダムモデルなしの2+2レビュアーの分割は、2018年と2021-2025年の1ppにおけるk=2シミュレーションと一致している。 2017年から2025年にかけては、レビュアーの騒音には頑丈な時間トレンドは見つからない。 2020年と2021年の高い受理紙のフリップレートは、2020年の4点圧縮スコア(論文の23.7%は紙内のばらつきがゼロ)と、その反ファクト的な結果が約7pp、2021年はサンプルの最も低い信号と雑音の比率と、最も閾値が上昇した受理率とを組み合わせている。 LLM時代において、2023年の紙内スコアのばらつきに関するブレークポイントテストでは、破壊は見つからないが、設計にはほとんど力がなく、2022年以降のレビューテキストや信頼データも存在しないため、LCMの帰属は試みられていない。

関連論文リスト

• Do Reviewers Still Reward Lexical Complexity? A Frozen-Rater Study of Preference Drift in 124K ICLR Reviews [3.290003022017626]
  大規模な言語モデルでは、語彙的に精巧な散文を生成するコストが低下している。 人間は依然として文長の変動に報いるが、フリーズレーダは決して登録しない。 すべてのクレームは、偽発見制御と区間排除の二重ゲートに保持される。
  論文  参考訳（メタデータ） (2026-09-08T09:19:25Z)
• Ask Which, Not How Good: Sizing Benchmarks Scored by an LLM [0.47745223151611654]
  LLM判事によるベンチマークは、通常1点の10分の1の違いを判断するが、これらのベンチマークの解像度は測定されていない。 測定対象としてシステムを扱い,373,019の判断をシステム,項目,判断,相互作用成分に分解する。
  論文  参考訳（メタデータ） (2026-08-17T09:08:49Z)
• When LLMs Agree, Are They Right? Auditing Self-Consistency and Cross-Model Agreement as Confidence Signals [0.0]
  LLM-as-judgeは、企業パイプラインでAIシステムを評価する上で、ますますデフォルトになっている。 判断者間の整合性、あるいはモデル自身のサンプルが正当性を示していることを示す。 大規模なクロスランナー研究において、合意がいつ有用なプロキシであるかを問う。
  論文  参考訳（メタデータ） (2026-07-09T02:46:51Z)
• Training-Free Model Selection and Domain-Aware Score Calibration for First-Shot Anomalous Sound Detection [0.12691047660244334]
  DCASE Challenge Task 2における1発の異常音検出は、未確認の機械の異常を1つの閾値で警告しなければならない。 ソースドメインとターゲットドメインのAUCはシステム間で負の相関を持ち、開発セットの性能は評価セットのパフォーマンスを予測しない。 凍結したオーディオ埋め込みの上に、トレーニング不要のポストホック層で対処する。
  論文  参考訳（メタデータ） (2026-07-05T22:22:31Z)
• Amplifying, Not Learning: Fine-Tuned AI Text Detectors Amplify a Pretrained Direction [51.56484100374058]
  テキスト検出器は、事前訓練された典型軸を増幅する。 タスク監督前の生エンコーダでは、3つのアーキテクチャでNYT-vs-HC3 AUROC 0.806/0.944/0.834を達成する。 RoBERTaベースでは、生のプロジェクションは微調整を超えるが、RoBERTaベースでは、フル微調整は、試験された流線型人口の双方で生よりも識別を小さくする。
  論文  参考訳（メタデータ） (2026-05-20T19:08:38Z)
• TrustJudge: Inconsistencies of LLM-as-a-Judge and How to Alleviate Them [58.04324690859212]
  自動評価器(LLM-as-a-judge)としての大規模言語モデル(LLM)は、現在の評価フレームワークにおいて重大な矛盾を明らかにしている。 スコア比較不整合とペアワイズ・トランジティビティ不整合という2つの基本的不整合を同定する。 我々は2つの重要なイノベーションを通じてこれらの制限に対処する確率的フレームワークであるTrustJudgeを提案する。
  論文  参考訳（メタデータ） (2025-09-25T13:04:29Z)
• Monitoring AI-Modified Content at Scale: A Case Study on the Impact of ChatGPT on AI Conference Peer Reviews [51.453135368388686]
  本稿では,大規模言語モデル (LLM) によって実質的に修正あるいは生成される可能性のある大規模コーパスにおけるテキストの分数推定手法を提案する。 我々の最大可能性モデルは、専門家による参照テキストとAIによる参照テキストを利用して、コーパスレベルでの実世界のLLM使用を正確かつ効率的に検証する。
  論文  参考訳（メタデータ） (2024-03-11T21:51:39Z)
• Has the Machine Learning Review Process Become More Arbitrary as the Field Has Grown? The NeurIPS 2021 Consistency Experiment [86.77085171670323]
  2014年のNeurIPS実験では、2つの独立した委員会によって10%の会議の提出をレビューし、レビュープロセスにおけるランダム性を定量化した。 両委員会が論文の23%の勧告を受理・棄却することに反対し、審査プロセスがランダムに再実行された場合、2014年度の結果と一致して、受理された論文のリストの約半数が変更されることを観察する。
  論文  参考訳（メタデータ） (2023-06-05T21:26:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。