論文の概要: Learning Checklists to Reduce Lottery Effects in Scientific Peer Review

• arxiv url: http://arxiv.org/abs/2610.28666v1
• Date: Wed, 14 Oct 2026 21:22:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 00:40:06.09667
• Title: Learning Checklists to Reduce Lottery Effects in Scientific Peer Review
• Title（参考訳）: 科学的ピアレビューでロテリ効果を抑えるチェックリストの学習
• Abstract要約: レビューアの宝くじエラーは、論文のいくつかの問題にのみ参加する少数のピアレビューによるエラーを記述している。 過去のレビューコーパスから得られた批判のチェックリストを提示することで,この誤りを低減できることを示す。
• 参考スコア（独自算出の注目度）: 18.474224956808175
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reviewer lottery error describes error due to a small set of peer reviews attending to only some of the issues with a paper that a larger pool of eligible reviewers would raise. We show this error can be reduced by surfacing a checklist of criticisms learned from a historical review corpus. Our approach generates a tree of checklists representing coarsenings of the atomic review claim space, then selects the coarsening that maximizes a theoretically-motivated measure of correlated agreement among reviewers. We realize this approach with an LLM-assisted pipeline and test it on NeurIPS 2021 and ICLR 2022 review data. In simulated review with LLM reviewers, the learned checklist reduces the mean squared error (MSE) of a three reviewer committee by 58% on NeurIPS and 21% on ICLR, and on both venues the checklist with the highest correlated agreement has the lowest error for committees of three or more. In a human study with 20 participants, the learned NeurIPS checklist lowers the MSE of a paper ranking, measured against the NeurIPS 2021 order, from 0.48 to 0.22.
• Abstract（参考訳）: レビュアーの宝くじエラーは、一部の問題に出席する少数のピアレビューによるエラーを、より大きなレビュアーが持ち上げるであろう論文で記述している。 過去のレビューコーパスから得られた批判のチェックリストを提示することで,この誤りを低減できることを示す。 提案手法は, 原子レビュークレーム空間の粗大化を表すチェックリストのツリーを生成し, そして, 理論的に動機付けられた相関関係の尺度を最大化する粗大化を選択する。 このアプローチをLLM支援パイプラインで実現し,NeurIPS 2021とICLR 2022のレビューデータで検証する。 LLMレビュアーによるシミュレートされたレビューでは、学習されたチェックリストは、3つのレビュアー委員会の平均2乗誤差(MSE)を、NeurIPSで58%、ICLRで21%削減する。 20人の被験者による人間による研究では、学習されたNeurIPSチェックリストは、NeurIPS 2021の順に対して測定された紙ランクのMSEを0.48から0.22に下げる。

関連論文リスト

• The Review Lottery: Benchmarking an Observational Estimator of Peer-Review Noise (ICLR 2017-2025) [0.0]
  同じ論文が別のレビュアーによってレビューされた場合、カンファレンスの受理/拒否の決定はどの程度変わるのか? ICLR 4+-2025 の9年間にわたって,この量の観測的推定器を公開レビューデータだけで構築し,2回校正し,それを適用した。 評価された不一致率はk=2で23-30%、kで18-24%であり、受理された論文の30-50%は拒否される。
  論文  参考訳（メタデータ） (2026-10-05T16:05:17Z)
• When AI Reviews Train AI Reviewers: Scientific-Judgment Collapse and Mitigation [50.90087870200793]
  大規模言語モデル(LLM)は、科学的な評価にますます参加している。 このフィードバックループの1ステップを制御された環境で研究する。 TrustReviewerは、AIと機械学習論文のピアレビューを生成するための、オープンソースのシステムである。
  論文  参考訳（メタデータ） (2026-09-17T18:01:08Z)
• An Investigation of the NeurIPS and ICML 2025 Position Tracks [10.943390023016574]
  NeurIPS 2025とICML 2025の位置トラックはアジェンダ設定作業のために作られ、初期の構成は監査に値するものであった。 我々は,NeurIPS 2025 および ICML 2025 の位置トラックに対して,予め指定したルーリックの下で,アクセス可能な全ての入力を監査し,その結果のパターンをアジェンダシフトするML論文の参照クラスと比較する。
  論文  参考訳（メタデータ） (2026-07-06T23:49:20Z)
• To Err Is Human: Systematic Quantification of Errors in Published AI Papers via LLM Analysis [47.124493265404595]
  我々の分析は客観的な誤り(例えば、公式の誤り、導出、計算、数値、表など)に焦点を当てており、それは明らかに検証可能な基礎的な真実である。 論文は、未確認の客観的な誤り数を含み、NeurIPS 2021の3.8からNeurIPS 2025の5.9(55.3%)まで、紙1枚あたりの誤り数の平均が時間とともに増加したことが判明した。 我々は、AIチェッカーが特定ミスの75.8%の修正を提案できることを示す。
  論文  参考訳（メタデータ） (2025-12-05T18:04:10Z)
• When Your Reviewer is an LLM: Biases, Divergence, and Prompt Injection Risks in Peer Review [34.067892820832405]
  本稿では,学術レビュアーとして大規模言語モデル(LLM)を体系的に評価する。 ICLR 2023とNeurIPS 2022の1,441論文のキュレートされたデータセットを用いて、評価、強度、弱点を越えて、GPT-5-miniをヒトレビュアーに対して評価した。 以上の結果から, LLMは, より弱い論文に対する評価を一貫して向上させつつ, より強いコントリビューションに対する人間の判断と密に一致させることが示唆された。
  論文  参考訳（メタデータ） (2025-09-12T00:57:50Z)
• Are We There Yet? Revealing the Risks of Utilizing Large Language Models in Scholarly Peer Review [66.73247554182376]
  大規模言語モデル(LLM)がピアレビューに統合された。 未確認のLLMの採用は、ピアレビューシステムの完全性に重大なリスクをもたらす。 5%のレビューを操作すれば、論文の12%が上位30%のランキングでその地位を失う可能性がある。
  論文  参考訳（メタデータ） (2024-12-02T16:55:03Z)
• The ICML 2023 Ranking Experiment: Examining Author Self-Assessment in ML/AI Peer Review [49.43514488610211]
  著者が提供するランキングは、機械学習カンファレンスでのピアレビュープロセスを改善するために利用することができる。 著者が提示したランキングを用いて生のレビュースコアを校正するイソトニックメカニズムに注目した。 本稿では,アイソトニック機構の慎重かつリスクの低いいくつかの応用と著者が提案する格付けをピアレビューで提案する。
  論文  参考訳（メタデータ） (2024-08-24T01:51:23Z)
• Monitoring AI-Modified Content at Scale: A Case Study on the Impact of ChatGPT on AI Conference Peer Reviews [51.453135368388686]
  本稿では,大規模言語モデル (LLM) によって実質的に修正あるいは生成される可能性のある大規模コーパスにおけるテキストの分数推定手法を提案する。 我々の最大可能性モデルは、専門家による参照テキストとAIによる参照テキストを利用して、コーパスレベルでの実世界のLLM使用を正確かつ効率的に検証する。
  論文  参考訳（メタデータ） (2024-03-11T21:51:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。