論文の概要: Reviewer Scores Are Not Comparable Across Research Areas in ML Peer Review

• arxiv url: http://arxiv.org/abs/2607.27209v1
• Date: Thu, 30 Apr 2026 10:54:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-02 22:55:39.100384
• Title: Reviewer Scores Are Not Comparable Across Research Areas in ML Peer Review
• Title（参考訳）: MLピアーレビュー】レビュワースコアは調査エリア全体で比較にならない
• Abstract要約: このポジションペーパーでは、受理結果はレビュアースコアを超えた力によって形成されていると論じている。 いずれのレビュアースコアにおいても,論文の受理確率はトピックによって最大8倍に変化することを示す。 我々は,プログラム委員会に対して,本来比較不可能なレビュー信号を採用し,トピックを定式化したスコア条件の受け入れ率を公開するよう求めた。
• 参考スコア（独自算出の注目度）: 5.466519893996914
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Peer review at ML conferences increasingly relies on reviewer scores as the primary decision instrument. As submissions have scaled from thousands to tens of thousands per year, no systematic audit has examined whether this instrument functions uniformly across research areas, or whether acceptance outcomes are in practice shaped by forces that reviewer scores neither capture nor control. This position paper argues that acceptance outcomes are shaped by forces beyond reviewer scores, and that the underlying cause is a measurement design failure, not individual bias. When a fixed numerical scale aggregates quality judgments across communities with structurally non-uniform reviewer pools, absolute scores become incomparable across areas, and area chairs must substitute community priors for score-based decisions. Using ICLR 2021--2026 data covering 50,289 papers across 219 research topics, we show that at any given reviewer score, a paper's acceptance probability varies by up to 8x depending on its topic. We rule out scoring culture, expert reviewer standards, rational area chair reweighting, and quality dilution as alternative explanations. We call on program committees to adopt inherently calibrated review signals and publish topic-stratified, score-conditional acceptance rates as a first-class fairness metric.
• Abstract（参考訳）: MLカンファレンスでのピアレビューは、レビュアースコアを主要な意思決定指標として頼りにしている。 提出は年間数千から数万に拡大しているため、この装置が研究領域全体にわたって均一に機能するか、あるいはレビュアーが捕獲も制御もしない力によって受理結果が実際に形成されているかを体系的な監査は行われていない。 このポジションペーパーでは、受理結果はレビュアースコアを超える力によって形成され、根本原因は個人バイアスではなく、測定設計失敗であると主張している。 一定の数値尺度が、構造的に一様でないレビュアープールを持つコミュニティ全体で品質判断を集約すると、絶対スコアは地域によって比較不能になり、地域チェアはスコアベースの決定のためにコミュニティの優先順位を代用しなければならない。 ICLR 2021-2026のデータを用いて、219の研究トピックにまたがる50,289の論文を網羅し、任意のレビュアースコアにおいて、論文の受理確率はそのトピックによって最大8倍まで変化することを示す。 我々は、評価文化、専門家レビュアー基準、合理的なエリアチェア再重み付け、品質の希釈を代替説明として除外する。 我々は,プログラム委員会に対して,本質的な校正されたレビュー信号を採用し,第1級公正度尺度として,トピック・ストラテライズされたスコア条件の受け入れ率を公表するよう求めている。

関連論文リスト

• Intelligence Is Not the Bottleneck: Validating an LLM First-Pass Manuscript Score Against Peer-Review Outcomes [0.0]
  大規模言語モデル(LLM)システムは、ピアレビューを支援するためにますます提案されている。 ほとんどの評価は、システムが割り当てる数値スコアの妥当性ではなく、機械生成レビューテキストの散文を判断する。 提案した原稿を読み取って5つの0-100品質ディメンションと重み付き総合スコアを出力するAIPRを検証する。
  論文  参考訳（メタデータ） (2026-06-14T16:13:15Z)
• Quantifying the Statistical Effect of Rubric Modifications on Human-Autorater Agreement [50.34437999083224]
  オートレーダは、評価と自動モデレーションコンテンツにますます使われています。 ヒトとオートレーダの両方に提示されるルーブリックの修正がスコアアグリーメントにどのように影響するかは、統計学的に限定されている。
  論文  参考訳（メタデータ） (2026-05-07T13:55:11Z)
• Is Peer Review Really in Decline? Analyzing Review Quality across Venues and Time [55.756345497678204]
  本稿では,エビデンスに基づくレビュー品質の比較研究のための新しいフレームワークを提案する。 ICLR、NeurIPS、*ACLといった主要なAIおよび機械学習のカンファレンスに適用します。 レビュー品質の測定値と時間経過に伴うその進化の関係について検討する。
  論文  参考訳（メタデータ） (2026-01-21T16:48:29Z)
• Paper Quality Assessment based on Individual Wisdom Metrics from Open Peer Review [4.35783648216893]
  従来のクローズドピアレビューシステムは遅く、コストがかかり、透明ではない。 我々は、オープンなボトムアッププロセスを通じて、科学的ピアレビューの代替形態の有効性と正確性を提案し、検証する。
  論文  参考訳（メタデータ） (2025-01-22T17:00:27Z)
• The ICML 2023 Ranking Experiment: Examining Author Self-Assessment in ML/AI Peer Review [49.43514488610211]
  著者が提供するランキングは、機械学習カンファレンスでのピアレビュープロセスを改善するために利用することができる。 著者が提示したランキングを用いて生のレビュースコアを校正するイソトニックメカニズムに注目した。 本稿では,アイソトニック機構の慎重かつリスクの低いいくつかの応用と著者が提案する格付けをピアレビューで提案する。
  論文  参考訳（メタデータ） (2024-08-24T01:51:23Z)
• Has the Machine Learning Review Process Become More Arbitrary as the Field Has Grown? The NeurIPS 2021 Consistency Experiment [86.77085171670323]
  2014年のNeurIPS実験では、2つの独立した委員会によって10%の会議の提出をレビューし、レビュープロセスにおけるランダム性を定量化した。 両委員会が論文の23%の勧告を受理・棄却することに反対し、審査プロセスがランダムに再実行された場合、2014年度の結果と一致して、受理された論文のリストの約半数が変更されることを観察する。
  論文  参考訳（メタデータ） (2023-06-05T21:26:12Z)
• Integrating Rankings into Quantized Scores in Peer Review [61.27794774537103]
  ピアレビューでは、レビュアーは通常、論文のスコアを提供するように求められます。 この問題を軽減するため、カンファレンスはレビュアーにレビューした論文のランキングを付加するように求め始めている。 このランキング情報を使用するための標準的な手順はなく、エリアチェアは異なる方法でそれを使用することができる。 我々は、ランキング情報をスコアに組み込むために、原則化されたアプローチを取る。
  論文  参考訳（メタデータ） (2022-04-05T19:39:13Z)
• Ranking Scientific Papers Using Preference Learning [48.78161994501516]
  我々はこれをピアレビューテキストとレビュアースコアに基づく論文ランキング問題とみなした。 ピアレビューに基づいて最終決定を行うための,新しい多面的総合評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-02T19:41:47Z)
• An Open Review of OpenReview: A Critical Analysis of the Machine Learning Conference Review Process [41.049292105761246]
  我々は、2017年から2020年にかけてICLRに提出された論文の総合的な研究を通じて、レビュープロセスを批判的に分析する。 本研究は, 紙の品質管理においても, 受否決定の制度的偏見が強いことを示唆する。 男女差の証拠は,女性作家が男性作家よりも低得点,受入率の低下,論文1紙あたりの引用率の低下がみられた。
  論文  参考訳（メタデータ） (2020-10-11T02:06:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。