論文の概要: Is Peer Review Really in Decline? Analyzing Review Quality across Venues and Time

• arxiv url: http://arxiv.org/abs/2601.15172v1
• Date: Wed, 21 Jan 2026 16:48:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-22 21:27:50.466114
• Title: Is Peer Review Really in Decline? Analyzing Review Quality across Venues and Time
• Title（参考訳）: ピアレビューは本当に衰退しているのか? レビューの質を経時的に分析する
• Authors: Ilia Kuznetsov, Rohan Nayak, Alla Rozovskaya, Iryna Gurevych,
• Abstract要約: 本稿では,エビデンスに基づくレビュー品質の比較研究のための新しいフレームワークを提案する。 ICLR、NeurIPS、*ACLといった主要なAIおよび機械学習のカンファレンスに適用します。 レビュー品質の測定値と時間経過に伴うその進化の関係について検討する。
• 参考スコア（独自算出の注目度）: 55.756345497678204
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Peer review is at the heart of modern science. As submission numbers rise and research communities grow, the decline in review quality is a popular narrative and a common concern. Yet, is it true? Review quality is difficult to measure, and the ongoing evolution of reviewing practices makes it hard to compare reviews across venues and time. To address this, we introduce a new framework for evidence-based comparative study of review quality and apply it to major AI and machine learning conferences: ICLR, NeurIPS and *ACL. We document the diversity of review formats and introduce a new approach to review standardization. We propose a multi-dimensional schema for quantifying review quality as utility to editors and authors, coupled with both LLM-based and lightweight measurements. We study the relationships between measurements of review quality, and its evolution over time. Contradicting the popular narrative, our cross-temporal analysis reveals no consistent decline in median review quality across venues and years. We propose alternative explanations, and outline recommendations to facilitate future empirical studies of review quality.
• Abstract（参考訳）: ピアレビューは現代科学の中心にある。 提出数の増加と研究コミュニティの増加に伴い、レビュー品質の低下は一般的な物語であり、共通の関心事となっている。 しかし、それは本当だろうか? レビュー品質の測定は困難であり、レビュープラクティスの継続的な進化は、会場や時間間でレビューを比較するのを難しくしている。 これを解決するために、エビデンスベースのレビュー品質の比較研究のための新しいフレームワークを導入し、主要なAIおよび機械学習カンファレンス(ICLR、NeurIPS、*ACL)に適用する。 レビューフォーマットの多様性を文書化し、標準化をレビューするための新しいアプローチを導入する。 筆者や編集者にとって, レビュー品質を定量化するための多次元スキーマを提案する。 レビュー品質の測定値と時間経過に伴うその進化の関係について検討する。 一般的な物語とは対照的に、時間横断分析では、会場や数年にわたってレビュー品質の中央値が一貫した低下を示さない。 本稿では,レビュー品質の今後の実証的研究を促進するために,代替的な説明を提案し,推奨事項を概説する。

関連論文リスト

• What Drives Paper Acceptance? A Process-Centric Analysis of Modern Peer Review [2.9282248958475345]
  ICLR 2017-2025の大規模な実証研究を行い、28,000件以上の提出書を提出した。 以上の結果から,科学的新奇性以外の要因が受容結果を著しく形作っていることが示唆された。 著者,レビュアー,メタレビュアーに対して,ピアレビューにおける透明性と公正性を高めるためのデータ駆動ガイドラインを提案する。
  論文  参考訳（メタデータ） (2025-09-30T03:00:10Z)
• Paper Quality Assessment based on Individual Wisdom Metrics from Open Peer Review [4.35783648216893]
  従来のクローズドピアレビューシステムは遅く、コストがかかり、透明ではない。 我々は、オープンなボトムアッププロセスを通じて、科学的ピアレビューの代替形態の有効性と正確性を提案し、検証する。
  論文  参考訳（メタデータ） (2025-01-22T17:00:27Z)
• AI-Driven Review Systems: Evaluating LLMs in Scalable and Bias-Aware Academic Reviews [18.50142644126276]
  我々は,人選好のアリーナを用いて,人選好と自動レビューのアライメントを評価する。 我々は、LLMを微調整して人間の好みを予測し、LLM同士の真っ向からの戦いにおいて、どのレビューが好まれるかを予測する。 我々は、公開可能なarXivおよびオープンアクセスのNatureジャーナルのレビューをオンラインで公開し、著者が研究論文をレビューし、改訂し、品質を改善するのに役立つ無料サービスを提供しています。
  論文  参考訳（メタデータ） (2024-08-19T19:10:38Z)
• A Literature Review of Literature Reviews in Pattern Analysis and Machine Intelligence [51.26815896167173]
  本稿では,3つの相補的な側面からPAMIレビューを総合的に分析する。 我々の分析は、現在のレビューの実践において、独特の組織パターンと永続的なギャップを明らかにします。 最後に、最先端のAI生成レビューの評価は、コヒーレンスと組織の進歩を奨励していることを示している。
  論文  参考訳（メタデータ） (2024-02-20T11:28:50Z)
• Ranking Scientific Papers Using Preference Learning [48.78161994501516]
  我々はこれをピアレビューテキストとレビュアースコアに基づく論文ランキング問題とみなした。 ピアレビューに基づいて最終決定を行うための,新しい多面的総合評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-02T19:41:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。