論文の概要: Paper Copilot: Tracking the Evolution of Peer Review in AI Conferences

• arxiv url: http://arxiv.org/abs/2510.13201v1
• Date: Wed, 15 Oct 2025 06:41:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-16 20:13:28.52812
• Title: Paper Copilot: Tracking the Evolution of Peer Review in AI Conferences
• Title（参考訳）: Paper Copilot: AIカンファレンスでのピアレビューの進化を追跡する
• Authors: Jing Yang, Qiyao Wei, Jiaxin Pei,
• Abstract要約: 本稿では,多岐にわたるコンピュータサイエンスの会場において,ピアレビューの永続的なデジタルアーカイブを作成するシステムPaper Copilotを紹介する。 インフラストラクチャとデータセットの両方をリリースすることにより、Paper Copilotはピアレビューの進化に関する再現可能な研究をサポートする。
• 参考スコア（独自算出の注目度）: 10.900405397994687
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The rapid growth of AI conferences is straining an already fragile peer-review system, leading to heavy reviewer workloads, expertise mismatches, inconsistent evaluation standards, superficial or templated reviews, and limited accountability under compressed timelines. In response, conference organizers have introduced new policies and interventions to preserve review standards. Yet these ad-hoc changes often create further concerns and confusion about the review process, leaving how papers are ultimately accepted - and how practices evolve across years - largely opaque. We present Paper Copilot, a system that creates durable digital archives of peer reviews across a wide range of computer-science venues, an open dataset that enables researchers to study peer review at scale, and a large-scale empirical analysis of ICLR reviews spanning multiple years. By releasing both the infrastructure and the dataset, Paper Copilot supports reproducible research on the evolution of peer review. We hope these resources help the community track changes, diagnose failure modes, and inform evidence-based improvements toward a more robust, transparent, and reliable peer-review system.
• Abstract（参考訳）: AIカンファレンスの急速な成長は、すでに脆弱なピアレビューシステムを緊張させており、重いレビューワークロード、専門知識のミスマッチ、一貫性のない評価標準、表面的あるいはテンプレート的レビュー、圧縮タイムライン下での説明責任の制限につながっている。 これを受けて、会議主催者は、レビュー基準を維持するための新しい方針と介入を導入した。 しかし、これらのアドホックな変更はレビュープロセスに対するさらなる懸念や混乱を招き、最終的に論文が受け入れられる方法 - 長年にわたるプラクティスの進化 - は、ほとんど不透明である。 本稿では,多岐にわたるコンピュータサイエンスの会場におけるピアレビューの永続的デジタルアーカイブを作成するシステムであるPaper Copilotと,研究者が大規模にピアレビューを研究できるオープンデータセットと,数年にわたるICLRレビューの大規模実証分析について紹介する。 インフラストラクチャとデータセットの両方をリリースすることにより、Paper Copilotはピアレビューの進化に関する再現可能な研究をサポートする。 これらのリソースは、コミュニティが変化を追跡し、障害モードを診断し、より堅牢で透明で信頼性の高いピアレビューシステムに向けたエビデンスベースの改善を通知するのに役立つことを願っています。

関連論文リスト

• ReviewerToo: Should AI Join The Program Committee? A Look At The Future of Peer Review [23.630458187587223]
  ReviewerTooは、AI支援ピアレビューの研究とデプロイのためのフレームワークである。 専門的なレビュアー・ペルソナと構造化された評価基準による体系的な実験を支援する。 私たちは、複雑な評価判断をドメインの専門家に任せながら、AIが一貫性、カバレッジ、公平性を高める方法を示します。
  論文  参考訳（メタデータ） (2025-10-09T23:53:19Z)
• What Drives Paper Acceptance? A Process-Centric Analysis of Modern Peer Review [2.9282248958475345]
  ICLR 2017-2025の大規模な実証研究を行い、28,000件以上の提出書を提出した。 以上の結果から,科学的新奇性以外の要因が受容結果を著しく形作っていることが示唆された。 著者,レビュアー,メタレビュアーに対して,ピアレビューにおける透明性と公正性を高めるためのデータ駆動ガイドラインを提案する。
  論文  参考訳（メタデータ） (2025-09-30T03:00:10Z)
• The AI Imperative: Scaling High-Quality Peer Review in Machine Learning [49.87236114682497]
  AIによるピアレビューは、緊急の研究とインフラの優先事項になるべきだ、と私たちは主張する。 我々は、事実検証の強化、レビュアーのパフォーマンスの指導、品質改善における著者の支援、意思決定におけるAC支援におけるAIの具体的な役割を提案する。
  論文  参考訳（メタデータ） (2025-06-09T18:37:14Z)
• Blended PC Peer Review Model: Process and Reflection [12.91610113966584]
  The International Conference on Mining Software Repositories (MSR 2025)は、Blended Program Committee (PC)による技術トラックのピアレビューモデルを実験した。 本稿では,レビュー後著者調査から得られた経験的知見を含め,モデルに対する理論的根拠,実装,考察について述べる。 以上の結果から,Blended PCがレビュア不足を緩和し,インクリシティを向上し,高品質な査読プロセスを維持できる可能性が示唆された。
  論文  参考訳（メタデータ） (2025-04-27T04:45:23Z)
• Identifying Aspects in Peer Reviews [61.374437855024844]
  我々は、ピアレビューのコーパスからアスペクトを抽出するデータ駆動スキーマを開発した。 我々は、アスペクトを付加したピアレビューのデータセットを導入し、コミュニティレベルのレビュー分析にどのように使用できるかを示す。
  論文  参考訳（メタデータ） (2025-04-09T14:14:42Z)
• AgentReview: Exploring Peer Review Dynamics with LLM Agents [13.826819101545926]
  本稿では,最初の大規模言語モデル(LLM)に基づくピアレビューシミュレーションフレームワークであるAgentReviewを紹介する。 本研究は、レビュアーの偏見による紙の判断の37.1%の顕著な変化を含む、重要な洞察を明らかにした。
  論文  参考訳（メタデータ） (2024-06-18T15:22:12Z)
• Ranking Scientific Papers Using Preference Learning [48.78161994501516]
  我々はこれをピアレビューテキストとレビュアースコアに基づく論文ランキング問題とみなした。 ピアレビューに基づいて最終決定を行うための,新しい多面的総合評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-02T19:41:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。