論文の概要: Insights from the ICLR Peer Review and Rebuttal Process

• arxiv url: http://arxiv.org/abs/2511.15462v1
• Date: Wed, 19 Nov 2025 14:21:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-20 15:51:28.839137
• Title: Insights from the ICLR Peer Review and Rebuttal Process
• Title（参考訳）: ICLR Peerレビューとリビュープロセスの展望
• Authors: Amir Hossein Kargaran, Nafiseh Nikeghbal, Jing Yang, Nedjma Ousidhoum,
• Abstract要約: ICLR 2024と2025のピアレビュープロセスを大規模に分析する。 本研究は,レビュースコア,著者-レビューアテンション,レビュー提出時の時間的パターン,共同レビューアの影響について検討する。 この結果から,初回評価と共同視聴者の評価が,報奨期間における得点変化の予測因子として最強であることが示唆された。
• 参考スコア（独自算出の注目度）: 11.96840383745149
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Peer review is a cornerstone of scientific publishing, including at premier machine learning conferences such as ICLR. As submission volumes increase, understanding the nature and dynamics of the review process is crucial for improving its efficiency, effectiveness, and the quality of published papers. We present a large-scale analysis of the ICLR 2024 and 2025 peer review processes, focusing on before- and after-rebuttal scores and reviewer-author interactions. We examine review scores, author-reviewer engagement, temporal patterns in review submissions, and co-reviewer influence effects. Combining quantitative analyses with LLM-based categorization of review texts and rebuttal discussions, we identify common strengths and weaknesses for each rating group, as well as trends in rebuttal strategies that are most strongly associated with score changes. Our findings show that initial scores and the ratings of co-reviewers are the strongest predictors of score changes during the rebuttal, pointing to a degree of reviewer influence. Rebuttals play a valuable role in improving outcomes for borderline papers, where thoughtful author responses can meaningfully shift reviewer perspectives. More broadly, our study offers evidence-based insights to improve the peer review process, guiding authors on effective rebuttal strategies and helping the community design fairer and more efficient review processes. Our code and score changes data are available at https://github.com/papercopilot/iclr-insights.
• Abstract（参考訳）: Peer Reviewは、ICLRなどのプレミア機械学習カンファレンスを含む、科学出版の基盤である。 提出数が増えるにつれて、レビュープロセスの性質とダイナミクスを理解することが、論文の効率性、有効性、質の向上に不可欠である。 ICLR 2024と2025のピアレビュープロセスを大規模に分析し、前・後・後スコアとレビュアー-オーサインタラクションに着目した。 本研究は,レビュースコア,著者-レビューアテンション,レビュー提出時の時間的パターン,共同レビューアの影響について検討する。 レビューテキストの量的分析とLLMに基づく分類と反感的議論を組み合わせることで、評価グループごとに共通の強みと弱みを識別し、スコア変化に最も強く関連する反感的戦略の傾向を明らかにする。 以上の結果から,初回評価と共同視聴者の評価は,レビュアーの影響の度合いを指標として,リビュー期間中の得点変化の最も強い予測因子であることが示唆された。 著者の思慮深い反応は、レビュアーの視点を有意義に変えることができる。 より広範に、我々の研究は、ピアレビュープロセスを改善するためのエビデンスベースの洞察を提供し、著者に効果的なリビュー戦略を指導し、コミュニティ設計をより公平に、より効率的なレビュープロセスを支援する。 私たちのコードとスコアの変更データはhttps://github.com/papercopilot/iclr-insights.comで公開されています。

関連論文リスト

• What Drives Paper Acceptance? A Process-Centric Analysis of Modern Peer Review [2.9282248958475345]
  ICLR 2017-2025の大規模な実証研究を行い、28,000件以上の提出書を提出した。 以上の結果から,科学的新奇性以外の要因が受容結果を著しく形作っていることが示唆された。 著者,レビュアー,メタレビュアーに対して,ピアレビューにおける透明性と公正性を高めるためのデータ駆動ガイドラインを提案する。
  論文  参考訳（メタデータ） (2025-09-30T03:00:10Z)
• Beyond "Not Novel Enough": Enriching Scholarly Critique with LLM-Assisted Feedback [81.0031690510116]
  本稿では,3段階を通して専門家レビューアの動作をモデル化する,自動ノベルティ評価のための構造化アプローチを提案する。 本手法は,人文のノベルティレビューを大規模に分析した結果から得られたものである。 182 ICLR 2025 の提出で評価されたこの手法は、人間の推論と86.5%の一致と、新規性の結論に関する75.3%の合意を達成している。
  論文  参考訳（メタデータ） (2025-08-14T16:18:37Z)
• Identifying Aspects in Peer Reviews [59.02879434536289]
  我々は、ピアレビューのコーパスからアスペクトを抽出するデータ駆動スキーマを開発した。 我々は、アスペクトを付加したピアレビューのデータセットを導入し、コミュニティレベルのレビュー分析にどのように使用できるかを示す。
  論文  参考訳（メタデータ） (2025-04-09T14:14:42Z)
• Understanding and Supporting Peer Review Using AI-reframed Positive Summary [18.686807993563168]
  本研究は,筆記作業のピアレビューに自動生成された肯定的な要約を付加することの影響について検討した。 さもなくば過酷なフィードバックにAIを再構成した肯定的な要約を加えると、著者の批判的受け入れが増大することがわかった。 我々は、ピアフィードバックにおけるAIの利用の意味について論じ、それが批判的受容にどのように影響するかに注目し、研究コミュニティを支援する。
  論文  参考訳（メタデータ） (2025-03-13T11:22:12Z)
• AgentReview: Exploring Peer Review Dynamics with LLM Agents [13.826819101545926]
  本稿では,最初の大規模言語モデル(LLM)に基づくピアレビューシミュレーションフレームワークであるAgentReviewを紹介する。 本研究は、レビュアーの偏見による紙の判断の37.1%の顕著な変化を含む、重要な洞察を明らかにした。
  論文  参考訳（メタデータ） (2024-06-18T15:22:12Z)
• Ranking Scientific Papers Using Preference Learning [48.78161994501516]
  我々はこれをピアレビューテキストとレビュアースコアに基づく論文ランキング問題とみなした。 ピアレビューに基づいて最終決定を行うための,新しい多面的総合評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-02T19:41:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。