論文の概要: What Drives Paper Acceptance? A Process-Centric Analysis of Modern Peer Review
- arxiv url: http://arxiv.org/abs/2509.25701v1
- Date: Tue, 30 Sep 2025 03:00:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-01 17:09:04.403741
- Title: What Drives Paper Acceptance? A Process-Centric Analysis of Modern Peer Review
- Title(参考訳): 紙の受容を駆動するものは何か? : 現代のピアレビューのプロセス中心分析
- Authors: Sangkeun Jung, Goun Pyeon, Inbum Heo, Hyungjin Ahn,
- Abstract要約: ICLR 2017-2025の大規模な実証研究を行い、28,000件以上の提出書を提出した。
以上の結果から,科学的新奇性以外の要因が受容結果を著しく形作っていることが示唆された。
著者,レビュアー,メタレビュアーに対して,ピアレビューにおける透明性と公正性を高めるためのデータ駆動ガイドラインを提案する。
- 参考スコア(独自算出の注目度): 2.9282248958475345
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Peer review is the primary mechanism for evaluating scientific contributions, yet prior studies have mostly examined paper features or external metadata in isolation. The emergence of open platforms such as OpenReview has transformed peer review into a transparent and interactive process, recording not only scores and comments but also rebuttals, reviewer-author exchanges, reviewer disagreements, and meta-reviewer decisions. This provides unprecedented process-level data for understanding how modern peer review operates. In this paper, we present a large-scale empirical study of ICLR 2017-2025, encompassing over 28,000 submissions. Our analysis integrates four complementary dimensions, including the structure and language quality of papers (e.g., section patterns, figure/table ratios, clarity), submission strategies and external metadata (e.g., timing, arXiv posting, author count), the dynamics of author-reviewer interactions (e.g., rebuttal frequency, responsiveness), and the patterns of reviewer disagreement and meta-review mediation (e.g., score variance, confidence weighting). Our results show that factors beyond scientific novelty significantly shape acceptance outcomes. In particular, the rebuttal stage emerges as a decisive phase: timely, substantive, and interactive author-reviewer communication strongly increases the likelihood of acceptance, often outweighing initial reviewer skepticism. Alongside this, clearer writing, balanced visual presentation, earlier submission, and effective resolution of reviewer disagreement also correlate with higher acceptance probabilities. Based on these findings, we propose data-driven guidelines for authors, reviewers, and meta-reviewers to enhance transparency and fairness in peer review. Our study demonstrates that process-centric signals are essential for understanding and improving modern peer review.
- Abstract(参考訳): ピアレビューは、科学的貢献を評価するための主要なメカニズムであるが、以前の研究では、主に論文の特徴や外部メタデータを分離して調査してきた。
OpenReviewのようなオープンプラットフォームの出現は、ピアレビューを透明でインタラクティブなプロセスに転換し、スコアやコメントだけでなく、反感、レビュア-著者交換、レビュアの不一致、メタリビューア決定も記録した。
これは、現代のピアレビューがどのように動作するかを理解するために、前例のないプロセスレベルのデータを提供する。
本稿では,ICLR 2017-2025の大規模実証研究を行い,約28,000件の提出を行った。
分析では,論文の構造と品質(例えば,セクションパターン,図形/表比,明度),提出戦略と外部メタデータ(例えば,タイミング,arXivポスト,著者数),著者-レビュー者インタラクションのダイナミクス(例えば,帰属頻度,応答性),レビュアーの不一致とメタレビュー仲介のパターン(例えば,スコア分散,信頼度重み付け)の4つの相補的側面を統合した。
以上の結果から,科学的新奇性以外の要因が受容結果を著しく形作っていることが示唆された。
特に、反論の段階は決定的な段階として現れる: タイムリーで、実体的で、インタラクティブな著者とレビューのコミュニケーションは、受け入れの可能性を強く増加させ、しばしば初期レビューの懐疑論を上回る。
これに加えて、より明確な文章、バランスのとれた視覚的なプレゼンテーション、事前提出、レビュアーの不一致の効果的な解決もまた、高い受容確率と相関する。
これらの知見に基づき、著者、レビュアー、メタレビュアーに対して、ピアレビューにおける透明性と公正性を高めるためのデータ駆動ガイドラインを提案する。
本研究は、プロセス中心の信号が現代のピアレビューの理解と改善に不可欠であることを示す。
関連論文リスト
- Identifying Aspects in Peer Reviews [61.374437855024844]
我々は、ピアレビューのコーパスからアスペクトを抽出するデータ駆動スキーマを開発した。
我々は、アスペクトを付加したピアレビューのデータセットを導入し、コミュニティレベルのレビュー分析にどのように使用できるかを示す。
論文 参考訳(メタデータ) (2025-04-09T14:14:42Z) - Deep Transfer Learning Based Peer Review Aggregation and Meta-review Generation for Scientific Articles [2.0778556166772986]
論文の受理決定とメタレビュー生成という2つのピアレビューアグリゲーション課題に対処する。
まず,従来の機械学習アルゴリズムを適用し,受理決定のプロセスを自動化することを提案する。
メタレビュー生成では,T5モデルに基づく移動学習モデルを提案する。
論文 参考訳(メタデータ) (2024-10-05T15:40:37Z) - AgentReview: Exploring Peer Review Dynamics with LLM Agents [13.826819101545926]
本稿では,最初の大規模言語モデル(LLM)に基づくピアレビューシミュレーションフレームワークであるAgentReviewを紹介する。
本研究は、レビュアーの偏見による紙の判断の37.1%の顕著な変化を含む、重要な洞察を明らかにした。
論文 参考訳(メタデータ) (2024-06-18T15:22:12Z) - GLIMPSE: Pragmatically Informative Multi-Document Summarization for Scholarly Reviews [25.291384842659397]
本稿では,学術レビューの簡潔かつ包括的概要を提供するための要約手法であるsysを紹介する。
従来のコンセンサスに基づく手法とは異なり、sysは共通の意見とユニークな意見の両方をレビューから抽出する。
論文 参考訳(メタデータ) (2024-06-11T15:27:01Z) - A Literature Review of Literature Reviews in Pattern Analysis and Machine Intelligence [51.26815896167173]
本稿では,3つの相補的な側面からPAMIレビューを総合的に分析する。
我々の分析は、現在のレビューの実践において、独特の組織パターンと永続的なギャップを明らかにします。
最後に、最先端のAI生成レビューの評価は、コヒーレンスと組織の進歩を奨励していることを示している。
論文 参考訳(メタデータ) (2024-02-20T11:28:50Z) - When Reviewers Lock Horn: Finding Disagreement in Scientific Peer
Reviews [24.875901048855077]
本稿では,ある記事のレビュアー間での矛盾を自動的に識別する新しいタスクを紹介する。
我々の知識を最大限に活用するために、ピアレビュアー間での意見の不一致を自動的に識別する最初の試みを行う。
論文 参考訳(メタデータ) (2023-10-28T11:57:51Z) - Scientific Opinion Summarization: Paper Meta-review Generation Dataset, Methods, and Evaluation [55.00687185394986]
本稿では,論文レビューをメタレビューに合成する,科学的意見要約の課題を提案する。
ORSUMデータセットは、47のカンファレンスから15,062のメタレビューと57,536の論文レビューをカバーしている。
実験の結果,(1)人間による要約は,議論の深みや特定の領域に対するコンセンサスや論争の特定など,必要な基準をすべて満たしていないこと,(2)タスクの分解と反復的自己調整の組み合わせは,意見の強化に強い可能性を示唆している。
論文 参考訳(メタデータ) (2023-05-24T02:33:35Z) - Investigating Fairness Disparities in Peer Review: A Language Model
Enhanced Approach [77.61131357420201]
我々は、大規模言語モデル(LM)の助けを借りて、ピアレビューにおける公平性格差の徹底した厳密な研究を行う。
我々は、2017年から現在までのICLR(International Conference on Learning Representations)カンファレンスで、包括的なリレーショナルデータベースを収集、組み立て、維持しています。
我々は、著作者性別、地理、著作者、機関的名声など、興味のある複数の保護属性に対する公平性の違いを仮定し、研究する。
論文 参考訳(メタデータ) (2022-11-07T16:19:42Z) - Aspect-based Sentiment Analysis of Scientific Reviews [12.472629584751509]
本研究は,受理論文と受理論文ではアスペクトベース感情の分布が著しく異なることを示す。
第2の目的として、論文を閲覧するレビュアーの間での意見の不一致の程度を定量化する。
また, 審査員と議長との意見の不一致の程度について検討し, 審査員間の意見の不一致が議長との意見の不一致と関係があることを見出した。
論文 参考訳(メタデータ) (2020-06-05T07:06:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。