論文の概要: The State of Peer Review in Empirical Software Engineering: A Community Survey on Review Load, Quality, and GenAI Use
- arxiv url: http://arxiv.org/abs/2606.04716v1
- Date: Wed, 03 Jun 2026 10:49:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-04 20:44:18.689475
- Title: The State of Peer Review in Empirical Software Engineering: A Community Survey on Review Load, Quality, and GenAI Use
- Title（参考訳）: 経験的ソフトウェアエンジニアリングにおけるピアレビューの現状: レビュー負荷,品質,GenAI利用に関するコミュニティ調査
- Authors: Justus Bogner, Roberto Verdecchia,
- Abstract要約: 科学的なピアレビューシステムは、ここ数年徐々に悪化している。
生成的AI利用の台頭と関連するすべての問題により、システム内の多くの亀裂がより目に見えるようになった。
i)コミュニティメンバのレビュー負荷,(ii)レビュー品質の認識,レビューに関する課題や課題の頻繁な報告,(iii)レビュープロセスにおけるLCMベースのツールの使用,(iv)ピアレビューシステムを改善するためのコミュニティの提案について報告する。
- 参考スコア（独自算出の注目度）: 7.447436322111677
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The scientific peer review system has been slowly deteriorating over the last years, and not just within empirical software engineering (ESE) research. Increased submission numbers, high workload, and the rise of generative AI use with all its associated issues have made many cracks in the system more visible. To get a better understanding of the current state of peer review in the ESE community, we conducted a questionnaire survey, which accumulated 120 responses. We report on (i) the perceived review load of community members, (ii) review quality perception as well as frequent challenges for and issues with reviews, (iii) the use of LLM-based tools in the reviewing process, and (iv) the community's suggestions for improving the peer review system. We hope that these community opinions can facilitate more evidence-based discussions about how people want to see the review system change for the better.
- Abstract（参考訳）: 科学的ピアレビューシステムは、経験的ソフトウェアエンジニアリング(ESE)研究だけでなく、ここ数年で徐々に劣化している。
提出数の増加、高い作業負荷、関連するすべての問題で生成AIが使われるようになったことで、システム内の多くの亀裂がより可視化されるようになった。
ESEコミュニティにおけるピアレビューの現状をより深く把握するために,120の回答を蓄積したアンケート調査を行った。
報告する
(i)コミュニティメンバのレビュー負荷の認識
(二 品質認識の見直し及びレビューにおける課題及び課題の頻繁な見直し。)
三 審査工程におけるLLMベースのツールの使用等
(4)ピアレビューシステムを改善するためのコミュニティの提案。
これらのコミュニティの意見が、人々がどのようにレビューシステムをより良く変化させたいかについて、よりエビデンスベースの議論を促進することを願っています。
関連論文リスト
- What happens when reviewers receive AI feedback in their reviews? [9.57486570505445]
支持者はAIがレビュー担当者の負担を減らし、品質を改善する可能性があると考えているが、批判者は公正さ、説明責任、信頼へのリスクを警告している。
ICLR 2025では、レビュアーにレビュー後提案を提供するために、公式のAIフィードバックツールがデプロイされた。
この研究は、ライブレビュープロセスにおいて、このようなAIツールの実証的な証拠として初めて貢献する。
論文 参考訳（メタデータ） (2026-02-14T15:22:33Z) - Towards A Sustainable Future for Peer Review in Software Engineering [5.42073906150267]
ソフトウェアエンジニアリングの会場での論文提出の急激な増加は、資格のあるレビュアーの可用性を上回っている。
私たちのSE研究の展望には、よりスケーラブルで包括的でレジリエントなピアレビュープロセスが含まれています。
論文 参考訳（メタデータ） (2026-01-29T14:14:44Z) - Is Peer Review Really in Decline? Analyzing Review Quality across Venues and Time [55.756345497678204]
本稿では,エビデンスに基づくレビュー品質の比較研究のための新しいフレームワークを提案する。
ICLR、NeurIPS、*ACLといった主要なAIおよび機械学習のカンファレンスに適用します。
レビュー品質の測定値と時間経過に伴うその進化の関係について検討する。
論文 参考訳（メタデータ） (2026-01-21T16:48:29Z) - ReviewerToo: Should AI Join The Program Committee? A Look At The Future of Peer Review [23.630458187587223]
ReviewerTooは、AI支援ピアレビューの研究とデプロイのためのフレームワークである。
専門的なレビュアー・ペルソナと構造化された評価基準による体系的な実験を支援する。
私たちは、複雑な評価判断をドメインの専門家に任せながら、AIが一貫性、カバレッジ、公平性を高める方法を示します。
論文 参考訳（メタデータ） (2025-10-09T23:53:19Z) - The AI Imperative: Scaling High-Quality Peer Review in Machine Learning [49.87236114682497]
AIによるピアレビューは、緊急の研究とインフラの優先事項になるべきだ、と私たちは主張する。
我々は、事実検証の強化、レビュアーのパフォーマンスの指導、品質改善における著者の支援、意思決定におけるAC支援におけるAIの具体的な役割を提案する。
論文 参考訳（メタデータ） (2025-06-09T18:37:14Z) - Position: The AI Conference Peer Review Crisis Demands Author Feedback and Reviewer Rewards [2.8239108914343305]
本稿では,従来の一方向レビューシステムを双方向フィードバックループに変換する必要性を論じる。
著者はレビューの品質を評価し、レビュアーは正式な認定を受け、説明責任フレームワークを作成する。
論文 参考訳（メタデータ） (2025-05-08T05:51:48Z) - Identifying Aspects in Peer Reviews [59.02879434536289]
我々は、ピアレビューのコーパスからアスペクトを抽出するデータ駆動スキーマを開発した。
我々は、アスペクトを付加したピアレビューのデータセットを導入し、コミュニティレベルのレビュー分析にどのように使用できるかを示す。
論文 参考訳（メタデータ） (2025-04-09T14:14:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。