論文の概要: Understanding Peer Review of Software Engineering Papers
- arxiv url: http://arxiv.org/abs/2009.01209v2
- Date: Thu, 17 Jun 2021 22:52:25 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-04 01:04:53.779534
- Title: Understanding Peer Review of Software Engineering Papers
- Title（参考訳）: ソフトウェア工学論文のピアレビューを理解する
- Authors: Neil A. Ernst and Jeffrey C. Carver and Daniel Mendez and Marco
Torchiano
- Abstract要約: 我々は、審査で受賞した者を含むレビュアーが、ソフトウェア工学論文のレビューをどのように行うかを理解することを目的としている。
肯定的なレビューをもたらす論文の最も重要な特徴は、明確で支持された検証、興味深い問題、そして新規性である。
著者は論文でその作品の貢献を非常に明確にすべきである。
- 参考スコア（独自算出の注目度）: 5.744593856232663
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Peer review is a key activity intended to preserve the quality and integrity
of scientific publications. However, in practice it is far from perfect.
We aim at understanding how reviewers, including those who have won awards
for reviewing, perform their reviews of software engineering papers to identify
both what makes a good reviewing approach and what makes a good paper.
We first conducted a series of in-person interviews with well-respected
reviewers in the software engineering field. Then, we used the results of those
interviews to develop a questionnaire used in an online survey and sent out to
reviewers from well-respected venues covering a number of software engineering
disciplines, some of whom had won awards for their reviewing efforts.
We analyzed the responses from the interviews and from 175 reviewers who
completed the online survey (including both reviewers who had won awards and
those who had not). We report on several descriptive results, including: 45% of
award-winners are reviewing 20+ conference papers a year, while 28% of
non-award winners conduct that many. 88% of reviewers are taking more than two
hours on journal reviews. We also report on qualitative results. To write a
good review, the important criteria were it should be factual and helpful,
ranked above others such as being detailed or kind. The most important features
of papers that result in positive reviews are clear and supported validation,
an interesting problem, and novelty. Conversely, negative reviews tend to
result from papers that have a mismatch between the method and the claims and
from those with overly grandiose claims.
The main recommendation for authors is to make the contribution of the work
very clear in their paper. In addition, reviewers viewed data availability and
its consistency as being important.
- Abstract（参考訳）: ピアレビューは科学出版物の品質と完全性を維持するための重要な活動である。
しかし、実際には完璧にはほど遠い。
我々は、レビューで受賞した人を含むレビュアーが、ソフトウェアエンジニアリング論文のレビューを行い、良いレビューアプローチと良いペーパーの両方を識別する方法を理解することを目的としています。
ソフトウェア工学の分野では,まず,評価の高いレビュアーとの対面インタビューを実施しました。
そして,これらのインタビューの結果をオンライン調査に使用したアンケートの開発に利用し,多くのソフトウェア工学分野を網羅する精査された会場のレビュアーに送った。
オンライン調査を完了した175人のレビュアー(受賞したレビュアーも受賞していないレビュアーも含む)とインタビューからの回答を分析した。
受賞者の45%が毎年20以上のカンファレンス論文をレビューしており、非受賞者の28%がそれを実施しています。
88%のレビュアーがジャーナルレビューに2時間以上を費やしている。
また,質的結果についても報告する。
良いレビューを書くために重要な基準は、それが事実で役に立つことであり、細部や種類など、他のものよりも上位に位置することであった。
肯定的なレビューをもたらす論文の最も重要な特徴は、明確で支持された検証、興味深い問題、そして新規性である。
逆に、否定的なレビューは、メソッドとクレームの間にミスマッチがある論文と、非常に壮大なクレームを持つ論文から生じる傾向がある。
著者の主な推奨事項は、論文の中で作品の貢献を非常に明確にすることである。
さらに、レビュアーはデータの可用性と一貫性が重要であると見なした。
関連論文リスト
- What Can Natural Language Processing Do for Peer Review? [173.8912784451817]
現代の科学ではピアレビューが広く使われているが、それは難しく、時間がかかり、エラーを起こしやすい。
ピアレビューに関わるアーティファクトは大部分がテキストベースであるため、自然言語処理はレビューを改善する大きな可能性を秘めている。
筆者らは、原稿提出からカメラ対応リビジョンまでの各工程について詳述し、NLP支援の課題と機会について論じる。
論文 参考訳（メタデータ） (2024-05-10T16:06:43Z) - A Literature Review of Literature Reviews in Pattern Analysis and Machine Intelligence [58.6354685593418]
本稿では, レビューを評価するために, 記事レベル, フィールド正規化, 大規模言語モデルを用いた書誌指標を提案する。
新たに登場したAI生成の文献レビューも評価されている。
この研究は、文学レビューの現在の課題についての洞察を与え、彼らの開発に向けた今後の方向性を思い起こさせる。
論文 参考訳（メタデータ） (2024-02-20T11:28:50Z) - Improving Code Reviewer Recommendation: Accuracy, Latency, Workload, and
Bystanders [6.538051328482194]
当社は2018年のRevRecV1以降生産されているレコメンデータを構築しています。
私たちは、レビュアーがファイルの以前のオーサシップに基づいて割り当てられていることに気付きました。
レビューに責任を持つ個人を持つことは、レビューにかかる時間を11%削減する。
論文 参考訳（メタデータ） (2023-12-28T17:55:13Z) - Integrating Rankings into Quantized Scores in Peer Review [61.27794774537103]
ピアレビューでは、レビュアーは通常、論文のスコアを提供するように求められます。
この問題を軽減するため、カンファレンスはレビュアーにレビューした論文のランキングを付加するように求め始めている。
このランキング情報を使用するための標準的な手順はなく、エリアチェアは異なる方法でそれを使用することができる。
我々は、ランキング情報をスコアに組み込むために、原則化されたアプローチを取る。
論文 参考訳（メタデータ） (2022-04-05T19:39:13Z) - Ranking Scientific Papers Using Preference Learning [48.78161994501516]
我々はこれをピアレビューテキストとレビュアースコアに基づく論文ランキング問題とみなした。
ピアレビューに基づいて最終決定を行うための,新しい多面的総合評価フレームワークを提案する。
論文 参考訳（メタデータ） (2021-09-02T19:41:47Z) - Making Paper Reviewing Robust to Bid Manipulation Attacks [44.34601846490532]
逸話的な証拠は、一部のレビュアーが「友人」あるいは「衝突する著者」による論文の入札を行ったことを示唆している。
我々は、そのような攻撃に対してより堅牢な、紙入札と割当てのための新しいアプローチを開発する。
より堅牢であることに加えて、論文レビューの課題の質は、現在の非ロバストな課題のアプローチに匹敵する。
論文 参考訳（メタデータ） (2021-02-09T21:24:16Z) - Can We Automate Scientific Reviewing? [89.50052670307434]
我々は、最先端自然言語処理(NLP)モデルを用いて、科学論文の第一パスピアレビューを生成する可能性について論じる。
我々は、機械学習領域で論文のデータセットを収集し、各レビューでカバーされているさまざまなコンテンツに注釈を付け、レビューを生成するために論文を取り込み、ターゲットの要約モデルを訓練する。
総合的な実験結果から、システム生成レビューは、人間によるレビューよりも、論文の多くの側面に触れる傾向にあることが示された。
論文 参考訳（メタデータ） (2021-01-30T07:16:53Z) - Prior and Prejudice: The Novice Reviewers' Bias against Resubmissions in
Conference Peer Review [35.24369486197371]
現代の機械学習とコンピュータサイエンスのカンファレンスは、ピアレビューの品質に挑戦する応募の数が急増している。
いくつかのカンファレンスは、著者が論文の以前の提出履歴を宣言するよう促したり、要求したりし始めた。
本研究は、レビュー対象の提出が以前、類似の会場で拒否されたという知識から生じる偏見について検討する。
論文 参考訳（メタデータ） (2020-11-30T09:35:37Z) - ReviewRobot: Explainable Paper Review Generation based on Knowledge
Synthesis [62.76038841302741]
レビュースコアを自動的に割り当てて,新規性や意味のある比較など,複数のカテゴリのコメントを書くための,新しいReviewRobotを構築した。
実験の結果,レビュースコア予測器の精度は71.4%-100%であった。
ドメインの専門家による人間による評価は、ReviewRobotが生成したコメントの41.7%-70.5%が有効で建設的であり、その20%は人間が書いたものよりも優れていることを示している。
論文 参考訳（メタデータ） (2020-10-13T02:17:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。