論文の概要: Prior and Prejudice: The Novice Reviewers' Bias against Resubmissions in Conference Peer Review

• arxiv url: http://arxiv.org/abs/2011.14646v1
• Date: Mon, 30 Nov 2020 09:35:37 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-06 14:29:46.923030
• Title: Prior and Prejudice: The Novice Reviewers' Bias against Resubmissions in Conference Peer Review
• Title（参考訳）: pre and prejudice: the novice reviewers' bias against resubmissions in conference peer review
• Authors: Ivan Stelmakh, Nihar B. Shah, Aarti Singh, and Hal Daum\'e III
• Abstract要約: 現代の機械学習とコンピュータサイエンスのカンファレンスは、ピアレビューの品質に挑戦する応募の数が急増している。 いくつかのカンファレンスは、著者が論文の以前の提出履歴を宣言するよう促したり、要求したりし始めた。 本研究は、レビュー対象の提出が以前、類似の会場で拒否されたという知識から生じる偏見について検討する。
• 参考スコア（独自算出の注目度）: 35.24369486197371
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Modern machine learning and computer science conferences are experiencing a surge in the number of submissions that challenges the quality of peer review as the number of competent reviewers is growing at a much slower rate. To curb this trend and reduce the burden on reviewers, several conferences have started encouraging or even requiring authors to declare the previous submission history of their papers. Such initiatives have been met with skepticism among authors, who raise the concern about a potential bias in reviewers' recommendations induced by this information. In this work, we investigate whether reviewers exhibit a bias caused by the knowledge that the submission under review was previously rejected at a similar venue, focusing on a population of novice reviewers who constitute a large fraction of the reviewer pool in leading machine learning and computer science conferences. We design and conduct a randomized controlled trial closely replicating the relevant components of the peer-review pipeline with $133$ reviewers (master's, junior PhD students, and recent graduates of top US universities) writing reviews for $19$ papers. The analysis reveals that reviewers indeed become negatively biased when they receive a signal about paper being a resubmission, giving almost 1 point lower overall score on a 10-point Likert item ($\Delta = -0.78, \ 95\% \ \text{CI} = [-1.30, -0.24]$) than reviewers who do not receive such a signal. Looking at specific criteria scores (originality, quality, clarity and significance), we observe that novice reviewers tend to underrate quality the most.
• Abstract（参考訳）: 現代の機械学習とコンピュータサイエンスのカンファレンスは、有能なレビュワーの数がずっと遅いペースで増えているため、ピアレビューの質に挑戦する応募数が急増している。 この傾向を抑え、レビュアーの負担を軽減するために、いくつかの会議が著者に論文の以前の提出履歴を宣言するよう促したり要求したりし始めた。 このようなイニシアティブは、この情報によって引き起こされるレビュアーの勧告の潜在的なバイアスに対する懸念を提起する著者の間では懐疑的になっている。 本研究では,機械学習やコンピュータサイエンスの会議において,レビュアープールの多数を占める初心者レビュアーの集団を対象に,レビュー対象の提出が以前同様の会場で拒否されたという知識から生じるバイアスが,レビュアーが示されるかどうかについて検討する。 私たちは、ピアレビューパイプラインの関連コンポーネントを、133ドルのレビュアー(マスターズ、ジュニア博士課程の学生、そして最近アメリカのトップ大学の卒業生)が19ドルの論文のレビューを書くように、ランダムに制御されたトライアルを設計し、実行します。 この分析により、レビュアーは再提出された紙についての信号を受け取ると、実際に負の偏りを呈し、そのような信号を受け取らないレビュアーよりも10ポイントのイコールアイテム(\Delta = -0.78, \ 95\% \ \text{CI} = [-1.30, -0.24]$)の総合スコアがほぼ1ポイント低い。 特定の基準スコア(オリジナリティ、品質、明快さ、重要性)を見ると、初心者は品質を過小評価する傾向があることが分かる。

関連論文リスト

• Analysis of the ICML 2023 Ranking Data: Can Authors' Opinions of Their Own Papers Assist Peer Review in Machine Learning? [52.00419656272129]
  我々は2023年の国際機械学習会議(ICML)で実験を行った。 我々はそれぞれ2,592件の応募書を含む1,342件のランク付けを受けた。 著者によるランキングを用いて生のレビュースコアを校正するイソトニックメカニズムに注目した。
  論文  参考訳（メタデータ） (2024-08-24T01:51:23Z)
• When Reviewers Lock Horn: Finding Disagreement in Scientific Peer Reviews [24.875901048855077]
  本稿では,ある記事のレビュアー間での矛盾を自動的に識別する新しいタスクを紹介する。 我々の知識を最大限に活用するために、ピアレビュアー間での意見の不一致を自動的に識別する最初の試みを行う。
  論文  参考訳（メタデータ） (2023-10-28T11:57:51Z)
• How do Authors' Perceptions of their Papers Compare with Co-authors' Perceptions and Peer-review Decisions? [87.00095008723181]
  著者は論文の受理確率をおよそ3倍過大評価している。 女性作家は、男性作家よりも極端に高い(統計的に重要な)誤校正を示す。 受理された論文と受理された論文の回答者の少なくとも30%は、レビュープロセス後に自身の論文に対する認識が改善したと述べている。
  論文  参考訳（メタデータ） (2022-11-22T15:59:30Z)
• Spatio-Temporal Graph Representation Learning for Fraudster Group Detection [50.779498955162644]
  企業は、偽レビューを書くために詐欺師グループを雇い、競合相手をデモしたり、自分のビジネスを宣伝したりすることができる。 そのようなグループを検出するには、詐欺師グループの静的ネットワークを表現するのが一般的なモデルである。 両レビュアーの表現学習におけるHIN-RNNの有効性を第一に活用することを提案する。
  論文  参考訳（メタデータ） (2022-01-07T08:01:38Z)
• Ranking Scientific Papers Using Preference Learning [48.78161994501516]
  我々はこれをピアレビューテキストとレビュアースコアに基づく論文ランキング問題とみなした。 ピアレビューに基づいて最終決定を行うための,新しい多面的総合評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-02T19:41:47Z)
• Can We Automate Scientific Reviewing? [89.50052670307434]
  我々は、最先端自然言語処理(NLP)モデルを用いて、科学論文の第一パスピアレビューを生成する可能性について論じる。 我々は、機械学習領域で論文のデータセットを収集し、各レビューでカバーされているさまざまなコンテンツに注釈を付け、レビューを生成するために論文を取り込み、ターゲットの要約モデルを訓練する。 総合的な実験結果から、システム生成レビューは、人間によるレビューよりも、論文の多くの側面に触れる傾向にあることが示された。
  論文  参考訳（メタデータ） (2021-01-30T07:16:53Z)
• Does double-blind peer-review reduce bias? Evidence from a top computer science conference [2.642698101441705]
  我々は、国際学習表現会議に提出された5027論文のピアレビューファイルを分析し、二重盲検レビューが名声バイアスに与える影響を分析する。 ダブルブラインドレビューに切り替えた後に、最も名高い著者に与えられるスコアが大幅に減少したことが判明した。 二重盲検レビューは、他の(非著者-先験的)バイアスを制限することにより、選択の質を改善した可能性がある。
  論文  参考訳（メタデータ） (2021-01-07T18:59:26Z)
• Debiasing Evaluations That are Biased by Evaluations [32.135315382120154]
  我々は、結果に関する情報が利用可能である場合に、評価における結果誘発バイアスを緩和する問題を考察する。 この順序制約の下で正規化最適化問題を解くことでデバイアス化手法を提案する。 また,適切な正規化量を適応的に選択するクロスバリデーション手法も提案する。
  論文  参考訳（メタデータ） (2020-12-01T18:20:43Z)
• Understanding Peer Review of Software Engineering Papers [5.744593856232663]
  我々は、審査で受賞した者を含むレビュアーが、ソフトウェア工学論文のレビューをどのように行うかを理解することを目的としている。 肯定的なレビューをもたらす論文の最も重要な特徴は、明確で支持された検証、興味深い問題、そして新規性である。 著者は論文でその作品の貢献を非常に明確にすべきである。
  論文  参考訳（メタデータ） (2020-09-02T17:31:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。