論文の概要: Does double-blind peer-review reduce bias? Evidence from a top computer
science conference
- arxiv url: http://arxiv.org/abs/2101.02701v1
- Date: Thu, 7 Jan 2021 18:59:26 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-17 10:49:10.859499
- Title: Does double-blind peer-review reduce bias? Evidence from a top computer
science conference
- Title（参考訳）: ダブルブラインドピアレビューはバイアスを減らすか?
コンピュータサイエンスの トップ会議の証拠は
- Authors: Mengyi Sun, Jainabou Barry Danfa, Misha Teplitskiy
- Abstract要約: 我々は、国際学習表現会議に提出された5027論文のピアレビューファイルを分析し、二重盲検レビューが名声バイアスに与える影響を分析する。
ダブルブラインドレビューに切り替えた後に、最も名高い著者に与えられるスコアが大幅に減少したことが判明した。
二重盲検レビューは、他の(非著者-先験的)バイアスを制限することにより、選択の質を改善した可能性がある。
- 参考スコア（独自算出の注目度）: 2.642698101441705
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Peer review is widely regarded as essential for advancing scientific
research. However, reviewers may be biased by authors' prestige or other
characteristics. Double-blind peer review, in which the authors' identities are
masked from the reviewers, has been proposed as a way to reduce reviewer bias.
Although intuitive, evidence for the effectiveness of double-blind peer review
in reducing bias is limited and mixed. Here, we examine the effects of
double-blind peer review on prestige bias by analyzing the peer review files of
5027 papers submitted to the International Conference on Learning
Representations (ICLR), a top computer science conference that changed its
reviewing policy from single-blind peer review to double-blind peer review in
2018. We find that after switching to double-blind review, the scores given to
the most prestigious authors significantly decreased. However, because many of
these papers were above the threshold for acceptance, the change did not affect
paper acceptance decisions significantly. Nevertheless, we show that
double-blind peer review may have improved the quality of the selections by
limiting other (non-author-prestige) biases. Specifically, papers rejected in
the single-blind format are cited more than those rejected under the
double-blind format, suggesting that double-blind review better identifies
poorer quality papers. Interestingly, an apparently unrelated change - the
change of rating scale from 10 to 4 points - likely reduced prestige bias
significantly, to an extent that affected papers' acceptance. These results
provide some support for the effectiveness of double-blind review in reducing
prestige bias, while opening new research directions on the impact of peer
review formats.
- Abstract（参考訳）: ピアレビューは科学研究の進展に不可欠であると考えられている。
しかし、レビュアーは作家の威信や他の特徴に偏っているかもしれない。
著者のアイデンティティをレビュアーから隠蔽する二重盲検のピアレビューは、レビュアーのバイアスを減らす方法として提案されている。
直感的ではあるが、バイアスを減らすために二重盲検が有効であるという証拠は限られている。
本稿では,国際学習表現会議(iclr)に提出された5027論文のピアレビューファイルを分析し,評価方針を「単盲査」から「二重盲検」に変更した2018年の「二重盲検」から「ピアレビュー」へ変更した。
ダブルブラインドレビューに切り替えた後、最も名高い著者に与えられるスコアは大幅に減少した。
しかし,これらの論文の多くは受理基準を上回っていたため,受諾決定に大きな影響を与えなかった。
それでも、二重盲検レビューは、他の(非著者-先験的)バイアスを制限することによって、選択の品質を改善した可能性がある。
具体的には、シングルブラインドフォーマットで拒絶された論文は、ダブルブラインドフォーマットで拒絶された論文よりも多く引用され、ダブルブラインドレビューが品質の低い論文をよりよく識別することを示唆している。
興味深いことに、明らかに無関係な変更 - 評価尺度が10から4ポイントに変更されたことで、名声バイアスが大幅に減少し、論文の受け入れに影響を及ぼした可能性がある。
これらの結果は,ピアレビュー形式の影響に関する新たな研究指針を開きつつ,信頼性バイアス低減における二重盲検の有効性を裏付けるものである。
関連論文リスト
- Analysis of the ICML 2023 Ranking Data: Can Authors' Opinions of Their Own Papers Assist Peer Review in Machine Learning? [52.00419656272129]
我々は2023年の国際機械学習会議(ICML)で実験を行った。
我々はそれぞれ2,592件の応募書を含む1,342件のランク付けを受けた。
著者によるランキングを用いて生のレビュースコアを校正するイソトニックメカニズムに注目した。
論文 参考訳（メタデータ） (2024-08-24T01:51:23Z) - When Reviewers Lock Horn: Finding Disagreement in Scientific Peer
Reviews [24.875901048855077]
本稿では,ある記事のレビュアー間での矛盾を自動的に識別する新しいタスクを紹介する。
我々の知識を最大限に活用するために、ピアレビュアー間での意見の不一致を自動的に識別する最初の試みを行う。
論文 参考訳（メタデータ） (2023-10-28T11:57:51Z) - Estimating the Causal Effect of Early ArXiving on Paper Acceptance [56.538813945721685]
我々は,論文の審査期間(初期arXiving)前にarXivingが会議の受理に与える影響を推定する。
以上の結果から,早期のarXivingは,論文の受容に少なからぬ影響を及ぼす可能性が示唆された。
論文 参考訳（メタデータ） (2023-06-24T07:45:38Z) - How do Authors' Perceptions of their Papers Compare with Co-authors'
Perceptions and Peer-review Decisions? [87.00095008723181]
著者は論文の受理確率をおよそ3倍過大評価している。
女性作家は、男性作家よりも極端に高い(統計的に重要な)誤校正を示す。
受理された論文と受理された論文の回答者の少なくとも30%は、レビュープロセス後に自身の論文に対する認識が改善したと述べている。
論文 参考訳（メタデータ） (2022-11-22T15:59:30Z) - The SAME score: Improved cosine based bias score for word embeddings [49.75878234192369]
埋め込みにおけるセマンティックバイアスのための新しいバイアススコアであるPetを紹介した。
本研究は,下水道作業における意味バイアスを測定し,社会的バイアスの潜在的な原因を特定することができることを示す。
論文 参考訳（メタデータ） (2022-03-28T09:28:13Z) - Inconsistency in Conference Peer Review: Revisiting the 2014 NeurIPS
Experiment [26.30237757653724]
コンファレンスピアレビューにおいて不整合性を検討した2014 NeurIPS 実験を再検討した。
強調された論文では,品質スコアと紙の影響には相関がないことがわかった。
論文 参考訳（メタデータ） (2021-09-20T18:06:22Z) - Ranking Scientific Papers Using Preference Learning [48.78161994501516]
我々はこれをピアレビューテキストとレビュアースコアに基づく論文ランキング問題とみなした。
ピアレビューに基づいて最終決定を行うための,新しい多面的総合評価フレームワークを提案する。
論文 参考訳（メタデータ） (2021-09-02T19:41:47Z) - Can We Automate Scientific Reviewing? [89.50052670307434]
我々は、最先端自然言語処理(NLP)モデルを用いて、科学論文の第一パスピアレビューを生成する可能性について論じる。
我々は、機械学習領域で論文のデータセットを収集し、各レビューでカバーされているさまざまなコンテンツに注釈を付け、レビューを生成するために論文を取り込み、ターゲットの要約モデルを訓練する。
総合的な実験結果から、システム生成レビューは、人間によるレビューよりも、論文の多くの側面に触れる傾向にあることが示された。
論文 参考訳（メタデータ） (2021-01-30T07:16:53Z) - Prior and Prejudice: The Novice Reviewers' Bias against Resubmissions in
Conference Peer Review [35.24369486197371]
現代の機械学習とコンピュータサイエンスのカンファレンスは、ピアレビューの品質に挑戦する応募の数が急増している。
いくつかのカンファレンスは、著者が論文の以前の提出履歴を宣言するよう促したり、要求したりし始めた。
本研究は、レビュー対象の提出が以前、類似の会場で拒否されたという知識から生じる偏見について検討する。
論文 参考訳（メタデータ） (2020-11-30T09:35:37Z) - Uncovering Latent Biases in Text: Method and Application to Peer Review [38.726731935235584]
本稿では,サブグループメンバーシップ指標の可視性に起因するテキストのバイアスを定量化する新しいフレームワークを提案する。
評価された機械学習会議からのピアレビューのテキストにおけるバイアスの定量化に,我々のフレームワークを適用した。
論文 参考訳（メタデータ） (2020-10-29T01:24:19Z) - De-anonymization of authors through arXiv submissions during
double-blind review [33.15282901539867]
二重盲検審査中の論文のarXivプレプリントの公開効果について検討した。
arXivで高評価を得た論文と受入率の正の相関を示す統計的に有意な証拠が得られた。
論文 参考訳（メタデータ） (2020-07-01T01:40:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。