論文の概要: De-anonymization of authors through arXiv submissions during
double-blind review
- arxiv url: http://arxiv.org/abs/2007.00177v1
- Date: Wed, 1 Jul 2020 01:40:06 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-14 23:55:36.978389
- Title: De-anonymization of authors through arXiv submissions during
double-blind review
- Title（参考訳）: 二重盲検レビューにおけるarXivによる著者の匿名化
- Authors: Homanga Bharadhwaj, Dylan Turpin, Animesh Garg, Ashton Anderson
- Abstract要約: 二重盲検審査中の論文のarXivプレプリントの公開効果について検討した。
arXivで高評価を得た論文と受入率の正の相関を示す統計的に有意な証拠が得られた。
- 参考スコア（独自算出の注目度）: 33.15282901539867
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we investigate the effects of releasing arXiv preprints of
papers that are undergoing a double-blind review process. In particular, we ask
the following research question: What is the relation between de-anonymization
of authors through arXiv preprints and acceptance of a research paper at a
(nominally) double-blind venue? Under two conditions: papers that are released
on arXiv before the review phase and papers that are not, we examine the
correlation between the reputation of their authors with the review scores and
acceptance decisions. By analyzing a dataset of ICLR 2020 and ICLR 2019
submissions (n=5050), we find statistically significant evidence of positive
correlation between percentage acceptance and papers with high reputation
released on arXiv. In order to understand this observed association better, we
perform additional analyses based on self-specified confidence scores of
reviewers and observe that less confident reviewers are more likely to assign
high review scores to papers with well known authors and low review scores to
papers with less known authors, where reputation is quantified in terms of
number of Google Scholar citations. We emphasize upfront that our results are
purely correlational and we neither can nor intend to make any causal claims. A
blog post accompanying the paper and our scraping code will be linked in the
project website https://sites.google.com/view/deanon-arxiv/home
- Abstract（参考訳）: 本稿では, 二重盲検レビュープロセス中の論文のarXivプレプリントの公開効果について検討する。
特に、arxivプリプリントによる著者の匿名化と、(正に)二重盲検会場における研究論文の受理との関係について、質問する。
レビューフェーズの前にarXivで公開される論文と、そうでない論文の2つの条件の下で、著者の評判とレビュースコアと受理決定との相関について検討する。
ICLR 2020とICLR 2019の提出データ(n=5050)のデータセットを分析して、arXivで高い評価を得た論文とパーセンテージの受け入れと正の相関を示す統計的に有意な証拠を見出した。
この観察された関連をよりよく理解するために、レビュアーの自己特定信頼度スコアに基づく追加分析を行い、信頼性の低いレビュアーは、よく知られた著者の論文に高いレビュースコアを割り当て、あまり知られていない著者の論文に低いレビュースコアを割り当てる傾向が強いことを観察する。
私たちは前もって、結果が純粋に相関であり、因果関係を主張できないことを強調した。
論文とスクラップコードを添付したブログ記事がプロジェクトのWebサイトhttps://sites.google.com/view/deanon-arxiv/homeにリンクされる。
関連論文リスト
- CausalCite: A Causal Formulation of Paper Citations [80.82622421055734]
CausalCiteは紙の意義を測定するための新しい方法だ。
これは、従来のマッチングフレームワークを高次元のテキスト埋め込みに適応させる、新しい因果推論手法であるTextMatchに基づいている。
科学専門家が報告した紙衝撃と高い相関性など,各種基準におけるCausalCiteの有効性を実証する。
論文 参考訳（メタデータ） (2023-11-05T23:09:39Z) - Estimating the Causal Effect of Early ArXiving on Paper Acceptance [56.538813945721685]
我々は,論文の審査期間(初期arXiving)前にarXivingが会議の受理に与える影響を推定する。
以上の結果から,早期のarXivingは,論文の受容に少なからぬ影響を及ぼす可能性が示唆された。
論文 参考訳（メタデータ） (2023-06-24T07:45:38Z) - How do Authors' Perceptions of their Papers Compare with Co-authors'
Perceptions and Peer-review Decisions? [87.00095008723181]
著者は論文の受理確率をおよそ3倍過大評価している。
女性作家は、男性作家よりも極端に高い(統計的に重要な)誤校正を示す。
受理された論文と受理された論文の回答者の少なくとも30%は、レビュープロセス後に自身の論文に対する認識が改善したと述べている。
論文 参考訳（メタデータ） (2022-11-22T15:59:30Z) - Cracking Double-Blind Review: Authorship Attribution with Deep Learning [43.483063713471935]
本稿では、匿名の原稿を著者に属性付けるトランスフォーマーベースのニューラルネットワークアーキテクチャを提案する。
我々は、arXivで公開されているすべての研究論文を200万冊以上の原稿に活用する。
本手法は, 論文の最大73%を正解する, 前代未聞の著者帰属精度を実現する。
論文 参考訳（メタデータ） (2022-11-14T15:50:24Z) - Inconsistency in Conference Peer Review: Revisiting the 2014 NeurIPS
Experiment [26.30237757653724]
コンファレンスピアレビューにおいて不整合性を検討した2014 NeurIPS 実験を再検討した。
強調された論文では,品質スコアと紙の影響には相関がないことがわかった。
論文 参考訳（メタデータ） (2021-09-20T18:06:22Z) - Can We Automate Scientific Reviewing? [89.50052670307434]
我々は、最先端自然言語処理(NLP)モデルを用いて、科学論文の第一パスピアレビューを生成する可能性について論じる。
我々は、機械学習領域で論文のデータセットを収集し、各レビューでカバーされているさまざまなコンテンツに注釈を付け、レビューを生成するために論文を取り込み、ターゲットの要約モデルを訓練する。
総合的な実験結果から、システム生成レビューは、人間によるレビューよりも、論文の多くの側面に触れる傾向にあることが示された。
論文 参考訳（メタデータ） (2021-01-30T07:16:53Z) - Does double-blind peer-review reduce bias? Evidence from a top computer
science conference [2.642698101441705]
我々は、国際学習表現会議に提出された5027論文のピアレビューファイルを分析し、二重盲検レビューが名声バイアスに与える影響を分析する。
ダブルブラインドレビューに切り替えた後に、最も名高い著者に与えられるスコアが大幅に減少したことが判明した。
二重盲検レビューは、他の(非著者-先験的)バイアスを制限することにより、選択の質を改善した可能性がある。
論文 参考訳（メタデータ） (2021-01-07T18:59:26Z) - ArXiving Before Submission Helps Everyone [38.09600429721343]
我々はarXivingの論文の長所と短所を分析する。
著者以外の人がarXivを選択すべきかどうか判断する理由は何もありません。
論文 参考訳（メタデータ） (2020-10-11T22:26:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。