論文の概要: A Randomized Controlled Trial on Anonymizing Reviewers to Each Other in Peer Review Discussions

• arxiv url: http://arxiv.org/abs/2403.01015v1
• Date: Fri, 1 Mar 2024 22:26:52 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-05 15:38:01.642106
• Title: A Randomized Controlled Trial on Anonymizing Reviewers to Each Other in Peer Review Discussions
• Title（参考訳）: ピアレビュー討論におけるレビュアーの匿名化に関するランダム化比較試験
• Authors: Charvi Rastogi, Xiangchen Song, Zhijing Jin, Ivan Stelmakh, Hal Daum\'e III, Kun Zhang, and Nihar B. Shah
• Abstract要約: 政策立案者の間での疑問は、議論の間、論文のレビュアーが互いに匿名であるべきかどうかである。 我々はランダムにレビュアーと論文を2つの条件に分けた。 この実験は、ピアレビュープロセスにおける匿名の議論設定を支持する証拠を明らかにする。
• 参考スコア（独自算出の注目度）: 41.36180464905193
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Peer review often involves reviewers submitting their independent reviews, followed by a discussion among reviewers of each paper. A question among policymakers is whether the reviewers of a paper should be anonymous to each other during the discussion. We shed light on this by conducting a randomized controlled trial at the UAI 2022 conference. We randomly split the reviewers and papers into two conditions--one with anonymous discussions and the other with non-anonymous discussions, and conduct an anonymous survey of all reviewers, to address the following questions: 1. Do reviewers discuss more in one of the conditions? Marginally more in anonymous (n = 2281, p = 0.051). 2. Does seniority have more influence on final decisions when non-anonymous? Yes, the decisions are closer to senior reviewers' scores in the non-anonymous condition than in anonymous (n = 484, p = 0.04). 3. Are reviewers more polite in one of the conditions? No significant difference in politeness of reviewers' text-based responses (n = 1125, p = 0.72). 4. Do reviewers' self-reported experiences differ across the two conditions? No significant difference for each of the five questions asked (n = 132 and p > 0.3). 5. Do reviewers prefer one condition over the other? Yes, there is a weak preference for anonymous discussions (n = 159 and Cohen's d= 0.25). 6. What do reviewers consider important to make policy on anonymity among reviewers? Reviewers' feeling of safety in expressing their opinions was rated most important, while polite communication among reviewers was rated least important (n = 159). 7. Have reviewers experienced dishonest behavior due to non-anonymity in discussions? Yes, roughly 7% of respondents answered affirmatively (n = 167). Overall, this experiment reveals evidence supporting an anonymous discussion setup in the peer-review process, in terms of the evaluation criteria considered.
• Abstract（参考訳）: ピアレビューは、しばしばレビュアーが独立したレビューを提出し、続いて各論文のレビュアーの間で議論が行われる。 政策立案者の間での疑問は、論文のレビュアーが議論中に互いに匿名であるべきかどうかである。 私たちは、uai 2022カンファレンスでランダムに制御された試験を行うことで、この点に光を当てた。 匿名の議論と匿名の議論の2つに無作為にレビュアーと論文をランダムに分割し、すべてのレビュアーを匿名で調査し、以下の質問に答える。 1.レビュアーは条件の1つでもっと議論するだろうか。 匿名 (n = 2281, p = 0.051)。 2. 高齢者は非匿名の場合に最終決定に影響を及ぼすか。 そう、決定は匿名の状態での上級審査官のスコアに近い(n = 484, p = 0.04)。 3.レビュアーは条件の1つでより礼儀正しいか? 評論者の文章に基づく反応の丁寧さに有意な差はない(n = 1125, p = 0.72)。 4.レビュアーの自己報告体験は2つの条件で異なるか? 5問それぞれに有意差は認められなかった(n = 132, p > 0.3)。 5.レビュアーは一方の条件を他方よりも好むか? そう、匿名の議論には弱い選好がある(n = 159 と cohen の d = 0.25)。 6.レビュアー間で匿名性に関するポリシーを作る上で、レビュアーは何を重要と考えるか? 評論者の意見を述べる際の安心感は最も重要視され、評論者間の丁寧なコミュニケーションは最重要視された(n = 159)。 7. 議論における匿名性による不正行為は経験されているか? 回答者の約7%が肯定的に答えた(n = 167)。 本実験は, 評価基準の観点から, ピアレビュープロセスにおける匿名の議論設定を支持する証拠を明らかにする。

関連論文リスト

• When Reviewers Lock Horn: Finding Disagreement in Scientific Peer Reviews [24.875901048855077]
  本稿では,ある記事のレビュアー間での矛盾を自動的に識別する新しいタスクを紹介する。 我々の知識を最大限に活用するために、ピアレビュアー間での意見の不一致を自動的に識別する最初の試みを行う。
  論文  参考訳（メタデータ） (2023-10-28T11:57:51Z)
• How do Authors' Perceptions of their Papers Compare with Co-authors' Perceptions and Peer-review Decisions? [87.00095008723181]
  著者は論文の受理確率をおよそ3倍過大評価している。 女性作家は、男性作家よりも極端に高い(統計的に重要な)誤校正を示す。 受理された論文と受理された論文の回答者の少なくとも30%は、レビュープロセス後に自身の論文に対する認識が改善したと述べている。
  論文  参考訳（メタデータ） (2022-11-22T15:59:30Z)
• Who Reviews The Reviewers? A Multi-Level Jury Problem [20.193491214464185]
  我々は、ある独立した確率(コンピテンス)で、基礎的真理についての推測を正しく表現する独立したレビュアー(専門家)のグループからのアドバイスを用いて二元的基底的真理を決定するという問題を考察する。 実践的な設定では、レビュアーは非能率であり、すなわち半分以下の能力であり、専門家の数は少ないかもしれないため、コンドルチェット・ジャリー・セオリームは実際は関係がない。 より多くの椅子を持つ方がよい場合もあるが、多くの場合、より多くのレビュアーを持つほうがよい。
  論文  参考訳（メタデータ） (2022-11-15T20:47:14Z)
• Near-Optimal Reviewer Splitting in Two-Phase Paper Reviewing and Conference Experiment Design [76.40919326501512]
  総割り当ての類似性を最大化するために、レビュアーを段階または条件に分けるにはどうすればいいのか? 実会議データに関連する複数のデータセットに対して、ランダムに位相/条件を均一に分割することで、オラクルの最適割り当てとほぼ同等の割り当てが可能であることを実証的に示す。
  論文  参考訳（メタデータ） (2021-08-13T19:29:41Z)
• Can We Automate Scientific Reviewing? [89.50052670307434]
  我々は、最先端自然言語処理(NLP)モデルを用いて、科学論文の第一パスピアレビューを生成する可能性について論じる。 我々は、機械学習領域で論文のデータセットを収集し、各レビューでカバーされているさまざまなコンテンツに注釈を付け、レビューを生成するために論文を取り込み、ターゲットの要約モデルを訓練する。 総合的な実験結果から、システム生成レビューは、人間によるレビューよりも、論文の多くの側面に触れる傾向にあることが示された。
  論文  参考訳（メタデータ） (2021-01-30T07:16:53Z)
• Does double-blind peer-review reduce bias? Evidence from a top computer science conference [2.642698101441705]
  我々は、国際学習表現会議に提出された5027論文のピアレビューファイルを分析し、二重盲検レビューが名声バイアスに与える影響を分析する。 ダブルブラインドレビューに切り替えた後に、最も名高い著者に与えられるスコアが大幅に減少したことが判明した。 二重盲検レビューは、他の(非著者-先験的)バイアスを制限することにより、選択の質を改善した可能性がある。
  論文  参考訳（メタデータ） (2021-01-07T18:59:26Z)
• Prior and Prejudice: The Novice Reviewers' Bias against Resubmissions in Conference Peer Review [35.24369486197371]
  現代の機械学習とコンピュータサイエンスのカンファレンスは、ピアレビューの品質に挑戦する応募の数が急増している。 いくつかのカンファレンスは、著者が論文の以前の提出履歴を宣言するよう促したり、要求したりし始めた。 本研究は、レビュー対象の提出が以前、類似の会場で拒否されたという知識から生じる偏見について検討する。
  論文  参考訳（メタデータ） (2020-11-30T09:35:37Z)
• What Can We Do to Improve Peer Review in NLP? [69.11622020605431]
  問題の一部は、レビュアーとエリアチェアが、リンゴとオレンジの比較を強制する未定義のタスクに直面していることだ、と我々は主張する。 先進的な方法はいくつかあるが、NLPコミュニティにおける一貫した実装のためのインセンティブとメカニズムを作成することが重要な課題である。
  論文  参考訳（メタデータ） (2020-10-08T09:32:21Z)
• Understanding Peer Review of Software Engineering Papers [5.744593856232663]
  我々は、審査で受賞した者を含むレビュアーが、ソフトウェア工学論文のレビューをどのように行うかを理解することを目的としている。 肯定的なレビューをもたらす論文の最も重要な特徴は、明確で支持された検証、興味深い問題、そして新規性である。 著者は論文でその作品の貢献を非常に明確にすべきである。
  論文  参考訳（メタデータ） (2020-09-02T17:31:45Z)
• Automating App Review Response Generation [67.58267006314415]
  本稿では,レビューと回答の知識関係を学習することで,レビュー応答を自動的に生成する新しいアプローチRRGenを提案する。 58のアプリと309,246のレビュー-レスポンスペアの実験では、RRGenはBLEU-4の点で少なくとも67.4%のベースラインを上回っている。
  論文  参考訳（メタデータ） (2020-02-10T05:23:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。