論文の概要: Inconsistency in Conference Peer Review: Revisiting the 2014 NeurIPS Experiment

• arxiv url: http://arxiv.org/abs/2109.09774v1
• Date: Mon, 20 Sep 2021 18:06:22 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-23 04:56:26.570615
• Title: Inconsistency in Conference Peer Review: Revisiting the 2014 NeurIPS Experiment
• Title（参考訳）: カンファレンスピアレビュー: 2014年のNeurIPS実験を再考
• Authors: Corinna Cortes and Neil D. Lawrence
• Abstract要約: コンファレンスピアレビューにおいて不整合性を検討した2014 NeurIPS 実験を再検討した。 強調された論文では,品質スコアと紙の影響には相関がないことがわかった。
• 参考スコア（独自算出の注目度）: 26.30237757653724
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper we revisit the 2014 NeurIPS experiment that examined inconsistency in conference peer review. We determine that 50\% of the variation in reviewer quality scores was subjective in origin. Further, with seven years passing since the experiment we find that for \emph{accepted} papers, there is no correlation between quality scores and impact of the paper as measured as a function of citation count. We trace the fate of rejected papers, recovering where these papers were eventually published. For these papers we find a correlation between quality scores and impact. We conclude that the reviewing process for the 2014 conference was good for identifying poor papers, but poor for identifying good papers. We give some suggestions for improving the reviewing process but also warn against removing the subjective element. Finally, we suggest that the real conclusion of the experiment is that the community should place less onus on the notion of `top-tier conference publications' when assessing the quality of individual researchers. For NeurIPS 2021, the PCs are repeating the experiment, as well as conducting new ones.
• Abstract（参考訳）: 本稿では,カンファレンスピアレビューにおける一貫性を検証した2014 NeurIPS実験を再考する。 その結果,レビュアーの品質スコアの50 % が原点であることが判明した。 さらに,実験から7年経過した結果,<emph{accepted>論文では,引用回数の関数として測定された紙の品質スコアと紙の影響との間には相関性がないことがわかった。 却下された論文の運命をたどり、これらの論文が最終的に出版された場所を回復する。 これらの論文では、品質スコアと影響の相関を見出す。 2014年のカンファレンスのレビュープロセスは、貧弱な論文を特定するのに向いているが、良い論文を特定するのに貧弱だと結論づけた。 レビュープロセスを改善するための提案を行うとともに,主観的要素の削除を警告する。 最後に,この実験の真の結論は,個々の研究者の質を評価する際に,「トップレベル会議出版」という概念に,コミュニティがより少なすぎることを示唆する。 NeurIPS 2021のために、PCは実験を繰り返し、新しい実験を実行している。

関連論文リスト

• CausalCite: A Causal Formulation of Paper Citations [80.82622421055734]
  CausalCiteは紙の意義を測定するための新しい方法だ。 これは、従来のマッチングフレームワークを高次元のテキスト埋め込みに適応させる、新しい因果推論手法であるTextMatchに基づいている。 科学専門家が報告した紙衝撃と高い相関性など,各種基準におけるCausalCiteの有効性を実証する。
  論文  参考訳（メタデータ） (2023-11-05T23:09:39Z)
• Estimating the Causal Effect of Early ArXiving on Paper Acceptance [56.538813945721685]
  我々は,論文の審査期間(初期arXiving)前にarXivingが会議の受理に与える影響を推定する。 以上の結果から,早期のarXivingは,論文の受容に少なからぬ影響を及ぼす可能性が示唆された。
  論文  参考訳（メタデータ） (2023-06-24T07:45:38Z)
• Has the Machine Learning Review Process Become More Arbitrary as the Field Has Grown? The NeurIPS 2021 Consistency Experiment [86.77085171670323]
  2014年のNeurIPS実験では、2つの独立した委員会によって10%の会議の提出をレビューし、レビュープロセスにおけるランダム性を定量化した。 両委員会が論文の23%の勧告を受理・棄却することに反対し、審査プロセスがランダムに再実行された場合、2014年度の結果と一致して、受理された論文のリストの約半数が変更されることを観察する。
  論文  参考訳（メタデータ） (2023-06-05T21:26:12Z)
• Integrating Rankings into Quantized Scores in Peer Review [61.27794774537103]
  ピアレビューでは、レビュアーは通常、論文のスコアを提供するように求められます。 この問題を軽減するため、カンファレンスはレビュアーにレビューした論文のランキングを付加するように求め始めている。 このランキング情報を使用するための標準的な手順はなく、エリアチェアは異なる方法でそれを使用することができる。 我々は、ランキング情報をスコアに組み込むために、原則化されたアプローチを取る。
  論文  参考訳（メタデータ） (2022-04-05T19:39:13Z)
• Ranking Scientific Papers Using Preference Learning [48.78161994501516]
  我々はこれをピアレビューテキストとレビュアースコアに基づく論文ランキング問題とみなした。 ピアレビューに基づいて最終決定を行うための,新しい多面的総合評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-02T19:41:47Z)
• Can We Automate Scientific Reviewing? [89.50052670307434]
  我々は、最先端自然言語処理(NLP)モデルを用いて、科学論文の第一パスピアレビューを生成する可能性について論じる。 我々は、機械学習領域で論文のデータセットを収集し、各レビューでカバーされているさまざまなコンテンツに注釈を付け、レビューを生成するために論文を取り込み、ターゲットの要約モデルを訓練する。 総合的な実験結果から、システム生成レビューは、人間によるレビューよりも、論文の多くの側面に触れる傾向にあることが示された。
  論文  参考訳（メタデータ） (2021-01-30T07:16:53Z)
• An Open Review of OpenReview: A Critical Analysis of the Machine Learning Conference Review Process [41.049292105761246]
  我々は、2017年から2020年にかけてICLRに提出された論文の総合的な研究を通じて、レビュープロセスを批判的に分析する。 本研究は, 紙の品質管理においても, 受否決定の制度的偏見が強いことを示唆する。 男女差の証拠は,女性作家が男性作家よりも低得点,受入率の低下,論文1紙あたりの引用率の低下がみられた。
  論文  参考訳（メタデータ） (2020-10-11T02:06:04Z)
• De-anonymization of authors through arXiv submissions during double-blind review [33.15282901539867]
  二重盲検審査中の論文のarXivプレプリントの公開効果について検討した。 arXivで高評価を得た論文と受入率の正の相関を示す統計的に有意な証拠が得られた。
  論文  参考訳（メタデータ） (2020-07-01T01:40:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。