論文の概要: Analyzing the Machine Learning Conference Review Process

• arxiv url: http://arxiv.org/abs/2011.12919v2
• Date: Thu, 26 Nov 2020 01:34:24 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-21 12:08:10.462110
• Title: Analyzing the Machine Learning Conference Review Process
• Title（参考訳）: 機械学習カンファレンスのレビュープロセスの分析
• Authors: David Tran, Alex Valtchanov, Keshav Ganapathy, Raymond Feng, Eric Slud, Micah Goldblum, Tom Goldstein
• Abstract要約: 我々は、2017年から2020年にかけてICLRに提出された論文の総合的な研究を通じて、レビュープロセスを批判的に分析する。 本研究は, 紙の品質管理においても, 受否決定の制度的偏見が強いことを示唆する。 男女差の証拠は,女性作家が男性作家よりも低得点,受入率の低下,論文1紙あたりの引用率の低下がみられた。
• 参考スコア（独自算出の注目度）: 41.049292105761246
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Mainstream machine learning conferences have seen a dramatic increase in the number of participants, along with a growing range of perspectives, in recent years. Members of the machine learning community are likely to overhear allegations ranging from randomness of acceptance decisions to institutional bias. In this work, we critically analyze the review process through a comprehensive study of papers submitted to ICLR between 2017 and 2020. We quantify reproducibility/randomness in review scores and acceptance decisions, and examine whether scores correlate with paper impact. Our findings suggest strong institutional bias in accept/reject decisions, even after controlling for paper quality. Furthermore, we find evidence for a gender gap, with female authors receiving lower scores, lower acceptance rates, and fewer citations per paper than their male counterparts. We conclude our work with recommendations for future conference organizers.
• Abstract（参考訳）: 主流の機械学習カンファレンスは、近年、参加者の数が劇的に増加し、さまざまな視点が増加している。 機械学習コミュニティのメンバーは、受け入れ決定のランダム性から機関バイアスまで、噂を耳にしがちだ。 本研究は,2017年から2020年にかけてiclrに提出された論文の包括的調査を通じて,レビュープロセスを批判的に分析する。 レビュースコアと受理決定における再現性/ランダム性を定量化し、スコアが紙の影響と相関するかどうかを検討する。 本研究は, 紙の品質管理においても, 受否決定の制度的偏見が強いことを示唆する。 さらに,男女差の証拠も見いだされ,女性著者は男性よりもスコアが低く,受入率も低く,用紙1枚あたりの引用率も低かった。 今後のカンファレンスオーガナイザのためのレコメンデーションで作業を終えます。

関連論文リスト

• Analysis of the ICML 2023 Ranking Data: Can Authors' Opinions of Their Own Papers Assist Peer Review in Machine Learning? [52.00419656272129]
  我々は2023年の国際機械学習会議(ICML)で実験を行った。 我々はそれぞれ2,592件の応募書を含む1,342件のランク付けを受けた。 著者によるランキングを用いて生のレビュースコアを校正するイソトニックメカニズムに注目した。
  論文  参考訳（メタデータ） (2024-08-24T01:51:23Z)
• Has the Machine Learning Review Process Become More Arbitrary as the Field Has Grown? The NeurIPS 2021 Consistency Experiment [86.77085171670323]
  2014年のNeurIPS実験では、2つの独立した委員会によって10%の会議の提出をレビューし、レビュープロセスにおけるランダム性を定量化した。 両委員会が論文の23%の勧告を受理・棄却することに反対し、審査プロセスがランダムに再実行された場合、2014年度の結果と一致して、受理された論文のリストの約半数が変更されることを観察する。
  論文  参考訳（メタデータ） (2023-06-05T21:26:12Z)
• Investigating Fairness Disparities in Peer Review: A Language Model Enhanced Approach [77.61131357420201]
  我々は、大規模言語モデル(LM)の助けを借りて、ピアレビューにおける公平性格差の徹底した厳密な研究を行う。 我々は、2017年から現在までのICLR(International Conference on Learning Representations)カンファレンスで、包括的なリレーショナルデータベースを収集、組み立て、維持しています。 我々は、著作者性別、地理、著作者、機関的名声など、興味のある複数の保護属性に対する公平性の違いを仮定し、研究する。
  論文  参考訳（メタデータ） (2022-11-07T16:19:42Z)
• Ranking Scientific Papers Using Preference Learning [48.78161994501516]
  我々はこれをピアレビューテキストとレビュアースコアに基づく論文ランキング問題とみなした。 ピアレビューに基づいて最終決定を行うための,新しい多面的総合評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-02T19:41:47Z)
• A Large Scale Randomized Controlled Trial on Herding in Peer-Review Discussions [33.261698377782075]
  我々は、レビュアーや上級意思決定者が議論で提示された最初の議論に不当に影響されるかどうかを理解することを目的としている。 具体的には,論文の結果に対する議論開始者の意見の条件因果効果をテストすることを目的として,ランダム化試験を設計・実施する。
  論文  参考訳（メタデータ） (2020-11-30T18:23:07Z)
• An Open Review of OpenReview: A Critical Analysis of the Machine Learning Conference Review Process [41.049292105761246]
  我々は、2017年から2020年にかけてICLRに提出された論文の総合的な研究を通じて、レビュープロセスを批判的に分析する。 本研究は, 紙の品質管理においても, 受否決定の制度的偏見が強いことを示唆する。 男女差の証拠は,女性作家が男性作家よりも低得点,受入率の低下,論文1紙あたりの引用率の低下がみられた。
  論文  参考訳（メタデータ） (2020-10-11T02:06:04Z)
• Aspect-based Sentiment Analysis of Scientific Reviews [12.472629584751509]
  本研究は,受理論文と受理論文ではアスペクトベース感情の分布が著しく異なることを示す。 第2の目的として、論文を閲覧するレビュアーの間での意見の不一致の程度を定量化する。 また, 審査員と議長との意見の不一致の程度について検討し, 審査員間の意見の不一致が議長との意見の不一致と関係があることを見出した。
  論文  参考訳（メタデータ） (2020-06-05T07:06:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。