論文の概要: A Large Scale Randomized Controlled Trial on Herding in Peer-Review Discussions

• arxiv url: http://arxiv.org/abs/2011.15083v1
• Date: Mon, 30 Nov 2020 18:23:07 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-06 14:28:35.767075
• Title: A Large Scale Randomized Controlled Trial on Herding in Peer-Review Discussions
• Title（参考訳）: ピアレビュー討論における大規模ランダム化制御試験
• Authors: Ivan Stelmakh, Charvi Rastogi, Nihar B. Shah, Aarti Singh, and Hal Daum\'e III
• Abstract要約: 我々は、レビュアーや上級意思決定者が議論で提示された最初の議論に不当に影響されるかどうかを理解することを目的としている。 具体的には,論文の結果に対する議論開始者の意見の条件因果効果をテストすることを目的として,ランダム化試験を設計・実施する。
• 参考スコア（独自算出の注目度）: 33.261698377782075
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Peer review is the backbone of academia and humans constitute a cornerstone of this process, being responsible for reviewing papers and making the final acceptance/rejection decisions. Given that human decision making is known to be susceptible to various cognitive biases, it is important to understand which (if any) biases are present in the peer-review process and design the pipeline such that the impact of these biases is minimized. In this work, we focus on the dynamics of between-reviewers discussions and investigate the presence of herding behaviour therein. In that, we aim to understand whether reviewers and more senior decision makers get disproportionately influenced by the first argument presented in the discussion when (in case of reviewers) they form an independent opinion about the paper before discussing it with others. Specifically, in conjunction with the review process of ICML 2020 -- a large, top tier machine learning conference -- we design and execute a randomized controlled trial with the goal of testing for the conditional causal effect of the discussion initiator's opinion on the outcome of a paper.
• Abstract（参考訳）: ピアレビューはアカデミアのバックボーンであり、人間がこのプロセスの基盤となり、論文のレビューと最終的な受け入れ/排除の決定に責任を負う。 人間の意思決定は様々な認知バイアスに影響を受けやすいことが知られているので、ピアレビュープロセスにどのバイアスが存在するかを理解し、これらのバイアスの影響を最小限に抑えるようにパイプラインを設計することが重要である。 本研究は,司会者間の議論のダイナミクスに着目し,そこでの牧草行動の有無を考察する。 そこで本稿では,レビュアーや上級意思決定者が,(レビュアーの場合)論文に関する独立した意見を形成する際に,議論で提示された最初の議論によって不公平に影響されるかを理解することを目的とする。 具体的には、ICML 2020(大規模でトップクラスの機械学習カンファレンス)のレビュープロセスと合わせて、論文の結果に対する議論開始者の意見の条件因果効果をテストすることを目的として、ランダム化された制御されたトライアルを設計、実行しています。

関連論文リスト

• Estimating the Causal Effect of Early ArXiving on Paper Acceptance [56.538813945721685]
  我々は,論文の審査期間(初期arXiving)前にarXivingが会議の受理に与える影響を推定する。 以上の結果から,早期のarXivingは,論文の受容に少なからぬ影響を及ぼす可能性が示唆された。
  論文  参考訳（メタデータ） (2023-06-24T07:45:38Z)
• Perspectives on Large Language Models for Relevance Judgment [56.935731584323996]
  大型言語モデル(LLM)は、関連判断を支援することができると主張している。 自動判定が検索システムの評価に確実に利用できるかどうかは不明である。
  論文  参考訳（メタデータ） (2023-04-13T13:08:38Z)
• Ranking Scientific Papers Using Preference Learning [48.78161994501516]
  我々はこれをピアレビューテキストとレビュアースコアに基づく論文ランキング問題とみなした。 ピアレビューに基づいて最終決定を行うための,新しい多面的総合評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-02T19:41:47Z)
• Near-Optimal Reviewer Splitting in Two-Phase Paper Reviewing and Conference Experiment Design [76.40919326501512]
  総割り当ての類似性を最大化するために、レビュアーを段階または条件に分けるにはどうすればいいのか? 実会議データに関連する複数のデータセットに対して、ランダムに位相/条件を均一に分割することで、オラクルの最適割り当てとほぼ同等の割り当てが可能であることを実証的に示す。
  論文  参考訳（メタデータ） (2021-08-13T19:29:41Z)
• Argument Mining Driven Analysis of Peer-Reviews [4.552676857046446]
  本稿では,編集者,メタレビュアー,レビュアーの支援を目的としたArgument Miningに基づくアプローチを提案する。 以上の知見の1つは、ピアレビュープロセスで使われる引数が他のドメインの引数とは異なるため、事前学習されたモデルの転送が困難であるということです。 私たちは、注釈付き引数を持つさまざまなコンピュータサイエンス会議の新しいピアレビューデータセットをコミュニティに提供します。
  論文  参考訳（メタデータ） (2020-12-10T16:06:21Z)
• A Novice-Reviewer Experiment to Address Scarcity of Qualified Reviewers in Large Conferences [35.24369486197371]
  主要なAIカンファレンスから受け取った応募数の増加は、レビュープロセスの持続可能性に挑戦している。 我々は,大規模なカンファレンスにおけるレビュアーの資格不足に着目して,レビュアー採用の問題を考える。 大規模でトップクラスの機械学習カンファレンスであるICML 2020と合わせて、私たちの手順を通じて少数のレビュアーを募集し、ICMLレビュアーの一般人口と比較します。
  論文  参考訳（メタデータ） (2020-11-30T17:48:55Z)
• Analyzing the Machine Learning Conference Review Process [41.049292105761246]
  我々は、2017年から2020年にかけてICLRに提出された論文の総合的な研究を通じて、レビュープロセスを批判的に分析する。 本研究は, 紙の品質管理においても, 受否決定の制度的偏見が強いことを示唆する。 男女差の証拠は,女性作家が男性作家よりも低得点,受入率の低下,論文1紙あたりの引用率の低下がみられた。
  論文  参考訳（メタデータ） (2020-11-24T15:40:27Z)
• An Open Review of OpenReview: A Critical Analysis of the Machine Learning Conference Review Process [41.049292105761246]
  我々は、2017年から2020年にかけてICLRに提出された論文の総合的な研究を通じて、レビュープロセスを批判的に分析する。 本研究は, 紙の品質管理においても, 受否決定の制度的偏見が強いことを示唆する。 男女差の証拠は,女性作家が男性作家よりも低得点,受入率の低下,論文1紙あたりの引用率の低下がみられた。
  論文  参考訳（メタデータ） (2020-10-11T02:06:04Z)
• Aspect-based Sentiment Analysis of Scientific Reviews [12.472629584751509]
  本研究は,受理論文と受理論文ではアスペクトベース感情の分布が著しく異なることを示す。 第2の目的として、論文を閲覧するレビュアーの間での意見の不一致の程度を定量化する。 また, 審査員と議長との意見の不一致の程度について検討し, 審査員間の意見の不一致が議長との意見の不一致と関係があることを見出した。
  論文  参考訳（メタデータ） (2020-06-05T07:06:01Z)
• Amnesic Probing: Behavioral Explanation with Amnesic Counterfactuals [53.484562601127195]
  調査結果から行動学的結論を推測できない点を指摘する。 我々は、どの情報がエンコードされているかではなく、その情報がどのように使われているかに焦点を当てた代替手段を提供する。
  論文  参考訳（メタデータ） (2020-06-01T15:00:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。