論文の概要: Mitigating Manipulation in Peer Review via Randomized Reviewer Assignments

• arxiv url: http://arxiv.org/abs/2006.16437v2
• Date: Fri, 23 Oct 2020 20:08:50 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-15 15:08:22.893500
• Title: Mitigating Manipulation in Peer Review via Randomized Reviewer Assignments
• Title（参考訳）: ランダムレビュアー割り当てによるピアレビューにおける操作の軽減
• Authors: Steven Jecmen, Hanrui Zhang, Ryan Liu, Nihar B. Shah, Vincent Conitzer, Fei Fang
• Abstract要約: コンファレンスピアレビューにおける3つの重要な課題は、特定の論文に割り当てられる悪意のある試みであり、"Torpedo reviewing"である。 我々は、これらの課題を共通の傘の下にまとめ、レビュアーの割り当てのための(ランダム化された)アルゴリズムを示すフレームワークを提案する。 我々のアルゴリズムは、悪意のあるレビュアーが希望する論文に割り当てられる確率を50%に抑えつつ、完全な最適類似性の90%以上を割り当てることができます。
• 参考スコア（独自算出の注目度）: 96.114824979298
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We consider three important challenges in conference peer review: (i) reviewers maliciously attempting to get assigned to certain papers to provide positive reviews, possibly as part of quid-pro-quo arrangements with the authors; (ii) "torpedo reviewing," where reviewers deliberately attempt to get assigned to certain papers that they dislike in order to reject them; (iii) reviewer de-anonymization on release of the similarities and the reviewer-assignment code. On the conceptual front, we identify connections between these three problems and present a framework that brings all these challenges under a common umbrella. We then present a (randomized) algorithm for reviewer assignment that can optimally solve the reviewer-assignment problem under any given constraints on the probability of assignment for any reviewer-paper pair. We further consider the problem of restricting the joint probability that certain suspect pairs of reviewers are assigned to certain papers, and show that this problem is NP-hard for arbitrary constraints on these joint probabilities but efficiently solvable for a practical special case. Finally, we experimentally evaluate our algorithms on datasets from past conferences, where we observe that they can limit the chance that any malicious reviewer gets assigned to their desired paper to 50% while producing assignments with over 90% of the total optimal similarity. Our algorithms still achieve this similarity while also preventing reviewers with close associations from being assigned to the same paper.
• Abstract（参考訳）: カンファレンスピアレビューでは3つの重要な課題を考えます。 (i) 著者とのクイド・プロ・クオの取決めの一環として、肯定的なレビューを提供するために、ある論文に不当に割り当てようとするレビュワー (二 拒絶するために嫌がる特定の書類に故意に割り振る舞おうとする「トルペド審査」 (iii)類似点の公開に関するレビュアーの非匿名化及びレビュアー・アサインコード 概念的な面では、これらの3つの問題の間のつながりを特定し、これらのすべての課題を共通の傘下に持つフレームワークを提示します。 次に、レビュアーとペーパーのペアの割り当て確率に関する任意の制約の下で、レビュアーとアサインメントの問題を最適に解くことができる(ランダム化)アルゴリズムを提案する。 さらに、ある被疑者のペアが特定の論文に割り当てられているという連立確率を制限する問題を考察し、これらの連立確率の任意の制約に対してNPハードであるが、実用上は効率的に解決可能であることを示す。 最後に,過去のカンファレンスのデータセットに関するアルゴリズムを実験的に評価し,任意の悪意のあるレビュアーが希望する論文に割り当てられる確率を50%に制限し,その90%以上を最適な類似度で割当する可能性を検証した。 我々のアルゴリズムはこの類似性を保ちながら、近縁のレビュアーが同じ論文に割り当てられることを防ぐ。

関連論文リスト

• On the Detection of Reviewer-Author Collusion Rings From Paper Bidding [71.43634536456844]
  衝突リングは、コンピュータサイエンスカンファレンスのピアレビューシステムに大きな脅威をもたらす。 この問題を解決する1つのアプローチは、操作された入札から衝突するレビュアーを検出することである。 衝突環の検出が可能であるという研究はまだ確立されていない。
  論文  参考訳（メタデータ） (2024-02-12T18:12:09Z)
• When Reviewers Lock Horn: Finding Disagreement in Scientific Peer Reviews [24.875901048855077]
  本稿では,ある記事のレビュアー間での矛盾を自動的に識別する新しいタスクを紹介する。 我々の知識を最大限に活用するために、ピアレビュアー間での意見の不一致を自動的に識別する最初の試みを行う。
  論文  参考訳（メタデータ） (2023-10-28T11:57:51Z)
• A Gold Standard Dataset for the Reviewer Assignment Problem [117.59690218507565]
  類似度スコア(Similarity score)とは、論文のレビューにおいて、レビュアーの専門知識を数値で見積もるものである。 私たちのデータセットは、58人の研究者による477の自己申告された専門知識スコアで構成されています。 2つの論文をレビュアーに関連付けるタスクは、簡単なケースでは12%～30%、ハードケースでは36%～43%である。
  論文  参考訳（メタデータ） (2023-03-23T16:15:03Z)
• No Agreement Without Loss: Learning and Social Choice in Peer Review [0.0]
  それぞれのレビュアーが、機能セットからレコメンデーションへの独自のマッピングを持っていると仮定してもよいでしょう。 これは、共振バイアス(commensuration bias)として知られる任意の要素を導入する。 Noothigattu, Shah and Procaccia は、ある種の損失関数を最小化することによってレビュアーのマッピングを集約することを提案した。
  論文  参考訳（メタデータ） (2022-11-03T21:03:23Z)
• A Dataset on Malicious Paper Bidding in Peer Review [84.68308372858755]
  悪意あるレビュアーは、紙の割り当てを非倫理的に操作するために戦略的に入札した。 この問題を緩和するための方法の作成と評価への重要な障害は、悪意ある紙入札に関する公開データの欠如である。 我々は、参加者に正直に、悪意的に入札するよう指示されたモックカンファレンス活動から収集された、新しいデータセットをリリースする。
  論文  参考訳（メタデータ） (2022-06-24T20:23:33Z)
• The Dichotomous Affiliate Stable Matching Problem: Approval-Based Matching with Applicant-Employer Relations [27.388757379210034]
  本稿では,DASM問題(Dichotomous Affiliate Stable Matching)について紹介する。 その結果は,(1)実世界のマッチングランキングが仮定された評価関数に従うことを示すために人間による研究,(2)そのような解を見つけるための効率的で実装が容易なアルゴリズムを提供することによって,常に安定した解が存在することを証明し,(3)線形プログラミングに基づくアプローチと比較して,アルゴリズムの有効性を実験的に検証する。
  論文  参考訳（メタデータ） (2022-02-22T18:56:21Z)
• Near-Optimal Reviewer Splitting in Two-Phase Paper Reviewing and Conference Experiment Design [76.40919326501512]
  総割り当ての類似性を最大化するために、レビュアーを段階または条件に分けるにはどうすればいいのか? 実会議データに関連する複数のデータセットに対して、ランダムに位相/条件を均一に分割することで、オラクルの最適割り当てとほぼ同等の割り当てが可能であることを実証的に示す。
  論文  参考訳（メタデータ） (2021-08-13T19:29:41Z)
• Nested Counterfactual Identification from Arbitrary Surrogate Experiments [95.48089725859298]
  観測と実験の任意の組み合わせからネスト反事実の同定について検討した。 具体的には、任意のネストされた反事実を非ネストされたものへ写像できる反ファクト的非ネスト定理(英語版)(CUT)を証明する。
  論文  参考訳（メタデータ） (2021-07-07T12:51:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。