論文の概要: A Dataset on Malicious Paper Bidding in Peer Review

• arxiv url: http://arxiv.org/abs/2207.02303v1
• Date: Fri, 24 Jun 2022 20:23:33 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-10 14:31:48.620322
• Title: A Dataset on Malicious Paper Bidding in Peer Review
• Title（参考訳）: ピアレビューにおける有害紙入札に関するデータセット
• Authors: Steven Jecmen, Minji Yoon, Vincent Conitzer, Nihar B. Shah, Fei Fang
• Abstract要約: 悪意あるレビュアーは、紙の割り当てを非倫理的に操作するために戦略的に入札した。 この問題を緩和するための方法の作成と評価への重要な障害は、悪意ある紙入札に関する公開データの欠如である。 我々は、参加者に正直に、悪意的に入札するよう指示されたモックカンファレンス活動から収集された、新しいデータセットをリリースする。
• 参考スコア（独自算出の注目度）: 84.68308372858755
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In conference peer review, reviewers are often asked to provide "bids" on each submitted paper that express their interest in reviewing that paper. A paper assignment algorithm then uses these bids (along with other data) to compute a high-quality assignment of reviewers to papers. However, this process has been exploited by malicious reviewers who strategically bid in order to unethically manipulate the paper assignment, crucially undermining the peer review process. For example, these reviewers may aim to get assigned to a friend's paper as part of a quid-pro-quo deal. A critical impediment towards creating and evaluating methods to mitigate this issue is the lack of any publicly-available data on malicious paper bidding. In this work, we collect and publicly release a novel dataset to fill this gap, collected from a mock conference activity where participants were instructed to bid either honestly or maliciously. We further provide a descriptive analysis of the bidding behavior, including our categorization of different strategies employed by participants. Finally, we evaluate the ability of each strategy to manipulate the assignment, and also evaluate the performance of some simple algorithms meant to detect malicious bidding. The performance of these detection algorithms can be taken as a baseline for future research on detecting malicious bidding.
• Abstract（参考訳）: カンファレンスのピアレビューにおいて、レビュアーは、提出された各論文に対して、その論文のレビューに関心を示す「bid」を提供するよう要求される。 論文割当アルゴリズムは、これらの入札(と他のデータ)を使って、論文に対するレビュアーの高品質な割当を計算する。 しかし、このプロセスは、非倫理的に紙の割り当てを操作するために戦略的に入札した悪意あるレビュワーによって悪用され、ピアレビュープロセスが著しく損なわれている。 例えば、これらのレビュアーは、quid-pro-quo契約の一環として、友人の論文に割り当てられることを目指している。 この問題を軽減するための方法の作成と評価に関する重要な障害は、悪質な紙の入札に関する公開データがないことである。 本研究では,このギャップを埋めるための新しいデータセットを収集,公開し,参加者に率直に,悪意的に入札するよう指示されたモックカンファレンス活動から収集した。 さらに,参加者が採用する異なる戦略の分類を含め,入札行動の記述的分析を行う。 最後に、各戦略が割り当てを操作する能力を評価し、悪意ある入札を検出するためのいくつかの単純なアルゴリズムの性能を評価する。 これらの検出アルゴリズムの性能は、悪意のある入札を検出するための将来の研究のベースラインとすることができる。

関連論文リスト

• On the Detection of Reviewer-Author Collusion Rings From Paper Bidding [71.43634536456844]
  衝突リングは、コンピュータサイエンスカンファレンスのピアレビューシステムに大きな脅威をもたらす。 この問題を解決する1つのアプローチは、操作された入札から衝突するレビュアーを検出することである。 衝突環の検出が可能であるという研究はまだ確立されていない。
  論文  参考訳（メタデータ） (2024-02-12T18:12:09Z)
• Tradeoffs in Preventing Manipulation in Paper Bidding for Reviewer Assignment [89.38213318211731]
  入札の利点にもかかわらず、紙入札への依存は、悪意のあるレビュアーが非倫理的な目的のために紙の割り当てを操作できるようにする。 この操作を防ぐためのいくつかの異なるアプローチが提案され、デプロイされている。 本稿では,入札操作に対処するアルゴリズムが満足すべき特定の望ましい特性を列挙する。
  論文  参考訳（メタデータ） (2022-07-22T19:58:17Z)
• The Price of Strategyproofing Peer Assessment [30.51994705981846]
  戦略行動は、ある種のピアアセスメントを必要とする様々な現実世界のアプリケーションにおいて、基本的な問題である。 個人の著作は、評価している提出書と競合しているため、自己の提出書の相対的地位を高めるために不当な評価をすることができる。 この問題は一般的に、個人を分割し、異なるサブセットからのみの作業を評価するよう割り当てることによって解決される。
  論文  参考訳（メタデータ） (2022-01-25T21:16:33Z)
• Making Paper Reviewing Robust to Bid Manipulation Attacks [44.34601846490532]
  逸話的な証拠は、一部のレビュアーが「友人」あるいは「衝突する著者」による論文の入札を行ったことを示唆している。 我々は、そのような攻撃に対してより堅牢な、紙入札と割当てのための新しいアプローチを開発する。 より堅牢であることに加えて、論文レビューの課題の質は、現在の非ロバストな課題のアプローチに匹敵する。
  論文  参考訳（メタデータ） (2021-02-09T21:24:16Z)
• Catch Me if I Can: Detecting Strategic Behaviour in Peer Assessment [61.24399136715106]
  我々は、試験やホームワークの査定や採用・昇進の査定など、様々な査定課題における戦略的行動の課題について考察する。 我々はこのような操作を検出する方法の設計に重点を置いている。 具体的には、エージェントがピアのサブセットを評価し、後に集約されたランキングを最終的な順序付けとして出力する設定について検討する。
  論文  参考訳（メタデータ） (2020-10-08T15:08:40Z)
• Mitigating Manipulation in Peer Review via Randomized Reviewer Assignments [96.114824979298]
  コンファレンスピアレビューにおける3つの重要な課題は、特定の論文に割り当てられる悪意のある試みであり、"Torpedo reviewing"である。 我々は、これらの課題を共通の傘の下にまとめ、レビュアーの割り当てのための(ランダム化された)アルゴリズムを示すフレームワークを提案する。 我々のアルゴリズムは、悪意のあるレビュアーが希望する論文に割り当てられる確率を50%に抑えつつ、完全な最適類似性の90%以上を割り当てることができます。
  論文  参考訳（メタデータ） (2020-06-29T23:55:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。