論文の概要: On the Detection of Reviewer-Author Collusion Rings From Paper Bidding

• arxiv url: http://arxiv.org/abs/2402.07860v1
• Date: Mon, 12 Feb 2024 18:12:09 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-13 13:06:43.144972
• Title: On the Detection of Reviewer-Author Collusion Rings From Paper Bidding
• Title（参考訳）: 論文入札におけるレビュー者・著者共謀輪の検出について
• Authors: Steven Jecmen, Nihar B. Shah, Fei Fang, Leman Akoglu
• Abstract要約: コンピュータサイエンス会議におけるピアレビューシステムに対する大きな脅威は、レビュアー間の「衝突リング」の存在である。 この問題を解決するための潜在的なアプローチの1つは、操作された入札から衝突するレビュアーを検出することである。 衝突環の検出が可能であるという研究はまだ確立されていない。
• 参考スコア（独自算出の注目度）: 71.43634536456844
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A major threat to the peer-review systems of computer science conferences is the existence of "collusion rings" between reviewers. In such collusion rings, reviewers who have also submitted their own papers to the conference work together to manipulate the conference's paper assignment, with the aim of being assigned to review each other's papers. The most straightforward way that colluding reviewers can manipulate the paper assignment is by indicating their interest in each other's papers through strategic paper bidding. One potential approach to solve this important problem would be to detect the colluding reviewers from their manipulated bids, after which the conference can take appropriate action. While prior work has has developed effective techniques to detect other kinds of fraud, no research has yet established that detecting collusion rings is even possible. In this work, we tackle the question of whether it is feasible to detect collusion rings from the paper bidding. To answer this question, we conduct empirical analysis of two realistic conference bidding datasets, including evaluations of existing algorithms for fraud detection in other applications. We find that collusion rings can achieve considerable success at manipulating the paper assignment while remaining hidden from detection: for example, in one dataset, undetected colluders are able to achieve assignment to up to 30% of the papers authored by other colluders. In addition, when 10 colluders bid on all of each other's papers, no detection algorithm outputs a group of reviewers with more than 31% overlap with the true colluders. These results suggest that collusion cannot be effectively detected from the bidding, demonstrating the need to develop more complex detection algorithms that leverage additional metadata.
• Abstract（参考訳）: コンピュータサイエンス会議におけるピアレビューシステムに対する大きな脅威は、レビュアー間の「衝突リング」の存在である。 このような共謀のリングでは、会議に自身の論文を提出したレビュアーが共同で会議の紙の割り当てを操作し、お互いの論文をレビューするために割り当てられる。 可解なレビュアーが紙の代入を操作できる最も簡単な方法は、戦略的な論文入札を通じて互いの論文に対する関心を示すことである。 この重要な問題を解決するための潜在的アプローチの1つは、調整された入札から衝突するレビュアーを検出することである。 以前の研究は、他の種類の不正を検知するための効果的な技術を開発したが、まだ結節環の検出が可能であるという研究は確立していない。 本研究では,紙入札から結束環を検出できるかどうかという問題に取り組む。 この質問に答えるために,既存の不正検出アルゴリズムの評価を含む,現実的な2つの会議入札データセットの実証分析を行う。 例えば、あるデータセットでは、検出されていないコリダは、他のコリダによって書かれた論文の最大30%に割り当てることができる。 さらに、10人のコラウダーがお互いの論文の全てに入札すると、検出アルゴリズムは真のコラウダーと31%以上のオーバーラップしたレビュアーのグループを出力しない。 これらの結果から,共謀は入札から効果的に検出できないことが示唆され,追加メタデータを活用するより複雑な検出アルゴリズムの開発の必要性が示された。

関連論文リスト

• Defense of Adversarial Ranking Attack in Text Retrieval: Benchmark and Baseline via Detection [12.244543468021938]
  本稿では,敵対的文書に対する2種類の検出タスクを提案する。 敵のランク防衛の調査を容易にするために、ベンチマークデータセットが確立されている。 いくつかの検出基準線の性能を総合的に調査する。
  論文  参考訳（メタデータ） (2023-07-31T16:31:24Z)
• Tradeoffs in Preventing Manipulation in Paper Bidding for Reviewer Assignment [89.38213318211731]
  入札の利点にもかかわらず、紙入札への依存は、悪意のあるレビュアーが非倫理的な目的のために紙の割り当てを操作できるようにする。 この操作を防ぐためのいくつかの異なるアプローチが提案され、デプロイされている。 本稿では,入札操作に対処するアルゴリズムが満足すべき特定の望ましい特性を列挙する。
  論文  参考訳（メタデータ） (2022-07-22T19:58:17Z)
• A Dataset on Malicious Paper Bidding in Peer Review [84.68308372858755]
  悪意あるレビュアーは、紙の割り当てを非倫理的に操作するために戦略的に入札した。 この問題を緩和するための方法の作成と評価への重要な障害は、悪意ある紙入札に関する公開データの欠如である。 我々は、参加者に正直に、悪意的に入札するよう指示されたモックカンファレンス活動から収集された、新しいデータセットをリリースする。
  論文  参考訳（メタデータ） (2022-06-24T20:23:33Z)
• The Familiarity Hypothesis: Explaining the Behavior of Deep Open Set Methods [86.39044549664189]
  特徴ベクトルデータに対する異常検出アルゴリズムは異常を外れ値として識別するが、外れ値検出はディープラーニングではうまく機能しない。 本論文は, 新規性の有無ではなく, 慣れ親しんだ特徴の欠如を検知しているため, これらの手法が成功するというFamiliarity仮説を提案する。 本論文は,親しみやすさの検出が表現学習の必然的な結果であるかどうかを論じる。
  論文  参考訳（メタデータ） (2022-03-04T18:32:58Z)
• Making Paper Reviewing Robust to Bid Manipulation Attacks [44.34601846490532]
  逸話的な証拠は、一部のレビュアーが「友人」あるいは「衝突する著者」による論文の入札を行ったことを示唆している。 我々は、そのような攻撃に対してより堅牢な、紙入札と割当てのための新しいアプローチを開発する。 より堅牢であることに加えて、論文レビューの課題の質は、現在の非ロバストな課題のアプローチに匹敵する。
  論文  参考訳（メタデータ） (2021-02-09T21:24:16Z)
• Mitigating Manipulation in Peer Review via Randomized Reviewer Assignments [96.114824979298]
  コンファレンスピアレビューにおける3つの重要な課題は、特定の論文に割り当てられる悪意のある試みであり、"Torpedo reviewing"である。 我々は、これらの課題を共通の傘の下にまとめ、レビュアーの割り当てのための(ランダム化された)アルゴリズムを示すフレームワークを提案する。 我々のアルゴリズムは、悪意のあるレビュアーが希望する論文に割り当てられる確率を50%に抑えつつ、完全な最適類似性の90%以上を割り当てることができます。
  論文  参考訳（メタデータ） (2020-06-29T23:55:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。