論文の概要: Vulnerability of Text-Matching in ML/AI Conference Reviewer Assignments to Collusions

• arxiv url: http://arxiv.org/abs/2412.06606v1
• Date: Mon, 09 Dec 2024 15:55:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-10 14:55:33.740575
• Title: Vulnerability of Text-Matching in ML/AI Conference Reviewer Assignments to Collusions
• Title（参考訳）: ML/AIコンファレンスにおけるテキストマッチングの脆弱性
• Authors: Jhih-Yi, Hsieh, Aditi Raghunathan, Nihar B. Shah,
• Abstract要約: コラボレーションリングは、トップ層機械学習(ML)と人工知能(AI)カンファレンスに挑戦する。 入札がなくても、レビュアーと著者は、レビュアー代行の機械学習ベースのテキストマッチングコンポーネントを活用できることを示す。
• 参考スコア（独自算出の注目度）: 29.549766565378775
• License:
• Abstract: In the peer review process of top-tier machine learning (ML) and artificial intelligence (AI) conferences, reviewers are assigned to papers through automated methods. These assignment algorithms consider two main factors: (1) reviewers' expressed interests indicated by their bids for papers, and (2) reviewers' domain expertise inferred from the similarity between the text of their previously published papers and the submitted manuscripts. A significant challenge these conferences face is the existence of collusion rings, where groups of researchers manipulate the assignment process to review each other's papers, providing positive evaluations regardless of their actual quality. Most efforts to combat collusion rings have focused on preventing bid manipulation, under the assumption that the text similarity component is secure. In this paper, we demonstrate that even in the absence of bidding, colluding reviewers and authors can exploit the machine learning based text-matching component of reviewer assignment used at top ML/AI venues to get assigned their target paper. We also highlight specific vulnerabilities within this system and offer suggestions to enhance its robustness.
• Abstract（参考訳）: トップ層機械学習(ML)と人工知能(AI)カンファレンスのピアレビュープロセスでは、レビュアーは自動化された方法で論文に割り当てられる。 これらの割当てアルゴリズムは,(1)論文の入札によって示される関心の表現と,(2)論文のテキストと提出された原稿との類似性から,レビュー者のドメイン知識を推定する2つの主要な要因を考察する。 これらの会議が直面する重要な課題は、衝突環の存在であり、研究者のグループがそれぞれの論文をレビューするために割り当てプロセスを操作し、実際の品質に関わらず肯定的な評価を与える。 テキスト類似性成分が安全であることを前提として、共謀リングと戦うほとんどの努力は入札操作の防止に重点を置いている。 本稿では、入札がなくても、ML/AIのトップ会場で使用されるレビュアーのテキストマッチングコンポーネントを機械学習で活用し、対象とする論文を割り当てることができることを示す。 また、システム内の特定の脆弱性を強調し、その堅牢性を高めるための提案も提供します。

関連論文リスト

• Analysis of the ICML 2023 Ranking Data: Can Authors' Opinions of Their Own Papers Assist Peer Review in Machine Learning? [52.00419656272129]
  我々は2023年の国際機械学習会議(ICML)で実験を行った。 我々はそれぞれ2,592件の応募書を含む1,342件のランク付けを受けた。 著者によるランキングを用いて生のレビュースコアを校正するイソトニックメカニズムに注目した。
  論文  参考訳（メタデータ） (2024-08-24T01:51:23Z)
• RelevAI-Reviewer: A Benchmark on AI Reviewers for Survey Paper Relevance [0.8089605035945486]
  本稿では,調査論文レビューの課題を分類問題として概念化するシステムであるRelevAI-Reviewerを提案する。 25,164のインスタンスからなる新しいデータセットを導入する。各インスタンスには1つのプロンプトと4つの候補論文があり、それぞれがプロンプトに関連している。 我々は,各論文の関連性を判断し,最も関連性の高い論文を識別できる機械学習(ML)モデルを開発した。
  論文  参考訳（メタデータ） (2024-06-13T06:42:32Z)
• On the Detection of Reviewer-Author Collusion Rings From Paper Bidding [71.43634536456844]
  衝突リングは、コンピュータサイエンスカンファレンスのピアレビューシステムに大きな脅威をもたらす。 この問題を解決する1つのアプローチは、操作された入札から衝突するレビュアーを検出することである。 衝突環の検出が可能であるという研究はまだ確立されていない。
  論文  参考訳（メタデータ） (2024-02-12T18:12:09Z)
• No more Reviewer #2: Subverting Automatic Paper-Reviewer Assignment using Adversarial Learning [25.70062566419791]
  この自動化は,逆学習を用いて操作可能であることを示す。 提案する攻撃は、与えられた論文に適応し、その課題を誤解させ、独自のレビュアーを選択する。
  論文  参考訳（メタデータ） (2023-03-25T11:34:27Z)
• Investigating Fairness Disparities in Peer Review: A Language Model Enhanced Approach [77.61131357420201]
  我々は、大規模言語モデル(LM)の助けを借りて、ピアレビューにおける公平性格差の徹底した厳密な研究を行う。 我々は、2017年から現在までのICLR(International Conference on Learning Representations)カンファレンスで、包括的なリレーショナルデータベースを収集、組み立て、維持しています。 我々は、著作者性別、地理、著作者、機関的名声など、興味のある複数の保護属性に対する公平性の違いを仮定し、研究する。
  論文  参考訳（メタデータ） (2022-11-07T16:19:42Z)
• A Dataset on Malicious Paper Bidding in Peer Review [84.68308372858755]
  悪意あるレビュアーは、紙の割り当てを非倫理的に操作するために戦略的に入札した。 この問題を緩和するための方法の作成と評価への重要な障害は、悪意ある紙入札に関する公開データの欠如である。 我々は、参加者に正直に、悪意的に入札するよう指示されたモックカンファレンス活動から収集された、新しいデータセットをリリースする。
  論文  参考訳（メタデータ） (2022-06-24T20:23:33Z)
• Ranking Scientific Papers Using Preference Learning [48.78161994501516]
  我々はこれをピアレビューテキストとレビュアースコアに基づく論文ランキング問題とみなした。 ピアレビューに基づいて最終決定を行うための,新しい多面的総合評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-02T19:41:47Z)
• Making Paper Reviewing Robust to Bid Manipulation Attacks [44.34601846490532]
  逸話的な証拠は、一部のレビュアーが「友人」あるいは「衝突する著者」による論文の入札を行ったことを示唆している。 我々は、そのような攻撃に対してより堅牢な、紙入札と割当てのための新しいアプローチを開発する。 より堅牢であることに加えて、論文レビューの課題の質は、現在の非ロバストな課題のアプローチに匹敵する。
  論文  参考訳（メタデータ） (2021-02-09T21:24:16Z)
• Mitigating Manipulation in Peer Review via Randomized Reviewer Assignments [96.114824979298]
  コンファレンスピアレビューにおける3つの重要な課題は、特定の論文に割り当てられる悪意のある試みであり、"Torpedo reviewing"である。 我々は、これらの課題を共通の傘の下にまとめ、レビュアーの割り当てのための(ランダム化された)アルゴリズムを示すフレームワークを提案する。 我々のアルゴリズムは、悪意のあるレビュアーが希望する論文に割り当てられる確率を50%に抑えつつ、完全な最適類似性の90%以上を割り当てることができます。
  論文  参考訳（メタデータ） (2020-06-29T23:55:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。