論文の概要: No more Reviewer #2: Subverting Automatic Paper-Reviewer Assignment
using Adversarial Learning
- arxiv url: http://arxiv.org/abs/2303.14443v1
- Date: Sat, 25 Mar 2023 11:34:27 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-28 19:43:40.416289
- Title: No more Reviewer #2: Subverting Automatic Paper-Reviewer Assignment
using Adversarial Learning
- Title(参考訳): no more reviewer #2: 逆学習を用いた論文レビューの自動割当て
- Authors: Thorsten Eisenhofer, Erwin Quiring, Jonas M\"oller, Doreen Riepel,
Thorsten Holz, Konrad Rieck
- Abstract要約: この自動化は,逆学習を用いて操作可能であることを示す。
提案する攻撃は、与えられた論文に適応し、その課題を誤解させ、独自のレビュアーを選択する。
- 参考スコア(独自算出の注目度): 25.70062566419791
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The number of papers submitted to academic conferences is steadily rising in
many scientific disciplines. To handle this growth, systems for automatic
paper-reviewer assignments are increasingly used during the reviewing process.
These systems use statistical topic models to characterize the content of
submissions and automate the assignment to reviewers. In this paper, we show
that this automation can be manipulated using adversarial learning. We propose
an attack that adapts a given paper so that it misleads the assignment and
selects its own reviewers. Our attack is based on a novel optimization strategy
that alternates between the feature space and problem space to realize
unobtrusive changes to the paper. To evaluate the feasibility of our attack, we
simulate the paper-reviewer assignment of an actual security conference (IEEE
S&P) with 165 reviewers on the program committee. Our results show that we can
successfully select and remove reviewers without access to the assignment
system. Moreover, we demonstrate that the manipulated papers remain plausible
and are often indistinguishable from benign submissions.
- Abstract(参考訳): 学術会議に提出された論文の数は、多くの科学分野において着実に増えている。
この成長に対処するため、レビュープロセス中に自動ペーパーリビューア代行システムの利用が増えている。
これらのシステムは、統計トピックモデルを使用して、提出内容の特徴付けとレビュアーへの割り当ての自動化を行う。
本稿では,この自動化を逆学習を用いて操作できることを示す。
我々は,与えられた論文に適応して課題を誤解させ,独自のレビュー者を選択する攻撃を提案する。
我々の攻撃は、特徴空間と問題空間を交互に交互に組み合わせて、論文の邪魔にならない変更を実現する新しい最適化戦略に基づいている。
攻撃の可能性を評価するため,プログラム委員会の165人のレビュアーと実際のセキュリティ会議(ieee s&p)の紙レビュー担当者の割り当てをシミュレートした。
その結果,レビュアーの選択と削除に成功し,アサインシステムにアクセスできなくなった。
さらに,操作された論文は信頼性が保たれており,良心的な提出と区別できないことが多いことを実証した。
関連論文リスト
- Eliciting Honest Information From Authors Using Sequential Review [13.424398627546788]
本稿では,著者からランキング情報を真に引き出すための逐次レビュー機構を提案する。
鍵となる考え方は、提供されたランキングに基づいて著者の論文をシーケンスでレビューし、前の論文のレビュースコアについて次の論文のレビューを条件付けることである。
論文 参考訳(メタデータ) (2023-11-24T17:27:39Z) - Verifying the Robustness of Automatic Credibility Assessment [79.08422736721764]
テキスト分類法は信頼性の低い内容を検出する手段として広く研究されている。
入力テキストの無意味な変更は、モデルを誤解させることがある。
偽情報検出タスクにおける被害者モデルと攻撃方法の両方をテストするベンチマークであるBODEGAを紹介する。
論文 参考訳(メタデータ) (2023-03-14T16:11:47Z) - A Dataset on Malicious Paper Bidding in Peer Review [84.68308372858755]
悪意あるレビュアーは、紙の割り当てを非倫理的に操作するために戦略的に入札した。
この問題を緩和するための方法の作成と評価への重要な障害は、悪意ある紙入札に関する公開データの欠如である。
我々は、参加者に正直に、悪意的に入札するよう指示されたモックカンファレンス活動から収集された、新しいデータセットをリリースする。
論文 参考訳(メタデータ) (2022-06-24T20:23:33Z) - Generating Summaries for Scientific Paper Review [29.12631698162247]
機械学習とNLPにおけるトップの会場への応募の増加は、レビュアーに過剰な負担を課す問題を引き起こしている。
レビュープロセスを支援する自動システムは、問題を改善するための解決策になり得る。
本稿では,学術論文の自動レビュー要約生成について検討する。
論文 参考訳(メタデータ) (2021-09-28T21:43:53Z) - Ranking Scientific Papers Using Preference Learning [48.78161994501516]
我々はこれをピアレビューテキストとレビュアースコアに基づく論文ランキング問題とみなした。
ピアレビューに基づいて最終決定を行うための,新しい多面的総合評価フレームワークを提案する。
論文 参考訳(メタデータ) (2021-09-02T19:41:47Z) - ProtoTransformer: A Meta-Learning Approach to Providing Student Feedback [54.142719510638614]
本稿では,フィードバックを数発の分類として提供するという課題について考察する。
メタラーナーは、インストラクターによるいくつかの例から、新しいプログラミング質問に関する学生のコードにフィードバックを与えるように適応します。
本手法は,第1段階の大学が提供したプログラムコースにおいて,16,000名の学生試験ソリューションに対するフィードバックの提供に成功している。
論文 参考訳(メタデータ) (2021-07-23T22:41:28Z) - Some Ethical Issues in the Review Process of Machine Learning
Conferences [0.38073142980733]
最近の機械学習コミュニティの成功により、カンファレンスに提出された論文の数が大幅に増加した。
この増加は、これらのカンファレンスが使用している現在のレビュープロセスに影響を及ぼすいくつかの問題をより顕著にした。
本研究では, 審査員の採用問題, 二重盲検プロセスの侵害, 不正行為, 数値評価のバイアス, 付録現象について検討した。
論文 参考訳(メタデータ) (2021-06-01T21:22:41Z) - Making Paper Reviewing Robust to Bid Manipulation Attacks [44.34601846490532]
逸話的な証拠は、一部のレビュアーが「友人」あるいは「衝突する著者」による論文の入札を行ったことを示唆している。
我々は、そのような攻撃に対してより堅牢な、紙入札と割当てのための新しいアプローチを開発する。
より堅牢であることに加えて、論文レビューの課題の質は、現在の非ロバストな課題のアプローチに匹敵する。
論文 参考訳(メタデータ) (2021-02-09T21:24:16Z) - Can We Automate Scientific Reviewing? [89.50052670307434]
我々は、最先端自然言語処理(NLP)モデルを用いて、科学論文の第一パスピアレビューを生成する可能性について論じる。
我々は、機械学習領域で論文のデータセットを収集し、各レビューでカバーされているさまざまなコンテンツに注釈を付け、レビューを生成するために論文を取り込み、ターゲットの要約モデルを訓練する。
総合的な実験結果から、システム生成レビューは、人間によるレビューよりも、論文の多くの側面に触れる傾向にあることが示された。
論文 参考訳(メタデータ) (2021-01-30T07:16:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。