論文の概要: Combating Collusion Rings is Hard but Possible
- arxiv url: http://arxiv.org/abs/2112.08444v1
- Date: Tue, 14 Dec 2021 18:40:10 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-17 16:29:24.497572
- Title: Combating Collusion Rings is Hard but Possible
- Title(参考訳): 衝突するリングは難しいがあり得る
- Authors: Niclas Boehmer, Robert Bredereck, Andr\'e Nichterlein
- Abstract要約: 本稿では,次の種類の共謀リングを使わずにレビュー課題を見つけることを目的とした,サイクルフリーレビュー問題の導入と解析を行う。
このサイクルのすべての論文は、それぞれの科学的メリットから独立して受け入れられる確率が高い。
いくつかの現実的な設定では、小さな長さのレビューサイクルのない割り当ては常に存在することを示す。
- 参考スコア(独自算出の注目度): 20.98044468339695
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A recent report of Littmann [Commun. ACM '21] outlines the existence and the
fatal impact of collusion rings in academic peer reviewing. We introduce and
analyze the problem Cycle-Free Reviewing that aims at finding a review
assignment without the following kind of collusion ring: A sequence of
reviewers each reviewing a paper authored by the next reviewer in the sequence
(with the last reviewer reviewing a paper of the first), thus creating a review
cycle where each reviewer gives favorable reviews. As a result, all papers in
that cycle have a high chance of acceptance independent of their respective
scientific merit.
We observe that review assignments computed using a standard Linear
Programming approach typically admit many short review cycles. On the negative
side, we show that Cycle-Free Reviewing is NP-hard in various restricted cases
(i.e., when every author is qualified to review all papers and one wants to
prevent that authors review each other's or their own papers or when every
author has only one paper and is only qualified to review few papers). On the
positive side, among others, we show that, in some realistic settings, an
assignment without any review cycles of small length always exists. This result
also gives rise to an efficient heuristic for computing (weighted) cycle-free
review assignments, which we show to be of excellent quality in practice.
- Abstract(参考訳): Littmann [Commun. ACM '21] の最近の報告は、学術的査定における衝突環の存在と致命的な影響を概説している。
本稿では,次のコルーションリングを使わずにレビュー課題を見つけることを目的とした問題サイクルフリーレビューについて紹介し,分析する。次のレビュー者が書いた論文をレビューする(第1の論文をレビューする最後のレビュアーと共に)レビューする一連のレビュー者が,各レビュー者が好意的なレビューを行うレビューサイクルを作成する。
結果として、このサイクルの全ての論文は、それぞれの科学的メリットから独立して受け入れられる確率が高い。
標準線形計画法を用いて計算されたレビュー割り当ては、一般的に多くの短いレビューサイクルを許容する。
否定的な面では、Cycle-Free Reviewingは、様々な制限されたケースにおいてNP-hardである(すなわち、すべての著者がすべての論文をレビューする資格があり、著者が互いの論文をレビューする権利がある場合、または、著者が1枚の論文しか持たず、少数の論文をレビューする資格がある場合)。
肯定的な面では、いくつかの現実的な設定では、小さな長さのレビューサイクルのない割当てが常に存在することを示す。
また、この結果により、サイクルレスレビューの割り当てを計算(重み付け)するための効率的なヒューリスティック(ヒューリスティック)がもたらされる。
関連論文リスト
- DecentPeeR: A Self-Incentivised & Inclusive Decentralized Peer Review System [11.477670199123335]
我々のシステムであるDecentPeeRは、レビュアーにルールに従って振舞うインセンティブを与える。
論文 参考訳(メタデータ) (2024-11-13T09:13:16Z) - GLIMPSE: Pragmatically Informative Multi-Document Summarization for Scholarly Reviews [25.291384842659397]
本稿では,学術レビューの簡潔かつ包括的概要を提供するための要約手法であるsysを紹介する。
従来のコンセンサスに基づく手法とは異なり、sysは共通の意見とユニークな意見の両方をレビューから抽出する。
論文 参考訳(メタデータ) (2024-06-11T15:27:01Z) - Incremental Extractive Opinion Summarization Using Cover Trees [81.59625423421355]
オンラインマーケットプレースでは、ユーザレビューは時間とともに蓄積され、意見要約を定期的に更新する必要がある。
本研究では,漸進的な環境下での抽出的意見要約の課題について検討する。
本稿では,CentroidRankの要約をインクリメンタルな設定で正確に計算するアルゴリズムを提案する。
論文 参考訳(メタデータ) (2024-01-16T02:00:17Z) - When Reviewers Lock Horn: Finding Disagreement in Scientific Peer
Reviews [24.875901048855077]
本稿では,ある記事のレビュアー間での矛盾を自動的に識別する新しいタスクを紹介する。
我々の知識を最大限に活用するために、ピアレビュアー間での意見の不一致を自動的に識別する最初の試みを行う。
論文 参考訳(メタデータ) (2023-10-28T11:57:51Z) - A Dataset on Malicious Paper Bidding in Peer Review [84.68308372858755]
悪意あるレビュアーは、紙の割り当てを非倫理的に操作するために戦略的に入札した。
この問題を緩和するための方法の作成と評価への重要な障害は、悪意ある紙入札に関する公開データの欠如である。
我々は、参加者に正直に、悪意的に入札するよう指示されたモックカンファレンス活動から収集された、新しいデータセットをリリースする。
論文 参考訳(メタデータ) (2022-06-24T20:23:33Z) - Ranking Scientific Papers Using Preference Learning [48.78161994501516]
我々はこれをピアレビューテキストとレビュアースコアに基づく論文ランキング問題とみなした。
ピアレビューに基づいて最終決定を行うための,新しい多面的総合評価フレームワークを提案する。
論文 参考訳(メタデータ) (2021-09-02T19:41:47Z) - Near-Optimal Reviewer Splitting in Two-Phase Paper Reviewing and
Conference Experiment Design [76.40919326501512]
総割り当ての類似性を最大化するために、レビュアーを段階または条件に分けるにはどうすればいいのか?
実会議データに関連する複数のデータセットに対して、ランダムに位相/条件を均一に分割することで、オラクルの最適割り当てとほぼ同等の割り当てが可能であることを実証的に示す。
論文 参考訳(メタデータ) (2021-08-13T19:29:41Z) - Can We Automate Scientific Reviewing? [89.50052670307434]
我々は、最先端自然言語処理(NLP)モデルを用いて、科学論文の第一パスピアレビューを生成する可能性について論じる。
我々は、機械学習領域で論文のデータセットを収集し、各レビューでカバーされているさまざまなコンテンツに注釈を付け、レビューを生成するために論文を取り込み、ターゲットの要約モデルを訓練する。
総合的な実験結果から、システム生成レビューは、人間によるレビューよりも、論文の多くの側面に触れる傾向にあることが示された。
論文 参考訳(メタデータ) (2021-01-30T07:16:53Z) - Understanding Peer Review of Software Engineering Papers [5.744593856232663]
我々は、審査で受賞した者を含むレビュアーが、ソフトウェア工学論文のレビューをどのように行うかを理解することを目的としている。
肯定的なレビューをもたらす論文の最も重要な特徴は、明確で支持された検証、興味深い問題、そして新規性である。
著者は論文でその作品の貢献を非常に明確にすべきである。
論文 参考訳(メタデータ) (2020-09-02T17:31:45Z) - Mitigating Manipulation in Peer Review via Randomized Reviewer
Assignments [96.114824979298]
コンファレンスピアレビューにおける3つの重要な課題は、特定の論文に割り当てられる悪意のある試みであり、"Torpedo reviewing"である。
我々は、これらの課題を共通の傘の下にまとめ、レビュアーの割り当てのための(ランダム化された)アルゴリズムを示すフレームワークを提案する。
我々のアルゴリズムは、悪意のあるレビュアーが希望する論文に割り当てられる確率を50%に抑えつつ、完全な最適類似性の90%以上を割り当てることができます。
論文 参考訳(メタデータ) (2020-06-29T23:55:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。