論文の概要: Auctions and Prediction Markets for Scientific Peer Review
- arxiv url: http://arxiv.org/abs/2109.00923v1
- Date: Fri, 27 Aug 2021 23:47:15 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-05 09:02:58.636858
- Title: Auctions and Prediction Markets for Scientific Peer Review
- Title(参考訳): 科学ピアレビューのためのオークションと予測市場
- Authors: Siddarth Srinivasan, Jamie Morgenstern
- Abstract要約: 本稿では,論文提出とレビュープロセスを結び付け,高品質なレビューと高品質な提出を同時にインセンティブする2段階のメカニズムを提案する。
最初の段階では、著者がレビュースロットのVCGオークションに参加し、論文を提出し、論文をレビューする際の期待値を示す入札を行う。
第2段階では,情報活用文学における近年の成果に基づく新たな予測市場型メカニズム (H-DIPP) を提案する。
- 参考スコア(独自算出の注目度): 9.904093594054679
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Peer reviewed publications are considered the gold standard in certifying and
disseminating ideas that a research community considers valuable. However, we
identify two major drawbacks of the current system: (1) the overwhelming demand
for reviewers due to a large volume of submissions, and (2) the lack of
incentives for reviewers to participate and expend the necessary effort to
provide high-quality reviews. In this work, we adopt a mechanism-design
approach to propose improvements to the peer review process. We present a
two-stage mechanism which ties together the paper submission and review
process, simultaneously incentivizing high-quality reviews and high-quality
submissions. In the first stage, authors participate in a VCG auction for
review slots by submitting their papers along with a bid that represents their
expected value for having their paper reviewed. For the second stage, we
propose a novel prediction market-style mechanism (H-DIPP) building on recent
work in the information elicitation literature, which incentivizes
participating reviewers to provide honest and effortful reviews. The revenue
raised by the Stage I auction is used in Stage II to pay reviewers based on the
quality of their reviews.
- Abstract(参考訳): 査読された出版物は、研究コミュニティが価値あると考えるアイデアを認定し、広める際の金の基準と考えられている。
しかし,本システムの主な欠点は,(1)大量の提出によるレビュアーの圧倒的需要,(2)レビュアーが参加するインセンティブの欠如,および質の高いレビューを提供するために必要な努力の欠如である。
本研究では,ピアレビュープロセスの改善を提案する機構設計手法を採用する。
本稿では,論文提出とレビュープロセスを結び付け,高品質なレビューと高品質な提出を同時にインセンティブする2段階のメカニズムを提案する。
最初の段階では、著者がレビュースロットのVCGオークションに参加し、論文を提出し、論文をレビューする際の期待値を示す入札を行う。
第2段階として,情報化文学における近年の研究を基盤とした新しい予測市場型メカニズム(h-dipp)を提案する。
第1段階のオークションで得た収入は、第2段階のレビューの質に応じてレビュワーに支払われる。
関連論文リスト
- Eliciting Honest Information From Authors Using Sequential Review [13.424398627546788]
本稿では,著者からランキング情報を真に引き出すための逐次レビュー機構を提案する。
鍵となる考え方は、提供されたランキングに基づいて著者の論文をシーケンスでレビューし、前の論文のレビュースコアについて次の論文のレビューを条件付けることである。
論文 参考訳(メタデータ) (2023-11-24T17:27:39Z) - When Reviewers Lock Horn: Finding Disagreement in Scientific Peer
Reviews [24.875901048855077]
本稿では,ある記事のレビュアー間での矛盾を自動的に識別する新しいタスクを紹介する。
我々の知識を最大限に活用するために、ピアレビュアー間での意見の不一致を自動的に識別する最初の試みを行う。
論文 参考訳(メタデータ) (2023-10-28T11:57:51Z) - How do Authors' Perceptions of their Papers Compare with Co-authors'
Perceptions and Peer-review Decisions? [87.00095008723181]
著者は論文の受理確率をおよそ3倍過大評価している。
女性作家は、男性作家よりも極端に高い(統計的に重要な)誤校正を示す。
受理された論文と受理された論文の回答者の少なくとも30%は、レビュープロセス後に自身の論文に対する認識が改善したと述べている。
論文 参考訳(メタデータ) (2022-11-22T15:59:30Z) - Submission-Aware Reviewer Profiling for Reviewer Recommender System [26.382772998002523]
本稿では,潜在的レビュアーが出版する各要約から,研究対象のトピックと,そのトピックを研究対象とする明示的な文脈を学習する手法を提案する。
実験の結果,既存手法と比較して精度が向上した。
この新しいアプローチは、過去2年でトップレベルのカンファレンスで成功している。
論文 参考訳(メタデータ) (2022-11-08T12:18:02Z) - Tradeoffs in Preventing Manipulation in Paper Bidding for Reviewer
Assignment [89.38213318211731]
入札の利点にもかかわらず、紙入札への依存は、悪意のあるレビュアーが非倫理的な目的のために紙の割り当てを操作できるようにする。
この操作を防ぐためのいくつかの異なるアプローチが提案され、デプロイされている。
本稿では,入札操作に対処するアルゴリズムが満足すべき特定の望ましい特性を列挙する。
論文 参考訳(メタデータ) (2022-07-22T19:58:17Z) - A Dataset on Malicious Paper Bidding in Peer Review [84.68308372858755]
悪意あるレビュアーは、紙の割り当てを非倫理的に操作するために戦略的に入札した。
この問題を緩和するための方法の作成と評価への重要な障害は、悪意ある紙入札に関する公開データの欠如である。
我々は、参加者に正直に、悪意的に入札するよう指示されたモックカンファレンス活動から収集された、新しいデータセットをリリースする。
論文 参考訳(メタデータ) (2022-06-24T20:23:33Z) - Ranking Scientific Papers Using Preference Learning [48.78161994501516]
我々はこれをピアレビューテキストとレビュアースコアに基づく論文ランキング問題とみなした。
ピアレビューに基づいて最終決定を行うための,新しい多面的総合評価フレームワークを提案する。
論文 参考訳(メタデータ) (2021-09-02T19:41:47Z) - Making Paper Reviewing Robust to Bid Manipulation Attacks [44.34601846490532]
逸話的な証拠は、一部のレビュアーが「友人」あるいは「衝突する著者」による論文の入札を行ったことを示唆している。
我々は、そのような攻撃に対してより堅牢な、紙入札と割当てのための新しいアプローチを開発する。
より堅牢であることに加えて、論文レビューの課題の質は、現在の非ロバストな課題のアプローチに匹敵する。
論文 参考訳(メタデータ) (2021-02-09T21:24:16Z) - Code Review in the Classroom [57.300604527924015]
教室設定の若い開発者は、コードレビュープロセスの潜在的に有利で問題のある領域の明確な図を提供している。
彼らのフィードバックは、プロセスはプロセスを改善するためにいくつかのポイントで十分に受け入れられていることを示唆している。
本論文は,教室でコードレビューを行うためのガイドラインとして利用することができる。
論文 参考訳(メタデータ) (2020-04-19T06:07:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。