論文の概要: Auctions and Prediction Markets for Scientific Peer Review
- arxiv url: http://arxiv.org/abs/2109.00923v1
- Date: Fri, 27 Aug 2021 23:47:15 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-05 09:02:58.636858
- Title: Auctions and Prediction Markets for Scientific Peer Review
- Title（参考訳）: 科学ピアレビューのためのオークションと予測市場
- Authors: Siddarth Srinivasan, Jamie Morgenstern
- Abstract要約: 本稿では,論文提出とレビュープロセスを結び付け,高品質なレビューと高品質な提出を同時にインセンティブする2段階のメカニズムを提案する。
最初の段階では、著者がレビュースロットのVCGオークションに参加し、論文を提出し、論文をレビューする際の期待値を示す入札を行う。
第2段階では,情報活用文学における近年の成果に基づく新たな予測市場型メカニズム (H-DIPP) を提案する。
- 参考スコア（独自算出の注目度）: 9.904093594054679
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Peer reviewed publications are considered the gold standard in certifying and
disseminating ideas that a research community considers valuable. However, we
identify two major drawbacks of the current system: (1) the overwhelming demand
for reviewers due to a large volume of submissions, and (2) the lack of
incentives for reviewers to participate and expend the necessary effort to
provide high-quality reviews. In this work, we adopt a mechanism-design
approach to propose improvements to the peer review process. We present a
two-stage mechanism which ties together the paper submission and review
process, simultaneously incentivizing high-quality reviews and high-quality
submissions. In the first stage, authors participate in a VCG auction for
review slots by submitting their papers along with a bid that represents their
expected value for having their paper reviewed. For the second stage, we
propose a novel prediction market-style mechanism (H-DIPP) building on recent
work in the information elicitation literature, which incentivizes
participating reviewers to provide honest and effortful reviews. The revenue
raised by the Stage I auction is used in Stage II to pay reviewers based on the
quality of their reviews.
- Abstract（参考訳）: 査読された出版物は、研究コミュニティが価値あると考えるアイデアを認定し、広める際の金の基準と考えられている。
しかし,本システムの主な欠点は,(1)大量の提出によるレビュアーの圧倒的需要,(2)レビュアーが参加するインセンティブの欠如,および質の高いレビューを提供するために必要な努力の欠如である。
本研究では,ピアレビュープロセスの改善を提案する機構設計手法を採用する。
本稿では,論文提出とレビュープロセスを結び付け,高品質なレビューと高品質な提出を同時にインセンティブする2段階のメカニズムを提案する。
最初の段階では、著者がレビュースロットのVCGオークションに参加し、論文を提出し、論文をレビューする際の期待値を示す入札を行う。
第2段階として,情報化文学における近年の研究を基盤とした新しい予測市場型メカニズム(h-dipp)を提案する。
第1段階のオークションで得た収入は、第2段階のレビューの質に応じてレビュワーに支払われる。
関連論文リスト
- DecentPeeR: A Self-Incentivised & Inclusive Decentralized Peer Review System [11.477670199123335]
我々のシステムであるDecentPeeRは、レビュアーにルールに従って振舞うインセンティブを与える。
論文 参考訳（メタデータ） (2024-11-13T09:13:16Z) - Analysis of the ICML 2023 Ranking Data: Can Authors' Opinions of Their Own Papers Assist Peer Review in Machine Learning? [52.00419656272129]
我々は2023年の国際機械学習会議(ICML)で実験を行った。
我々はそれぞれ2,592件の応募書を含む1,342件のランク付けを受けた。
著者によるランキングを用いて生のレビュースコアを校正するイソトニックメカニズムに注目した。
論文 参考訳（メタデータ） (2024-08-24T01:51:23Z) - Decentralized Peer Review in Open Science: A Mechanism Proposal [0.0]
本稿では,ピアレビューのためのコミュニティ所有・ガバナンスシステムを提案する。
本システムは,誤判定の可能性と影響を下げつつ,ピアレビューの品質とスピードを向上させることを目的としている。
論文 参考訳（メタデータ） (2024-04-28T11:42:54Z) - A Literature Review of Literature Reviews in Pattern Analysis and Machine Intelligence [58.6354685593418]
本稿では, レビューを評価するために, 記事レベル, フィールド正規化, 大規模言語モデルを用いた書誌指標を提案する。
新たに登場したAI生成の文献レビューも評価されている。
この研究は、文学レビューの現在の課題についての洞察を与え、彼らの開発に向けた今後の方向性を思い起こさせる。
論文 参考訳（メタデータ） (2024-02-20T11:28:50Z) - Eliciting Honest Information From Authors Using Sequential Review [13.424398627546788]
本稿では,著者からランキング情報を真に引き出すための逐次レビュー機構を提案する。
鍵となる考え方は、提供されたランキングに基づいて著者の論文をシーケンスでレビューし、前の論文のレビュースコアについて次の論文のレビューを条件付けることである。
論文 参考訳（メタデータ） (2023-11-24T17:27:39Z) - Submission-Aware Reviewer Profiling for Reviewer Recommender System [26.382772998002523]
本稿では,潜在的レビュアーが出版する各要約から,研究対象のトピックと,そのトピックを研究対象とする明示的な文脈を学習する手法を提案する。
実験の結果,既存手法と比較して精度が向上した。
この新しいアプローチは、過去2年でトップレベルのカンファレンスで成功している。
論文 参考訳（メタデータ） (2022-11-08T12:18:02Z) - Tradeoffs in Preventing Manipulation in Paper Bidding for Reviewer
Assignment [89.38213318211731]
入札の利点にもかかわらず、紙入札への依存は、悪意のあるレビュアーが非倫理的な目的のために紙の割り当てを操作できるようにする。
この操作を防ぐためのいくつかの異なるアプローチが提案され、デプロイされている。
本稿では,入札操作に対処するアルゴリズムが満足すべき特定の望ましい特性を列挙する。
論文 参考訳（メタデータ） (2022-07-22T19:58:17Z) - A Dataset on Malicious Paper Bidding in Peer Review [84.68308372858755]
悪意あるレビュアーは、紙の割り当てを非倫理的に操作するために戦略的に入札した。
この問題を緩和するための方法の作成と評価への重要な障害は、悪意ある紙入札に関する公開データの欠如である。
我々は、参加者に正直に、悪意的に入札するよう指示されたモックカンファレンス活動から収集された、新しいデータセットをリリースする。
論文 参考訳（メタデータ） (2022-06-24T20:23:33Z) - Ranking Scientific Papers Using Preference Learning [48.78161994501516]
我々はこれをピアレビューテキストとレビュアースコアに基づく論文ランキング問題とみなした。
ピアレビューに基づいて最終決定を行うための,新しい多面的総合評価フレームワークを提案する。
論文 参考訳（メタデータ） (2021-09-02T19:41:47Z) - Making Paper Reviewing Robust to Bid Manipulation Attacks [44.34601846490532]
逸話的な証拠は、一部のレビュアーが「友人」あるいは「衝突する著者」による論文の入札を行ったことを示唆している。
我々は、そのような攻撃に対してより堅牢な、紙入札と割当てのための新しいアプローチを開発する。
より堅牢であることに加えて、論文レビューの課題の質は、現在の非ロバストな課題のアプローチに匹敵する。
論文 参考訳（メタデータ） (2021-02-09T21:24:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。