論文の概要: Auctions and Peer Prediction for Academic Peer Review
- arxiv url: http://arxiv.org/abs/2109.00923v2
- Date: Wed, 10 May 2023 22:28:12 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-12 19:25:48.954278
- Title: Auctions and Peer Prediction for Academic Peer Review
- Title（参考訳）: 学術ピアレビューのためのオークションとピア予測
- Authors: Siddarth Srinivasan, Jamie Morgenstern
- Abstract要約: 本稿では,情報活用文学における最近の研究に基づく新しいピア予測機構 (H-DIPP) を提案する。
提出段階のオークションで得た収益は、審査段階におけるレビューの質に基づいてレビュアーに支払われる。
- 参考スコア（独自算出の注目度）: 11.413240461538589
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Peer reviewed publications are considered the gold standard in certifying and
disseminating ideas that a research community considers valuable. However, we
identify two major drawbacks of the current system: (1) the overwhelming demand
for reviewers due to a large volume of submissions, and (2) the lack of
incentives for reviewers to participate and expend the necessary effort to
provide high-quality reviews. In this work, we adopt a mechanism-design
approach to propose improvements to the peer review process, tying together the
paper submission and review processes and simultaneously incentivizing
high-quality submissions and reviews. In the submission stage, authors
participate in a VCG auction for review slots by submitting their papers along
with a bid that represents their expected value for having their paper
reviewed. For the reviewing stage, we propose a novel peer prediction mechanism
(H-DIPP) building on recent work in the information elicitation literature,
which incentivizes participating reviewers to provide honest and effortful
reviews. The revenue raised in the submission stage auction is used to pay
reviewers based on the quality of their reviews in the reviewing stage.
- Abstract（参考訳）: 査読された出版物は、研究コミュニティが価値あると考えるアイデアを認定し、広める際の金の基準と考えられている。
しかし,本システムの主な欠点は,(1)大量の提出によるレビュアーの圧倒的需要,(2)レビュアーが参加するインセンティブの欠如,および質の高いレビューを提供するために必要な努力の欠如である。
本研究では,論文の提出とレビューのプロセスをまとめ,高品質な提出とレビューのインセンティブを同時に付与し,ピアレビュープロセスの改善を提案するメカニズム設計アプローチを採用する。
提出段階では、著者は論文を提出してレビュースロットのVCGオークションに参加し、論文をレビューする際の期待値を示す入札を行う。
レビュー段階では,情報引用文学における近年の研究に基づく新たなピア予測機構 (H-DIPP) を提案する。
提出段階のオークションで得られた収益は、レビュー段階におけるレビューの品質に基づいてレビュー者に支払われる。
関連論文リスト
- DecentPeeR: A Self-Incentivised & Inclusive Decentralized Peer Review System [11.477670199123335]
我々のシステムであるDecentPeeRは、レビュアーにルールに従って振舞うインセンティブを与える。
論文 参考訳（メタデータ） (2024-11-13T09:13:16Z) - Analysis of the ICML 2023 Ranking Data: Can Authors' Opinions of Their Own Papers Assist Peer Review in Machine Learning? [52.00419656272129]
我々は2023年の国際機械学習会議(ICML)で実験を行った。
我々はそれぞれ2,592件の応募書を含む1,342件のランク付けを受けた。
著者によるランキングを用いて生のレビュースコアを校正するイソトニックメカニズムに注目した。
論文 参考訳（メタデータ） (2024-08-24T01:51:23Z) - Decentralized Peer Review in Open Science: A Mechanism Proposal [0.0]
本稿では,ピアレビューのためのコミュニティ所有・ガバナンスシステムを提案する。
本システムは,誤判定の可能性と影響を下げつつ,ピアレビューの品質とスピードを向上させることを目的としている。
論文 参考訳（メタデータ） (2024-04-28T11:42:54Z) - A Literature Review of Literature Reviews in Pattern Analysis and Machine Intelligence [58.6354685593418]
本稿では, レビューを評価するために, 記事レベル, フィールド正規化, 大規模言語モデルを用いた書誌指標を提案する。
新たに登場したAI生成の文献レビューも評価されている。
この研究は、文学レビューの現在の課題についての洞察を与え、彼らの開発に向けた今後の方向性を思い起こさせる。
論文 参考訳（メタデータ） (2024-02-20T11:28:50Z) - Eliciting Honest Information From Authors Using Sequential Review [13.424398627546788]
本稿では,著者からランキング情報を真に引き出すための逐次レビュー機構を提案する。
鍵となる考え方は、提供されたランキングに基づいて著者の論文をシーケンスでレビューし、前の論文のレビュースコアについて次の論文のレビューを条件付けることである。
論文 参考訳（メタデータ） (2023-11-24T17:27:39Z) - Submission-Aware Reviewer Profiling for Reviewer Recommender System [26.382772998002523]
本稿では,潜在的レビュアーが出版する各要約から,研究対象のトピックと,そのトピックを研究対象とする明示的な文脈を学習する手法を提案する。
実験の結果,既存手法と比較して精度が向上した。
この新しいアプローチは、過去2年でトップレベルのカンファレンスで成功している。
論文 参考訳（メタデータ） (2022-11-08T12:18:02Z) - Tradeoffs in Preventing Manipulation in Paper Bidding for Reviewer
Assignment [89.38213318211731]
入札の利点にもかかわらず、紙入札への依存は、悪意のあるレビュアーが非倫理的な目的のために紙の割り当てを操作できるようにする。
この操作を防ぐためのいくつかの異なるアプローチが提案され、デプロイされている。
本稿では,入札操作に対処するアルゴリズムが満足すべき特定の望ましい特性を列挙する。
論文 参考訳（メタデータ） (2022-07-22T19:58:17Z) - A Dataset on Malicious Paper Bidding in Peer Review [84.68308372858755]
悪意あるレビュアーは、紙の割り当てを非倫理的に操作するために戦略的に入札した。
この問題を緩和するための方法の作成と評価への重要な障害は、悪意ある紙入札に関する公開データの欠如である。
我々は、参加者に正直に、悪意的に入札するよう指示されたモックカンファレンス活動から収集された、新しいデータセットをリリースする。
論文 参考訳（メタデータ） (2022-06-24T20:23:33Z) - Ranking Scientific Papers Using Preference Learning [48.78161994501516]
我々はこれをピアレビューテキストとレビュアースコアに基づく論文ランキング問題とみなした。
ピアレビューに基づいて最終決定を行うための,新しい多面的総合評価フレームワークを提案する。
論文 参考訳（メタデータ） (2021-09-02T19:41:47Z) - Making Paper Reviewing Robust to Bid Manipulation Attacks [44.34601846490532]
逸話的な証拠は、一部のレビュアーが「友人」あるいは「衝突する著者」による論文の入札を行ったことを示唆している。
我々は、そのような攻撃に対してより堅牢な、紙入札と割当てのための新しいアプローチを開発する。
より堅牢であることに加えて、論文レビューの課題の質は、現在の非ロバストな課題のアプローチに匹敵する。
論文 参考訳（メタデータ） (2021-02-09T21:24:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。