論文の概要: Eliciting Honest Information From Authors Using Sequential Review

• arxiv url: http://arxiv.org/abs/2311.14619v1
• Date: Fri, 24 Nov 2023 17:27:39 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-30 09:47:40.178344
• Title: Eliciting Honest Information From Authors Using Sequential Review
• Title（参考訳）: 逐次的レビューを用いた著者の正直な情報抽出
• Authors: Yichi Zhang, Grant Schoenebeck, Weijie Su
• Abstract要約: 本稿では,著者からランキング情報を真に引き出すための逐次レビュー機構を提案する。 鍵となる考え方は、提供されたランキングに基づいて著者の論文をシーケンスでレビューし、前の論文のレビュースコアについて次の論文のレビューを条件付けることである。
• 参考スコア（独自算出の注目度）: 13.424398627546788
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In the setting of conference peer review, the conference aims to accept high-quality papers and reject low-quality papers based on noisy review scores. A recent work proposes the isotonic mechanism, which can elicit the ranking of paper qualities from an author with multiple submissions to help improve the conference's decisions. However, the isotonic mechanism relies on the assumption that the author's utility is both an increasing and a convex function with respect to the review score, which is often violated in peer review settings (e.g.~when authors aim to maximize the number of accepted papers). In this paper, we propose a sequential review mechanism that can truthfully elicit the ranking information from authors while only assuming the agent's utility is increasing with respect to the true quality of her accepted papers. The key idea is to review the papers of an author in a sequence based on the provided ranking and conditioning the review of the next paper on the review scores of the previous papers. Advantages of the sequential review mechanism include 1) eliciting truthful ranking information in a more realistic setting than prior work; 2) improving the quality of accepted papers, reducing the reviewing workload and increasing the average quality of papers being reviewed; 3) incentivizing authors to write fewer papers of higher quality.
• Abstract（参考訳）: 会議ピアレビューの設定では、質の高い論文を受け入れ、ノイズの多いレビュースコアに基づいて低品質の論文を拒絶することを目的としている。 最近の研究は、論文の質のランク付けを複数の提出者から引き出すことで、会議の意思決定を改善するためのイソトニックメカニズムを提案する。 しかしながら、等張的メカニズムは、査読スコアに関して著者の効用が増加および凸関数であるという仮定に依存しているが、これはピアレビュー設定でしばしば違反される(例えば、著者が受理された論文の数を最大化しようとする場合)。 本稿では,本論文の真の品質に関してエージェントの有用性が向上していると仮定しながら,著者のランキング情報を真に導出できる逐次的レビュー機構を提案する。 鍵となる考え方は、提供されたランキングに基づいて著者の論文をシーケンスでレビューし、前の論文のレビュースコアについて次の論文のレビューを条件付けることである。 シーケンシャルレビューメカニズムの利点には 1) 先行業務よりも現実的な設定で真面目なランキング情報を引き出すこと。 2)受理された論文の品質の向上,審査作業の削減,審査対象論文の平均品質の向上。 3) 著者に質の高い論文を少なく書くようインセンティブを与える。

関連論文リスト

• Analysis of the ICML 2023 Ranking Data: Can Authors' Opinions of Their Own Papers Assist Peer Review in Machine Learning? [52.00419656272129]
  我々は2023年の国際機械学習会議(ICML)で実験を行った。 我々はそれぞれ2,592件の応募書を含む1,342件のランク付けを受けた。 著者によるランキングを用いて生のレビュースコアを校正するイソトニックメカニズムに注目した。
  論文  参考訳（メタデータ） (2024-08-24T01:51:23Z)
• CausalCite: A Causal Formulation of Paper Citations [80.82622421055734]
  CausalCiteは紙の意義を測定するための新しい方法だ。 これは、従来のマッチングフレームワークを高次元のテキスト埋め込みに適応させる、新しい因果推論手法であるTextMatchに基づいている。 科学専門家が報告した紙衝撃と高い相関性など,各種基準におけるCausalCiteの有効性を実証する。
  論文  参考訳（メタデータ） (2023-11-05T23:09:39Z)
• No more Reviewer #2: Subverting Automatic Paper-Reviewer Assignment using Adversarial Learning [25.70062566419791]
  この自動化は,逆学習を用いて操作可能であることを示す。 提案する攻撃は、与えられた論文に適応し、その課題を誤解させ、独自のレビュアーを選択する。
  論文  参考訳（メタデータ） (2023-03-25T11:34:27Z)
• How do Authors' Perceptions of their Papers Compare with Co-authors' Perceptions and Peer-review Decisions? [87.00095008723181]
  著者は論文の受理確率をおよそ3倍過大評価している。 女性作家は、男性作家よりも極端に高い(統計的に重要な)誤校正を示す。 受理された論文と受理された論文の回答者の少なくとも30%は、レビュープロセス後に自身の論文に対する認識が改善したと述べている。
  論文  参考訳（メタデータ） (2022-11-22T15:59:30Z)
• Integrating Rankings into Quantized Scores in Peer Review [61.27794774537103]
  ピアレビューでは、レビュアーは通常、論文のスコアを提供するように求められます。 この問題を軽減するため、カンファレンスはレビュアーにレビューした論文のランキングを付加するように求め始めている。 このランキング情報を使用するための標準的な手順はなく、エリアチェアは異なる方法でそれを使用することができる。 我々は、ランキング情報をスコアに組み込むために、原則化されたアプローチを取る。
  論文  参考訳（メタデータ） (2022-04-05T19:39:13Z)
• Ranking Scientific Papers Using Preference Learning [48.78161994501516]
  我々はこれをピアレビューテキストとレビュアースコアに基づく論文ランキング問題とみなした。 ピアレビューに基づいて最終決定を行うための,新しい多面的総合評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-02T19:41:47Z)
• Auctions and Peer Prediction for Academic Peer Review [11.413240461538589]
  本稿では,情報活用文学における最近の研究に基づく新しいピア予測機構 (H-DIPP) を提案する。 提出段階のオークションで得た収益は、審査段階におけるレビューの質に基づいてレビュアーに支払われる。
  論文  参考訳（メタデータ） (2021-08-27T23:47:15Z)
• Making Paper Reviewing Robust to Bid Manipulation Attacks [44.34601846490532]
  逸話的な証拠は、一部のレビュアーが「友人」あるいは「衝突する著者」による論文の入札を行ったことを示唆している。 我々は、そのような攻撃に対してより堅牢な、紙入札と割当てのための新しいアプローチを開発する。 より堅牢であることに加えて、論文レビューの課題の質は、現在の非ロバストな課題のアプローチに匹敵する。
  論文  参考訳（メタデータ） (2021-02-09T21:24:16Z)
• Hierarchical Bi-Directional Self-Attention Networks for Paper Review Rating Recommendation [81.55533657694016]
  本稿では,階層型双方向自己注意ネットワークフレームワーク(HabNet)を提案する。 具体的には、文エンコーダ(レベル1)、レビュー内エンコーダ(レベル2)、レビュー間エンコーダ(レベル3)の3つのレベルで、論文レビューの階層構造を利用する。 我々は、最終的な受理決定を行う上で有用な予測者を特定することができ、また、数値的なレビュー評価とレビュアーが伝えるテキストの感情の不整合を発見するのに役立てることができる。
  論文  参考訳（メタデータ） (2020-11-02T08:07:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。