論文の概要: Paper Quality Assessment based on Individual Wisdom Metrics from Open Peer Review

• arxiv url: http://arxiv.org/abs/2501.13014v1
• Date: Wed, 22 Jan 2025 17:00:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-23 13:28:21.872229
• Title: Paper Quality Assessment based on Individual Wisdom Metrics from Open Peer Review
• Title（参考訳）: オープンピアレビューによる個人知名度に基づく紙品質評価
• Authors: Andrii Zahorodnii, Jasper J. F. van den Bosch, Ian Charest, Christopher Summerfield, Ila R. Fiete,
• Abstract要約: 本研究では,レビュアの品質を推定するオープンなボトムアッププロセスを通じて,科学的ピアレビューの精度と効率を向上させるためのデータ駆動フレームワークを提案する。 我々は,2つの主要な学術会議から開かれたピアレビューデータを分析し,レビュアー固有の品質スコアが紙の品質評価の信頼性を著しく向上することを示した。
• 参考スコア（独自算出の注目度）: 3.802113616844045
• License:
• Abstract: This study proposes a data-driven framework for enhancing the accuracy and efficiency of scientific peer review through an open, bottom-up process that estimates reviewer quality. Traditional closed peer review systems, while essential for quality control, are often slow, costly, and subject to biases that can impede scientific progress. Here, we introduce a method that evaluates individual reviewer reliability by quantifying agreement with community consensus scores and applying Bayesian weighting to refine paper quality assessments. We analyze open peer review data from two major scientific conferences, and demonstrate that reviewer-specific quality scores significantly improve the reliability of paper quality estimation. Perhaps surprisingly, we find that reviewer quality scores are unrelated to authorship quality. Our model incorporates incentive structures to recognize high-quality reviewers and encourage broader coverage of submitted papers, thereby mitigating the common "rich-get-richer" pitfall of social media. These findings suggest that open peer review, with mechanisms for estimating and incentivizing reviewer quality, offers a scalable and equitable alternative for scientific publishing, with potential to enhance the speed, fairness, and transparency of the peer review process.
• Abstract（参考訳）: 本研究では,レビュアの品質を推定するオープンなボトムアッププロセスを通じて,科学的ピアレビューの精度と効率を向上させるためのデータ駆動フレームワークを提案する。 従来のクローズド・ピア・レビューシステムは品質管理に欠かせないが、しばしば遅く、コストがかかり、科学的進歩を妨げるバイアスにさらされる。 本稿では,コミュニティのコンセンサススコアとの合意を定量化し,ベイズ重み付けを紙の品質評価に応用することにより,個々のレビュアーの信頼性を評価する手法を提案する。 我々は,2つの主要な学術会議から開かれたピアレビューデータを分析し,レビュアー固有の品質スコアが紙の品質評価の信頼性を著しく向上することを示した。 おそらく意外なことに、レビュアーの品質スコアは著者の品質とは無関係である。 本モデルでは,高品質なレビュアーを認識するインセンティブ構造を取り入れ,提出論文の広範な報道を促進することにより,ソーシャルメディアの「リッチ・ゲット・リッチ」な落とし穴を緩和する。 これらの結果は、オープンピアレビューは、レビューの質を推定し、インセンティブを与えるメカニズムを持ち、科学的出版にスケーラブルで公平な代替手段を提供し、ピアレビュープロセスのスピード、公正性、透明性を高める可能性があることを示唆している。

関連論文リスト

• Multi-Facet Counterfactual Learning for Content Quality Evaluation [48.73583736357489]
  コンテンツ品質評価の複数の側面を知覚する評価器を効率的に構築する枠組みを提案する。 我々は,コントラスト学習と教師付き学習に基づく共同学習戦略を活用し,評価者が異なる品質面を区別できるようにする。
  論文  参考訳（メタデータ） (2024-10-10T08:04:10Z)
• Analysis of the ICML 2023 Ranking Data: Can Authors' Opinions of Their Own Papers Assist Peer Review in Machine Learning? [52.00419656272129]
  我々は2023年の国際機械学習会議(ICML)で実験を行った。 我々はそれぞれ2,592件の応募書を含む1,342件のランク付けを受けた。 著者によるランキングを用いて生のレビュースコアを校正するイソトニックメカニズムに注目した。
  論文  参考訳（メタデータ） (2024-08-24T01:51:23Z)
• A Literature Review of Literature Reviews in Pattern Analysis and Machine Intelligence [55.33653554387953]
  パターン分析とマシンインテリジェンス(PAMI)は、情報の収集と断片化を目的とした多くの文献レビューにつながっている。 本稿では、PAMI分野におけるこれらの文献レビューの徹底的な分析について述べる。 1)PAMI文献レビューの構造的・統計的特徴は何か,(2)レビューの増大するコーパスを効率的にナビゲートするために研究者が活用できる戦略は何か,(3)AIが作成したレビューの利点と限界は人間によるレビューと比較するとどのようなものか,という3つの主要な研究課題に対処しようとする。
  論文  参考訳（メタデータ） (2024-02-20T11:28:50Z)
• Eliciting Honest Information From Authors Using Sequential Review [13.424398627546788]
  本稿では,著者からランキング情報を真に引き出すための逐次レビュー機構を提案する。 鍵となる考え方は、提供されたランキングに基づいて著者の論文をシーケンスでレビューし、前の論文のレビュースコアについて次の論文のレビューを条件付けることである。
  論文  参考訳（メタデータ） (2023-11-24T17:27:39Z)
• Consultation Checklists: Standardising the Human Evaluation of Medical Note Generation [58.54483567073125]
  本稿では,コンサルテーションチェックリストの評価を基礎として,客観性向上を目的としたプロトコルを提案する。 このプロトコルを用いた最初の評価研究において,アノテータ間合意の良好なレベルを観察した。
  論文  参考訳（メタデータ） (2022-11-17T10:54:28Z)
• Investigating Crowdsourcing Protocols for Evaluating the Factual Consistency of Summaries [59.27273928454995]
  要約に適用される現在の事前学習モデルは、ソーステキストを誤って表現したり、外部情報を導入したりする事実上の矛盾がちである。 評価ベースのLikertスケールとランキングベースのBest-Worst Scalingプロトコルを用いた,事実整合性のためのクラウドソーシング評価フレームワークを構築した。 ランキングベースのプロトコルは、データセット間の要約品質をより信頼性の高い尺度を提供するのに対して、Likertレーティングの信頼性はターゲットデータセットと評価設計に依存する。
  論文  参考訳（メタデータ） (2021-09-19T19:05:00Z)
• Ranking Scientific Papers Using Preference Learning [48.78161994501516]
  我々はこれをピアレビューテキストとレビュアースコアに基づく論文ランキング問題とみなした。 ピアレビューに基づいて最終決定を行うための,新しい多面的総合評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-02T19:41:47Z)
• Auctions and Peer Prediction for Academic Peer Review [11.413240461538589]
  本稿では,情報活用文学における最近の研究に基づく新しいピア予測機構 (H-DIPP) を提案する。 提出段階のオークションで得た収益は、審査段階におけるレビューの質に基づいてレビュアーに支払われる。
  論文  参考訳（メタデータ） (2021-08-27T23:47:15Z)
• Making Paper Reviewing Robust to Bid Manipulation Attacks [44.34601846490532]
  逸話的な証拠は、一部のレビュアーが「友人」あるいは「衝突する著者」による論文の入札を行ったことを示唆している。 我々は、そのような攻撃に対してより堅牢な、紙入札と割当てのための新しいアプローチを開発する。 より堅牢であることに加えて、論文レビューの課題の質は、現在の非ロバストな課題のアプローチに匹敵する。
  論文  参考訳（メタデータ） (2021-02-09T21:24:16Z)
• Debiasing Evaluations That are Biased by Evaluations [32.135315382120154]
  我々は、結果に関する情報が利用可能である場合に、評価における結果誘発バイアスを緩和する問題を考察する。 この順序制約の下で正規化最適化問題を解くことでデバイアス化手法を提案する。 また,適切な正規化量を適応的に選択するクロスバリデーション手法も提案する。
  論文  参考訳（メタデータ） (2020-12-01T18:20:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。