論文の概要: Paper Quality Assessment based on Individual Wisdom Metrics from Open Peer Review

• arxiv url: http://arxiv.org/abs/2501.13014v1
• Date: Wed, 22 Jan 2025 17:00:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-23 13:28:21.872229
• Title: Paper Quality Assessment based on Individual Wisdom Metrics from Open Peer Review
• Title（参考訳）: オープンピアレビューによる個人知名度に基づく紙品質評価
• Authors: Andrii Zahorodnii, Jasper J. F. van den Bosch, Ian Charest, Christopher Summerfield, Ila R. Fiete,
• Abstract要約: 本研究では,レビュアの品質を推定するオープンなボトムアッププロセスを通じて,科学的ピアレビューの精度と効率を向上させるためのデータ駆動フレームワークを提案する。 我々は,2つの主要な学術会議から開かれたピアレビューデータを分析し,レビュアー固有の品質スコアが紙の品質評価の信頼性を著しく向上することを示した。
• 参考スコア（独自算出の注目度）: 3.802113616844045
• License:
• Abstract: This study proposes a data-driven framework for enhancing the accuracy and efficiency of scientific peer review through an open, bottom-up process that estimates reviewer quality. Traditional closed peer review systems, while essential for quality control, are often slow, costly, and subject to biases that can impede scientific progress. Here, we introduce a method that evaluates individual reviewer reliability by quantifying agreement with community consensus scores and applying Bayesian weighting to refine paper quality assessments. We analyze open peer review data from two major scientific conferences, and demonstrate that reviewer-specific quality scores significantly improve the reliability of paper quality estimation. Perhaps surprisingly, we find that reviewer quality scores are unrelated to authorship quality. Our model incorporates incentive structures to recognize high-quality reviewers and encourage broader coverage of submitted papers, thereby mitigating the common "rich-get-richer" pitfall of social media. These findings suggest that open peer review, with mechanisms for estimating and incentivizing reviewer quality, offers a scalable and equitable alternative for scientific publishing, with potential to enhance the speed, fairness, and transparency of the peer review process.
• Abstract（参考訳）: 本研究では,レビュアの品質を推定するオープンなボトムアッププロセスを通じて,科学的ピアレビューの精度と効率を向上させるためのデータ駆動フレームワークを提案する。 従来のクローズド・ピア・レビューシステムは品質管理に欠かせないが、しばしば遅く、コストがかかり、科学的進歩を妨げるバイアスにさらされる。 本稿では,コミュニティのコンセンサススコアとの合意を定量化し,ベイズ重み付けを紙の品質評価に応用することにより,個々のレビュアーの信頼性を評価する手法を提案する。 我々は,2つの主要な学術会議から開かれたピアレビューデータを分析し,レビュアー固有の品質スコアが紙の品質評価の信頼性を著しく向上することを示した。 おそらく意外なことに、レビュアーの品質スコアは著者の品質とは無関係である。 本モデルでは,高品質なレビュアーを認識するインセンティブ構造を取り入れ,提出論文の広範な報道を促進することにより,ソーシャルメディアの「リッチ・ゲット・リッチ」な落とし穴を緩和する。 これらの結果は、オープンピアレビューは、レビューの質を推定し、インセンティブを与えるメカニズムを持ち、科学的出版にスケーラブルで公平な代替手段を提供し、ピアレビュープロセスのスピード、公正性、透明性を高める可能性があることを示唆している。

関連論文リスト

• exHarmony: Authorship and Citations for Benchmarking the Reviewer Assignment Problem [11.763640675057076]
  明示的なラベルを必要とせずにレビュアー代入問題を評価するためのベンチマークデータセットを開発した。 従来の語彙マッチング、静的なニューラル埋め込み、文脈化されたニューラル埋め込みなど、さまざまな手法をベンチマークする。 本研究は,従来の手法が合理的に良好に機能する一方で,学術文献で訓練された文脈的埋め込みが最高の性能を示すことを示すものである。
  論文  参考訳（メタデータ） (2025-02-11T16:35:04Z)
• Generative Adversarial Reviews: When LLMs Become the Critic [1.2430809884830318]
  本稿では,LLMを利用したエージェントを利用して,忠実なピアレビュアーをシミュレートするジェネレーティブエージェントレビュアー(GAR)を紹介する。 このアプローチの中心は、グラフベースの原稿表現であり、コンテンツを凝縮し、情報を論理的に整理する。 本実験は,GARが人間レビュアーに対して,詳細なフィードバックと論文結果の予測を行う上で,相容れない性能を示すことを示した。
  論文  参考訳（メタデータ） (2024-12-09T06:58:17Z)
• Multi-Facet Counterfactual Learning for Content Quality Evaluation [48.73583736357489]
  コンテンツ品質評価の複数の側面を知覚する評価器を効率的に構築する枠組みを提案する。 我々は,コントラスト学習と教師付き学習に基づく共同学習戦略を活用し,評価者が異なる品質面を区別できるようにする。
  論文  参考訳（メタデータ） (2024-10-10T08:04:10Z)
• Analysis of the ICML 2023 Ranking Data: Can Authors' Opinions of Their Own Papers Assist Peer Review in Machine Learning? [52.00419656272129]
  我々は2023年の国際機械学習会議(ICML)で実験を行った。 我々はそれぞれ2,592件の応募書を含む1,342件のランク付けを受けた。 著者によるランキングを用いて生のレビュースコアを校正するイソトニックメカニズムに注目した。
  論文  参考訳（メタデータ） (2024-08-24T01:51:23Z)
• Eliciting Honest Information From Authors Using Sequential Review [13.424398627546788]
  本稿では,著者からランキング情報を真に引き出すための逐次レビュー機構を提案する。 鍵となる考え方は、提供されたランキングに基づいて著者の論文をシーケンスでレビューし、前の論文のレビュースコアについて次の論文のレビューを条件付けることである。
  論文  参考訳（メタデータ） (2023-11-24T17:27:39Z)
• How do Authors' Perceptions of their Papers Compare with Co-authors' Perceptions and Peer-review Decisions? [87.00095008723181]
  著者は論文の受理確率をおよそ3倍過大評価している。 女性作家は、男性作家よりも極端に高い(統計的に重要な)誤校正を示す。 受理された論文と受理された論文の回答者の少なくとも30%は、レビュープロセス後に自身の論文に対する認識が改善したと述べている。
  論文  参考訳（メタデータ） (2022-11-22T15:59:30Z)
• Consultation Checklists: Standardising the Human Evaluation of Medical Note Generation [58.54483567073125]
  本稿では,コンサルテーションチェックリストの評価を基礎として,客観性向上を目的としたプロトコルを提案する。 このプロトコルを用いた最初の評価研究において,アノテータ間合意の良好なレベルを観察した。
  論文  参考訳（メタデータ） (2022-11-17T10:54:28Z)
• Investigating Crowdsourcing Protocols for Evaluating the Factual Consistency of Summaries [59.27273928454995]
  要約に適用される現在の事前学習モデルは、ソーステキストを誤って表現したり、外部情報を導入したりする事実上の矛盾がちである。 評価ベースのLikertスケールとランキングベースのBest-Worst Scalingプロトコルを用いた,事実整合性のためのクラウドソーシング評価フレームワークを構築した。 ランキングベースのプロトコルは、データセット間の要約品質をより信頼性の高い尺度を提供するのに対して、Likertレーティングの信頼性はターゲットデータセットと評価設計に依存する。
  論文  参考訳（メタデータ） (2021-09-19T19:05:00Z)
• Ranking Scientific Papers Using Preference Learning [48.78161994501516]
  我々はこれをピアレビューテキストとレビュアースコアに基づく論文ランキング問題とみなした。 ピアレビューに基づいて最終決定を行うための,新しい多面的総合評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-02T19:41:47Z)
• Debiasing Evaluations That are Biased by Evaluations [32.135315382120154]
  我々は、結果に関する情報が利用可能である場合に、評価における結果誘発バイアスを緩和する問題を考察する。 この順序制約の下で正規化最適化問題を解くことでデバイアス化手法を提案する。 また,適切な正規化量を適応的に選択するクロスバリデーション手法も提案する。
  論文  参考訳（メタデータ） (2020-12-01T18:20:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。