論文の概要: From Authors to Reviewers: Leveraging Rankings to Improve Peer Review
- arxiv url: http://arxiv.org/abs/2510.21726v1
- Date: Fri, 26 Sep 2025 19:16:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-03 05:35:45.928192
- Title: From Authors to Reviewers: Leveraging Rankings to Improve Peer Review
- Title（参考訳）: 著者からレビュアーへ - ランキングを活用してピアレビューを改善する
- Authors: Weichen Wang, Chengchun Shi,
- Abstract要約: 近年,機械学習(ML)カンファレンスのレビュー品質が懸念されている。
本稿では,著者ではなくレビュアーからのランキング情報を活用するアプローチを提案する。
その結果, (i)レビュアーからの情報を取り入れたランキングは, 各論文の品質評価を著しく向上させることができ, 著者のみによるランキング情報の利用よりも優れていることがわかった。
- 参考スコア（独自算出の注目度）: 10.541357028178831
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper is a discussion of the 2025 JASA discussion paper by Su et al. (2025). We would like to congratulate the authors on conducting a comprehensive and insightful empirical investigation of the 2023 ICML ranking data. The review quality of machine learning (ML) conferences has become a big concern in recent years, due to the rapidly growing number of submitted manuscripts. In this discussion, we propose an approach alternative to Su et al. (2025) that leverages ranking information from reviewers rather than authors. We simulate review data that closely mimics the 2023 ICML conference submissions. Our results show that (i) incorporating ranking information from reviewers can significantly improve the evaluation of each paper's quality, often outperforming the use of ranking information from authors alone; and (ii) combining ranking information from both reviewers and authors yields the most accurate evaluation of submitted papers in most scenarios.
- Abstract（参考訳）: この論文は、Su et al (2025)による2025年のJASA議論論文の議論である。
我々は,2023年のICMLランキングデータについて,包括的かつ洞察に富んだ実証調査を行うことを,著者たちに祝福したい。
機械学習(ML)カンファレンスのレビュー品質は、提出された原稿が急速に増えているため、近年大きな関心を集めている。
本稿では,著者ではなくレビュアーからのランキング情報を活用するSu et al(2025)に代わるアプローチを提案する。
我々は、2023年のICMLカンファレンスの提出を忠実に再現したレビューデータをシミュレートする。
私たちの結果は
一 審査員の格付け情報を取り入れることにより、各紙の品質の評価を大幅に改善することができ、しばしば著者の格付け情報の使用に勝る。
(二)レビュアーと著者のランキング情報を組み合わせることで、ほとんどのシナリオにおいて提出された論文の最も正確な評価が得られる。
関連論文リスト
- The ICML 2023 Ranking Experiment: Examining Author Self-Assessment in ML/AI Peer Review [49.43514488610211]
著者が提供するランキングは、機械学習カンファレンスでのピアレビュープロセスを改善するために利用することができる。
著者が提示したランキングを用いて生のレビュースコアを校正するイソトニックメカニズムに注目した。
本稿では,アイソトニック機構の慎重かつリスクの低いいくつかの応用と著者が提案する格付けをピアレビューで提案する。
論文 参考訳（メタデータ） (2024-08-24T01:51:23Z) - Monitoring AI-Modified Content at Scale: A Case Study on the Impact of ChatGPT on AI Conference Peer Reviews [51.453135368388686]
本稿では,大規模言語モデル (LLM) によって実質的に修正あるいは生成される可能性のある大規模コーパスにおけるテキストの分数推定手法を提案する。
我々の最大可能性モデルは、専門家による参照テキストとAIによる参照テキストを利用して、コーパスレベルでの実世界のLLM使用を正確かつ効率的に検証する。
論文 参考訳（メタデータ） (2024-03-11T21:51:39Z) - Has the Machine Learning Review Process Become More Arbitrary as the
Field Has Grown? The NeurIPS 2021 Consistency Experiment [86.77085171670323]
2014年のNeurIPS実験では、2つの独立した委員会によって10%の会議の提出をレビューし、レビュープロセスにおけるランダム性を定量化した。
両委員会が論文の23%の勧告を受理・棄却することに反対し、審査プロセスがランダムに再実行された場合、2014年度の結果と一致して、受理された論文のリストの約半数が変更されることを観察する。
論文 参考訳（メタデータ） (2023-06-05T21:26:12Z) - Matching Papers and Reviewers at Large Conferences [25.79501640609188]
本稿では,AAAI第35回AI会議(AAAI 2021)で最近実施されたレビュアーとペーパーのマッチング手法について検討する。
本手法は,(1)問題のあるマッチングを識別し,レビュア紙スコアを生成するための入力データの収集と処理,(2)優れたレビュア紙マッチングを見つけるための最適化問題の定式化と解決,(3)拒絶される可能性のある論文から決定境界に近い論文へリソースを移行させる新たな2段階レビュープロセスの導入,の3つの要素を有する。
論文 参考訳（メタデータ） (2022-02-24T18:13:43Z) - Ranking Scientific Papers Using Preference Learning [48.78161994501516]
我々はこれをピアレビューテキストとレビュアースコアに基づく論文ランキング問題とみなした。
ピアレビューに基づいて最終決定を行うための,新しい多面的総合評価フレームワークを提案する。
論文 参考訳（メタデータ） (2021-09-02T19:41:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。