論文の概要: Analysis of the ICML 2023 Ranking Data: Can Authors' Opinions of Their Own Papers Assist Peer Review in Machine Learning?
- arxiv url: http://arxiv.org/abs/2408.13430v1
- Date: Sat, 24 Aug 2024 01:51:23 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-27 19:39:20.362185
- Title: Analysis of the ICML 2023 Ranking Data: Can Authors' Opinions of Their Own Papers Assist Peer Review in Machine Learning?
- Title（参考訳）: ICML 2023ランキングデータの分析: 著者の自身の論文に対する意見は機械学習におけるピアレビューに役立つか?
- Authors: Buxin Su, Jiayao Zhang, Natalie Collina, Yuling Yan, Didong Li, Kyunghyun Cho, Jianqing Fan, Aaron Roth, Weijie J. Su,
- Abstract要約: 我々は2023年の国際機械学習会議(ICML)で実験を行った。
我々はそれぞれ2,592件の応募書を含む1,342件のランク付けを受けた。
著者によるランキングを用いて生のレビュースコアを校正するイソトニックメカニズムに注目した。
- 参考スコア（独自算出の注目度）: 52.00419656272129
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We conducted an experiment during the review process of the 2023 International Conference on Machine Learning (ICML) that requested authors with multiple submissions to rank their own papers based on perceived quality. We received 1,342 rankings, each from a distinct author, pertaining to 2,592 submissions. In this paper, we present an empirical analysis of how author-provided rankings could be leveraged to improve peer review processes at machine learning conferences. We focus on the Isotonic Mechanism, which calibrates raw review scores using author-provided rankings. Our analysis demonstrates that the ranking-calibrated scores outperform raw scores in estimating the ground truth ``expected review scores'' in both squared and absolute error metrics. Moreover, we propose several cautious, low-risk approaches to using the Isotonic Mechanism and author-provided rankings in peer review processes, including assisting senior area chairs' oversight of area chairs' recommendations, supporting the selection of paper awards, and guiding the recruitment of emergency reviewers. We conclude the paper by addressing the study's limitations and proposing future research directions.
- Abstract（参考訳）: 我々は2023年のICML(International Conference on Machine Learning)のレビュープロセスにおいて、著者に複数の論文を提出し、評価された品質に基づいて論文のランク付けを依頼する実験を行った。
我々はそれぞれ2,592件の応募書を含む1,342件のランク付けを受けた。
本稿では、著者が提供するランキングをどのように活用して、機械学習会議におけるピアレビュープロセスを改善できるかを実証分析する。
著者によるランキングを用いて生のレビュースコアを校正するイソトニックメカニズムに注目した。
分析の結果,2乗と絶対誤差の両測定値において,評価値が生のスコアを上回っていることが判明した。
また,高齢者のエリアチェアの推薦を監督する,論文の選定を支援する,緊急審査員の募集を指導するなど,アイソトニック・メカニズムと著者による査定プロセスにおけるランク付けに用いた慎重でリスクの低いアプローチをいくつか提案する。
論文は,研究の限界に対処し,今後の研究方向性を提案することで締めくくっている。
関連論文リスト
- Usefulness of LLMs as an Author Checklist Assistant for Scientific Papers: NeurIPS'24 Experiment [59.09144776166979]
大規模言語モデル(LLM)は、科学的ピアレビューを支援する上で有望だが議論の余地のあるツールである。
本研究は,論文提出を提出基準に適合させるツールとして,会議環境におけるLCMの有用性を評価する。
論文 参考訳（メタデータ） (2024-11-05T18:58:00Z) - Monitoring AI-Modified Content at Scale: A Case Study on the Impact of ChatGPT on AI Conference Peer Reviews [51.453135368388686]
本稿では,大規模言語モデル (LLM) によって実質的に修正あるいは生成される可能性のある大規模コーパスにおけるテキストの分数推定手法を提案する。
我々の最大可能性モデルは、専門家による参照テキストとAIによる参照テキストを利用して、コーパスレベルでの実世界のLLM使用を正確かつ効率的に検証する。
論文 参考訳（メタデータ） (2024-03-11T21:51:39Z) - Eliciting Honest Information From Authors Using Sequential Review [13.424398627546788]
本稿では,著者からランキング情報を真に引き出すための逐次レビュー機構を提案する。
鍵となる考え方は、提供されたランキングに基づいて著者の論文をシーケンスでレビューし、前の論文のレビュースコアについて次の論文のレビューを条件付けることである。
論文 参考訳（メタデータ） (2023-11-24T17:27:39Z) - The Isotonic Mechanism for Exponential Family Estimation [31.542906034919977]
2023年、ICML(International Conference on Machine Learning)は、複数の投稿者に対して、認識された品質に基づいて応募をランク付けするよう要求した。
本稿では,これらの著者別ランキングを用いて,機械学習および人工知能会議におけるピアレビューを強化することを目的とする。
このメカニズムは、著者特定ランキングに固執しながら、元のスコアと密接に一致した調整されたスコアを生成する。
論文 参考訳（メタデータ） (2023-04-21T17:59:08Z) - Investigating Fairness Disparities in Peer Review: A Language Model
Enhanced Approach [77.61131357420201]
我々は、大規模言語モデル(LM)の助けを借りて、ピアレビューにおける公平性格差の徹底した厳密な研究を行う。
我々は、2017年から現在までのICLR(International Conference on Learning Representations)カンファレンスで、包括的なリレーショナルデータベースを収集、組み立て、維持しています。
我々は、著作者性別、地理、著作者、機関的名声など、興味のある複数の保護属性に対する公平性の違いを仮定し、研究する。
論文 参考訳（メタデータ） (2022-11-07T16:19:42Z) - Integrating Rankings into Quantized Scores in Peer Review [61.27794774537103]
ピアレビューでは、レビュアーは通常、論文のスコアを提供するように求められます。
この問題を軽減するため、カンファレンスはレビュアーにレビューした論文のランキングを付加するように求め始めている。
このランキング情報を使用するための標準的な手順はなく、エリアチェアは異なる方法でそれを使用することができる。
我々は、ランキング情報をスコアに組み込むために、原則化されたアプローチを取る。
論文 参考訳（メタデータ） (2022-04-05T19:39:13Z) - Ranking Scientific Papers Using Preference Learning [48.78161994501516]
我々はこれをピアレビューテキストとレビュアースコアに基づく論文ランキング問題とみなした。
ピアレビューに基づいて最終決定を行うための,新しい多面的総合評価フレームワークを提案する。
論文 参考訳（メタデータ） (2021-09-02T19:41:47Z) - Analyzing the Machine Learning Conference Review Process [41.049292105761246]
我々は、2017年から2020年にかけてICLRに提出された論文の総合的な研究を通じて、レビュープロセスを批判的に分析する。
本研究は, 紙の品質管理においても, 受否決定の制度的偏見が強いことを示唆する。
男女差の証拠は,女性作家が男性作家よりも低得点,受入率の低下,論文1紙あたりの引用率の低下がみられた。
論文 参考訳（メタデータ） (2020-11-24T15:40:27Z) - An Open Review of OpenReview: A Critical Analysis of the Machine
Learning Conference Review Process [41.049292105761246]
我々は、2017年から2020年にかけてICLRに提出された論文の総合的な研究を通じて、レビュープロセスを批判的に分析する。
本研究は, 紙の品質管理においても, 受否決定の制度的偏見が強いことを示唆する。
男女差の証拠は,女性作家が男性作家よりも低得点,受入率の低下,論文1紙あたりの引用率の低下がみられた。
論文 参考訳（メタデータ） (2020-10-11T02:06:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。