論文の概要: The ICML 2023 Ranking Experiment: Examining Author Self-Assessment in ML/AI Peer Review

• arxiv url: http://arxiv.org/abs/2408.13430v2
• Date: Sun, 18 May 2025 01:26:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-20 14:57:10.218937
• Title: The ICML 2023 Ranking Experiment: Examining Author Self-Assessment in ML/AI Peer Review
• Title（参考訳）: ICML 2023ランキング実験:ML/AIピアレビューにおける著者の自己評価
• Authors: Buxin Su, Jiayao Zhang, Natalie Collina, Yuling Yan, Didong Li, Kyunghyun Cho, Jianqing Fan, Aaron Roth, Weijie Su,
• Abstract要約: 著者が提供するランキングは、機械学習カンファレンスでのピアレビュープロセスを改善するために利用することができる。 著者が提示したランキングを用いて生のレビュースコアを校正するイソトニックメカニズムに注目した。 本稿では,アイソトニック機構の慎重かつリスクの低いいくつかの応用と著者が提案する格付けをピアレビューで提案する。
• 参考スコア（独自算出の注目度）: 36.74806978149457
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We conducted an experiment during the review process of the 2023 International Conference on Machine Learning (ICML), asking authors with multiple submissions to rank their papers based on perceived quality. In total, we received 1,342 rankings, each from a different author, covering 2,592 submissions. In this paper, we present an empirical analysis of how author-provided rankings could be leveraged to improve peer review processes at machine learning conferences. We focus on the Isotonic Mechanism, which calibrates raw review scores using the author-provided rankings. Our analysis shows that these ranking-calibrated scores outperform the raw review scores in estimating the ground truth ``expected review scores'' in terms of both squared and absolute error metrics. Furthermore, we propose several cautious, low-risk applications of the Isotonic Mechanism and author-provided rankings in peer review, including supporting senior area chairs in overseeing area chairs' recommendations, assisting in the selection of paper awards, and guiding the recruitment of emergency reviewers.
• Abstract（参考訳）: 我々は,2023年のICML(International Conference on Machine Learning)のレビュープロセスにおいて,複数の論文を提出した著者に対して,認識された品質に基づいて,論文のランク付けを依頼する実験を行った。 合計で1,342名、それぞれ別の著者から2,592名が応募された。 本稿では、著者が提供するランキングをどのように活用して、機械学習会議におけるピアレビュープロセスを改善できるかを実証分析する。 著者が提示したランキングを用いて生のレビュースコアを校正するイソトニックメカニズムに注目した。 分析の結果,これらのスコアは,2乗検定と絶対検定の両点から「予測検定検定検定検定検定検定検定検定検定検定検定検定検定検定検定検定検定検定検定検定検定検定検定検定検定検定検定検定検定検定検定検定検定検定検定検定検定検定検定検定検定検定検定検定結果と検定検定検定検定検定検定検定検定検定検定検定検定検定検定検定検定検定検定検定検定検定検定検定検診の成績を比較した。 さらに,本論文では,地域椅子の推薦の監督,論文の選定の支援,緊急審査員の募集の指導など,アイソトニック・メカニズムの慎重かつ低リスクな適用と,著者による査定の実施について紹介する。

関連論文リスト

• Usefulness of LLMs as an Author Checklist Assistant for Scientific Papers: NeurIPS'24 Experiment [59.09144776166979]
  大規模言語モデル(LLM)は、科学的ピアレビューを支援する上で有望だが議論の余地のあるツールである。 本研究は,論文提出を提出基準に適合させるツールとして,会議環境におけるLCMの有用性を評価する。
  論文  参考訳（メタデータ） (2024-11-05T18:58:00Z)
• Monitoring AI-Modified Content at Scale: A Case Study on the Impact of ChatGPT on AI Conference Peer Reviews [51.453135368388686]
  本稿では,大規模言語モデル (LLM) によって実質的に修正あるいは生成される可能性のある大規模コーパスにおけるテキストの分数推定手法を提案する。 我々の最大可能性モデルは、専門家による参照テキストとAIによる参照テキストを利用して、コーパスレベルでの実世界のLLM使用を正確かつ効率的に検証する。
  論文  参考訳（メタデータ） (2024-03-11T21:51:39Z)
• Eliciting Honest Information From Authors Using Sequential Review [13.424398627546788]
  本稿では,著者からランキング情報を真に引き出すための逐次レビュー機構を提案する。 鍵となる考え方は、提供されたランキングに基づいて著者の論文をシーケンスでレビューし、前の論文のレビュースコアについて次の論文のレビューを条件付けることである。
  論文  参考訳（メタデータ） (2023-11-24T17:27:39Z)
• The Isotonic Mechanism for Exponential Family Estimation [31.542906034919977]
  2023年、ICML(International Conference on Machine Learning)は、複数の投稿者に対して、認識された品質に基づいて応募をランク付けするよう要求した。 本稿では,これらの著者別ランキングを用いて,機械学習および人工知能会議におけるピアレビューを強化することを目的とする。 このメカニズムは、著者特定ランキングに固執しながら、元のスコアと密接に一致した調整されたスコアを生成する。
  論文  参考訳（メタデータ） (2023-04-21T17:59:08Z)
• Investigating Fairness Disparities in Peer Review: A Language Model Enhanced Approach [77.61131357420201]
  我々は、大規模言語モデル(LM)の助けを借りて、ピアレビューにおける公平性格差の徹底した厳密な研究を行う。 我々は、2017年から現在までのICLR(International Conference on Learning Representations)カンファレンスで、包括的なリレーショナルデータベースを収集、組み立て、維持しています。 我々は、著作者性別、地理、著作者、機関的名声など、興味のある複数の保護属性に対する公平性の違いを仮定し、研究する。
  論文  参考訳（メタデータ） (2022-11-07T16:19:42Z)
• You Are the Best Reviewer of Your Own Papers: The Isotonic Mechanism [1.7741566627076264]
  ノイズレビュースコアの精度を高めるためにイソトニックメカニズムを導入する。 複数の論文を提出した著者は、評価された品質の順に論文をランク付けする必要がある。 調整されたスコアは 生のスコアよりも正確です
  論文  参考訳（メタデータ） (2022-06-14T14:35:53Z)
• Integrating Rankings into Quantized Scores in Peer Review [61.27794774537103]
  ピアレビューでは、レビュアーは通常、論文のスコアを提供するように求められます。 この問題を軽減するため、カンファレンスはレビュアーにレビューした論文のランキングを付加するように求め始めている。 このランキング情報を使用するための標準的な手順はなく、エリアチェアは異なる方法でそれを使用することができる。 我々は、ランキング情報をスコアに組み込むために、原則化されたアプローチを取る。
  論文  参考訳（メタデータ） (2022-04-05T19:39:13Z)
• Ranking Scientific Papers Using Preference Learning [48.78161994501516]
  我々はこれをピアレビューテキストとレビュアースコアに基づく論文ランキング問題とみなした。 ピアレビューに基づいて最終決定を行うための,新しい多面的総合評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-02T19:41:47Z)
• Analyzing the Machine Learning Conference Review Process [41.049292105761246]
  我々は、2017年から2020年にかけてICLRに提出された論文の総合的な研究を通じて、レビュープロセスを批判的に分析する。 本研究は, 紙の品質管理においても, 受否決定の制度的偏見が強いことを示唆する。 男女差の証拠は,女性作家が男性作家よりも低得点,受入率の低下,論文1紙あたりの引用率の低下がみられた。
  論文  参考訳（メタデータ） (2020-11-24T15:40:27Z)
• An Open Review of OpenReview: A Critical Analysis of the Machine Learning Conference Review Process [41.049292105761246]
  我々は、2017年から2020年にかけてICLRに提出された論文の総合的な研究を通じて、レビュープロセスを批判的に分析する。 本研究は, 紙の品質管理においても, 受否決定の制度的偏見が強いことを示唆する。 男女差の証拠は,女性作家が男性作家よりも低得点,受入率の低下,論文1紙あたりの引用率の低下がみられた。
  論文  参考訳（メタデータ） (2020-10-11T02:06:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。