論文の概要: Paper Copilot: The Artificial Intelligence and Machine Learning Community Should Adopt a More Transparent and Regulated Peer Review Process

• arxiv url: http://arxiv.org/abs/2502.00874v1
• Date: Sun, 02 Feb 2025 18:58:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-05 15:06:17.681787
• Title: Paper Copilot: The Artificial Intelligence and Machine Learning Community Should Adopt a More Transparent and Regulated Peer Review Process
• Title（参考訳）: Paper Copilot: 人工知能と機械学習コミュニティは、より透明で規制されたピアレビュープロセスを採用するべきだ
• Authors: Jing Yang,
• Abstract要約: トップ層人工知能(AI)と機械学習(ML)カンファレンスへの応募の急速な増加により、多くの会場がクローズドからオープンなレビュープラットフォームに移行した。 一部はオープンなピアレビューを完全に受け入れており、プロセス全体を通してパブリックな可視性を実現している。 その他には、最終決定後のみレビューをリリースしたり、オープンなピアレビューシステムを使用してもレビューを非公開にしておくようなハイブリッドアプローチも採用されている。
• 参考スコア（独自算出の注目度）: 3.4840877804354236
• License:
• Abstract: The rapid growth of submissions to top-tier Artificial Intelligence (AI) and Machine Learning (ML) conferences has prompted many venues to transition from closed to open review platforms. Some have fully embraced open peer reviews, allowing public visibility throughout the process, while others adopt hybrid approaches, such as releasing reviews only after final decisions or keeping reviews private despite using open peer review systems. In this work, we analyze the strengths and limitations of these models, highlighting the growing community interest in transparent peer review. To support this discussion, we examine insights from Paper Copilot, a website launched two years ago to aggregate and analyze AI / ML conference data while engaging a global audience. The site has attracted over 200,000 early-career researchers, particularly those aged 18-34 from 177 countries, many of whom are actively engaged in the peer review process. Drawing on our findings, this position paper advocates for a more transparent, open, and well-regulated peer review aiming to foster greater community involvement and propel advancements in the field.
• Abstract（参考訳）: トップ層人工知能(AI)と機械学習(ML)カンファレンスへの応募の急速な増加により、多くの会場がクローズドなレビュープラットフォームからオープンなレビュープラットフォームへ移行した。 一部はオープンなピアレビューを完全に受け入れ、プロセス全体を通してパブリックな可視性を実現する一方で、最終決定後のみレビューをリリースしたり、オープンなピアレビューシステムを使用してもレビューを非公開にしたりといったハイブリッドなアプローチを採用する。 本研究では,これらのモデルの強みと限界を分析し,透明なピアレビューに対するコミュニティの関心の高まりを浮き彫りにする。 2年前にローンチしたPaper Copilotは、グローバルなオーディエンスを巻き込みながら、AI/MLカンファレンスのデータを収集し分析するためのWebサイトだ。 このサイトは、20万人以上のアーリーケア研究者、特に177カ国から18-34歳の研究者を惹きつけており、その多くはピアレビューのプロセスに積極的に関わっている。 本研究の成果をもとに,より透明で,オープンで,かつ,十分に規制されたピアレビューを提唱し,コミュニティの関与を高め,この分野の進歩を促進することを目的としている。

関連論文リスト

• Are We There Yet? Revealing the Risks of Utilizing Large Language Models in Scholarly Peer Review [66.73247554182376]
  大規模言語モデル(LLM)がピアレビューに統合された。 未確認のLLMの採用は、ピアレビューシステムの完全性に重大なリスクをもたらす。 5%のレビューを操作すれば、論文の12%が上位30%のランキングでその地位を失う可能性がある。
  論文  参考訳（メタデータ） (2024-12-02T16:55:03Z)
• Analysis of the ICML 2023 Ranking Data: Can Authors' Opinions of Their Own Papers Assist Peer Review in Machine Learning? [52.00419656272129]
  我々は2023年の国際機械学習会議(ICML)で実験を行った。 我々はそれぞれ2,592件の応募書を含む1,342件のランク付けを受けた。 著者によるランキングを用いて生のレビュースコアを校正するイソトニックメカニズムに注目した。
  論文  参考訳（メタデータ） (2024-08-24T01:51:23Z)
• AgentReview: Exploring Peer Review Dynamics with LLM Agents [13.826819101545926]
  本稿では,最初の大規模言語モデル(LLM)に基づくピアレビューシミュレーションフレームワークであるAgentReviewを紹介する。 本研究は、レビュアーの偏見による紙の判断の37.1%の顕著な変化を含む、重要な洞察を明らかにした。
  論文  参考訳（メタデータ） (2024-06-18T15:22:12Z)
• What Can Natural Language Processing Do for Peer Review? [173.8912784451817]
  現代の科学ではピアレビューが広く使われているが、それは難しく、時間がかかり、エラーを起こしやすい。 ピアレビューに関わるアーティファクトは大部分がテキストベースであるため、自然言語処理はレビューを改善する大きな可能性を秘めている。 筆者らは、原稿提出からカメラ対応リビジョンまでの各工程について詳述し、NLP支援の課題と機会について論じる。
  論文  参考訳（メタデータ） (2024-05-10T16:06:43Z)
• Decentralized Peer Review in Open Science: A Mechanism Proposal [0.0]
  本稿では,ピアレビューのためのコミュニティ所有・ガバナンスシステムを提案する。 本システムは,誤判定の可能性と影響を下げつつ,ピアレビューの品質とスピードを向上させることを目的としている。
  論文  参考訳（メタデータ） (2024-04-28T11:42:54Z)
• Monitoring AI-Modified Content at Scale: A Case Study on the Impact of ChatGPT on AI Conference Peer Reviews [51.453135368388686]
  本稿では,大規模言語モデル (LLM) によって実質的に修正あるいは生成される可能性のある大規模コーパスにおけるテキストの分数推定手法を提案する。 我々の最大可能性モデルは、専門家による参照テキストとAIによる参照テキストを利用して、コーパスレベルでの実世界のLLM使用を正確かつ効率的に検証する。
  論文  参考訳（メタデータ） (2024-03-11T21:51:39Z)
• When Reviewers Lock Horn: Finding Disagreement in Scientific Peer Reviews [24.875901048855077]
  本稿では,ある記事のレビュアー間での矛盾を自動的に識別する新しいタスクを紹介する。 我々の知識を最大限に活用するために、ピアレビュアー間での意見の不一致を自動的に識別する最初の試みを行う。
  論文  参考訳（メタデータ） (2023-10-28T11:57:51Z)
• Has the Machine Learning Review Process Become More Arbitrary as the Field Has Grown? The NeurIPS 2021 Consistency Experiment [86.77085171670323]
  2014年のNeurIPS実験では、2つの独立した委員会によって10%の会議の提出をレビューし、レビュープロセスにおけるランダム性を定量化した。 両委員会が論文の23%の勧告を受理・棄却することに反対し、審査プロセスがランダムに再実行された場合、2014年度の結果と一致して、受理された論文のリストの約半数が変更されることを観察する。
  論文  参考訳（メタデータ） (2023-06-05T21:26:12Z)
• Can We Automate Scientific Reviewing? [89.50052670307434]
  我々は、最先端自然言語処理(NLP)モデルを用いて、科学論文の第一パスピアレビューを生成する可能性について論じる。 我々は、機械学習領域で論文のデータセットを収集し、各レビューでカバーされているさまざまなコンテンツに注釈を付け、レビューを生成するために論文を取り込み、ターゲットの要約モデルを訓練する。 総合的な実験結果から、システム生成レビューは、人間によるレビューよりも、論文の多くの側面に触れる傾向にあることが示された。
  論文  参考訳（メタデータ） (2021-01-30T07:16:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。