論文の概要: Blended PC Peer Review Model: Process and Reflection
- arxiv url: http://arxiv.org/abs/2504.19105v1
- Date: Sun, 27 Apr 2025 04:45:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-02 19:15:54.135899
- Title: Blended PC Peer Review Model: Process and Reflection
- Title（参考訳）: ブレンドPCピアレビューモデル:プロセスとリフレクション
- Authors: Chakkrit Tantithamthavorn, Nicole Novielli, Ayushi Rastogi, Olga Baysal, Bram Adams,
- Abstract要約: The International Conference on Mining Software Repositories (MSR) 2025は、その技術トラックにBlended Program Committee (PC)ピアレビューモデルを導入した。
本稿では,モデルに対する理論的根拠,実装,考察について述べる。
本研究は, レビューア不足を緩和し, インクリシティを向上し, 高品質なピアレビュープロセスを維持するためのジュニアPCの可能性を明らかにするものである。
- 参考スコア（独自算出の注目度）: 12.91610113966584
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The academic peer review system is under increasing pressure due to a growing volume of submissions and a limited pool of available reviewers, resulting in delayed decisions and an uneven distribution of reviewing responsibilities. To address this challenge, the International Conference on Mining Software Repositories (MSR) 2025 introduced a Blended Program Committee (PC) peer review model for its Technical Track. Building upon the community's earlier experience with the Shadow PC (2021 and 2022) and Junior PC (2023 and 2024), the new model pairs up one Junior PC member with two regular PC members as part of the core review team of a given paper, instead of adding them as an extra reviewer. This paper presents the rationale, implementation, and reflections on the model, including insights from a post-review author survey evaluating the quality and usefulness of reviews. Our findings highlight the potential of Junior PCs to alleviate reviewer shortages, foster inclusivity, and sustain a high-quality peer review process. We offer lessons learned and recommendations to guide future adoption and refinement of the model.
- Abstract（参考訳）: アカデミック・ピア・レビュー・システムは、提出数の増加と利用可能なレビュアーのプールの制限により圧力が増し、決定が遅れ、レビュー責任の不均一な分散が発生している。
この課題に対処するため、International Conference on Mining Software Repositories (MSR) 2025は、技術トラックのためのBlended Program Committee (PC)ピアレビューモデルを導入した。
シャドウPC(2021年と2022年)とジュニアPC(2023年と2024年)とのコミュニティの初期の経験に基づいて、新しいモデルでは、余分なレビュアーとして追加するのではなく、ある論文のコアレビューチームの一部として、2人の定期的なPCメンバーと1人のジュニアPCメンバーをペアにしている。
本稿では,レビューの質と有用性を評価するポストレビュー著者調査から得られた知見を含む,モデルに対する理論的,実装的,考察について述べる。
本研究は, レビューア不足を緩和し, インクリシティを向上し, 高品質なピアレビュープロセスを維持するためのジュニアPCの可能性を明らかにするものである。
私たちは、モデルの採用と改良をガイドするために、学んだ教訓とレコメンデーションを提供します。
関連論文リスト
- Can LLM feedback enhance review quality? A randomized study of 20K reviews at ICLR 2025 [115.86204862475864]
Review Feedback Agentは、あいまいなコメント、コンテンツの誤解、レビュアーへの専門的でない発言に対する自動的なフィードバックを提供する。
ICLR 2025で大規模なランダム化制御研究として実装された。
フィードバックを受けたレビュアーの27%がレビューを更新し、エージェントからの12,000以上のフィードバック提案がレビュアーによって取り入れられた。
論文 参考訳（メタデータ） (2025-04-13T22:01:25Z) - Identifying Aspects in Peer Reviews [61.374437855024844]
我々は、ピアレビューのコーパスからきめ細かいアスペクトを抽出するデータ駆動型スキーマを開発した。
我々は、アスペクトを付加したピアレビューのデータセットを導入し、コミュニティレベルのレビュー分析にどのように使用できるかを示す。
論文 参考訳（メタデータ） (2025-04-09T14:14:42Z) - Analysis of the ICML 2023 Ranking Data: Can Authors' Opinions of Their Own Papers Assist Peer Review in Machine Learning? [52.00419656272129]
我々は2023年の国際機械学習会議(ICML)で実験を行った。
我々はそれぞれ2,592件の応募書を含む1,342件のランク付けを受けた。
著者によるランキングを用いて生のレビュースコアを校正するイソトニックメカニズムに注目した。
論文 参考訳（メタデータ） (2024-08-24T01:51:23Z) - A Literature Review of Literature Reviews in Pattern Analysis and Machine Intelligence [55.33653554387953]
パターン分析とマシンインテリジェンス(PAMI)は、情報の収集と断片化を目的とした多くの文献レビューにつながっている。
本稿では、PAMI分野におけるこれらの文献レビューの徹底的な分析について述べる。
1)PAMI文献レビューの構造的・統計的特徴は何か,(2)レビューの増大するコーパスを効率的にナビゲートするために研究者が活用できる戦略は何か,(3)AIが作成したレビューの利点と限界は人間によるレビューと比較するとどのようなものか,という3つの主要な研究課題に対処しようとする。
論文 参考訳（メタデータ） (2024-02-20T11:28:50Z) - When Reviewers Lock Horn: Finding Disagreement in Scientific Peer
Reviews [24.875901048855077]
本稿では,ある記事のレビュアー間での矛盾を自動的に識別する新しいタスクを紹介する。
我々の知識を最大限に活用するために、ピアレビュアー間での意見の不一致を自動的に識別する最初の試みを行う。
論文 参考訳（メタデータ） (2023-10-28T11:57:51Z) - Has the Machine Learning Review Process Become More Arbitrary as the
Field Has Grown? The NeurIPS 2021 Consistency Experiment [86.77085171670323]
2014年のNeurIPS実験では、2つの独立した委員会によって10%の会議の提出をレビューし、レビュープロセスにおけるランダム性を定量化した。
両委員会が論文の23%の勧告を受理・棄却することに反対し、審査プロセスがランダムに再実行された場合、2014年度の結果と一致して、受理された論文のリストの約半数が変更されることを観察する。
論文 参考訳（メタデータ） (2023-06-05T21:26:12Z) - NLPeer: A Unified Resource for the Computational Study of Peer Review [58.71736531356398]
NLPeer - 5万以上の論文と5つの異なる会場からの1万1千件のレビューレポートからなる、初めて倫理的にソースされたマルチドメインコーパス。
従来のピアレビューデータセットを拡張し、解析および構造化された論文表現、豊富なメタデータ、バージョニング情報を含む。
我々の研究は、NLPなどにおけるピアレビューの体系的、多面的、エビデンスに基づく研究への道のりをたどっている。
論文 参考訳（メタデータ） (2022-11-12T12:29:38Z) - Generating Summaries for Scientific Paper Review [29.12631698162247]
機械学習とNLPにおけるトップの会場への応募の増加は、レビュアーに過剰な負担を課す問題を引き起こしている。
レビュープロセスを支援する自動システムは、問題を改善するための解決策になり得る。
本稿では,学術論文の自動レビュー要約生成について検討する。
論文 参考訳（メタデータ） (2021-09-28T21:43:53Z) - Ranking Scientific Papers Using Preference Learning [48.78161994501516]
我々はこれをピアレビューテキストとレビュアースコアに基づく論文ランキング問題とみなした。
ピアレビューに基づいて最終決定を行うための,新しい多面的総合評価フレームワークを提案する。
論文 参考訳（メタデータ） (2021-09-02T19:41:47Z) - A Novice-Reviewer Experiment to Address Scarcity of Qualified Reviewers
in Large Conferences [35.24369486197371]
主要なAIカンファレンスから受け取った応募数の増加は、レビュープロセスの持続可能性に挑戦している。
我々は,大規模なカンファレンスにおけるレビュアーの資格不足に着目して,レビュアー採用の問題を考える。
大規模でトップクラスの機械学習カンファレンスであるICML 2020と合わせて、私たちの手順を通じて少数のレビュアーを募集し、ICMLレビュアーの一般人口と比較します。
論文 参考訳（メタデータ） (2020-11-30T17:48:55Z) - State-of-Art-Reviewing: A Radical Proposal to Improve Scientific
Publication [19.10668029301668]
State-Of-the-Art Review (SOAR)は、ピアレビューの'plug-and-play'代替として機能する新奇なレビューパイプラインである。
私たちのアプローチの核心は、レビュープロセスが多目的で、大規模に分散し、非常に高いレイテンシの最適化である、という解釈です。
論文 参考訳（メタデータ） (2020-03-31T17:58:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。