論文の概要: Position: The AI Conference Peer Review Crisis Demands Author Feedback and Reviewer Rewards
- arxiv url: http://arxiv.org/abs/2505.04966v1
- Date: Thu, 08 May 2025 05:51:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-09 21:43:49.764693
- Title: Position: The AI Conference Peer Review Crisis Demands Author Feedback and Reviewer Rewards
- Title（参考訳）: AIカンファレンスのピアーレビューは著者のフィードバックとレビューのリワードを要求する
- Authors: Jaeho Kim, Yunseok Lee, Seulki Lee,
- Abstract要約: 本稿では,従来の一方向レビューシステムを双方向フィードバックループに変換する必要性を論じる。
著者はレビューの品質を評価し、レビュアーは正式な認定を受け、説明責任フレームワークを作成する。
- 参考スコア（独自算出の注目度）: 2.8239108914343305
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The peer review process in major artificial intelligence (AI) conferences faces unprecedented challenges with the surge of paper submissions (exceeding 10,000 submissions per venue), accompanied by growing concerns over review quality and reviewer responsibility. This position paper argues for the need to transform the traditional one-way review system into a bi-directional feedback loop where authors evaluate review quality and reviewers earn formal accreditation, creating an accountability framework that promotes a sustainable, high-quality peer review system. The current review system can be viewed as an interaction between three parties: the authors, reviewers, and system (i.e., conference), where we posit that all three parties share responsibility for the current problems. However, issues with authors can only be addressed through policy enforcement and detection tools, and ethical concerns can only be corrected through self-reflection. As such, this paper focuses on reforming reviewer accountability with systematic rewards through two key mechanisms: (1) a two-stage bi-directional review system that allows authors to evaluate reviews while minimizing retaliatory behavior, (2)a systematic reviewer reward system that incentivizes quality reviewing. We ask for the community's strong interest in these problems and the reforms that are needed to enhance the peer review process.
- Abstract（参考訳）: 大規模な人工知能(AI)カンファレンスにおけるピアレビューのプロセスは、レビュー品質やレビュー担当者の責任に対する懸念が高まり、論文の提出が急増する(会場当たり1万件を超える)ことで、前例のない課題に直面している。
本稿では、従来の片道レビューシステムを双方向のフィードバックループに変換する必要性を論じ、レビュー品質を評価し、レビュアーが正式な認定を受け、持続可能な高品質なピアレビューシステムを促進するための説明責任フレームワークを作成する。
現在のレビューシステムは、著者、レビュアー、システム(すなわち会議)の3つの当事者間の相互作用と見なすことができる。
しかし、著者との問題は政策執行や検知ツールによってのみ対処でき、倫理的懸念は自己回帰によってのみ修正できる。
そこで本論文は,(1)報復行動を最小化しながらレビューを評価できる2段階の双方向レビューシステム,(2)品質レビューのインセンティブを付与する体系的なレビュアー報酬システム,という2つの主要なメカニズムを通じて,レビュアーのアカウンタビリティを体系的に改善することに焦点を当てた。
我々は、これらの問題に対するコミュニティの強い関心と、ピアレビュープロセスを強化するために必要な改革を求める。
関連論文リスト
- Identifying Aspects in Peer Reviews [61.374437855024844]
我々は、ピアレビューのコーパスからきめ細かいアスペクトを抽出するデータ駆動型スキーマを開発した。
我々は、アスペクトを付加したピアレビューのデータセットを導入し、コミュニティレベルのレビュー分析にどのように使用できるかを示す。
論文 参考訳（メタデータ） (2025-04-09T14:14:42Z) - Understanding and Supporting Peer Review Using AI-reframed Positive Summary [18.686807993563168]
本研究は,筆記作業のピアレビューに自動生成された肯定的な要約を付加することの影響について検討した。
さもなくば過酷なフィードバックにAIを再構成した肯定的な要約を加えると、著者の批判的受け入れが増大することがわかった。
我々は、ピアフィードバックにおけるAIの利用の意味について論じ、それが批判的受容にどのように影響するかに注目し、研究コミュニティを支援する。
論文 参考訳（メタデータ） (2025-03-13T11:22:12Z) - Paper Quality Assessment based on Individual Wisdom Metrics from Open Peer Review [3.802113616844045]
本研究では,レビュアの品質を推定するオープンなボトムアッププロセスを通じて,科学的ピアレビューの精度と効率を向上させるためのデータ駆動フレームワークを提案する。
我々は,2つの主要な学術会議から開かれたピアレビューデータを分析し,レビュアー固有の品質スコアが紙の品質評価の信頼性を著しく向上することを示した。
論文 参考訳（メタデータ） (2025-01-22T17:00:27Z) - DecentPeeR: A Self-Incentivised & Inclusive Decentralized Peer Review System [11.477670199123335]
我々のシステムであるDecentPeeRは、レビュアーにルールに従って振舞うインセンティブを与える。
論文 参考訳（メタデータ） (2024-11-13T09:13:16Z) - Analysis of the ICML 2023 Ranking Data: Can Authors' Opinions of Their Own Papers Assist Peer Review in Machine Learning? [52.00419656272129]
我々は2023年の国際機械学習会議(ICML)で実験を行った。
我々はそれぞれ2,592件の応募書を含む1,342件のランク付けを受けた。
著者によるランキングを用いて生のレビュースコアを校正するイソトニックメカニズムに注目した。
論文 参考訳（メタデータ） (2024-08-24T01:51:23Z) - Rethinking the Evaluation of Dialogue Systems: Effects of User Feedback on Crowdworkers and LLMs [57.16442740983528]
アドホック検索では、評価は暗黙のフィードバックを含むユーザーの行動に大きく依存する。
アノテータの会話知覚におけるターン評価におけるユーザフィードバックの役割はほとんど研究されていない。
本稿では,タスク指向対話システム(TDS)の評価が,ターンのフォローアップ発話を通じて提供されるユーザフィードバック,明示的あるいは暗黙的な評価にどのように影響するかに注目した。
論文 参考訳（メタデータ） (2024-04-19T16:45:50Z) - How do Authors' Perceptions of their Papers Compare with Co-authors'
Perceptions and Peer-review Decisions? [87.00095008723181]
著者は論文の受理確率をおよそ3倍過大評価している。
女性作家は、男性作家よりも極端に高い(統計的に重要な)誤校正を示す。
受理された論文と受理された論文の回答者の少なくとも30%は、レビュープロセス後に自身の論文に対する認識が改善したと述べている。
論文 参考訳（メタデータ） (2022-11-22T15:59:30Z) - Ranking Scientific Papers Using Preference Learning [48.78161994501516]
我々はこれをピアレビューテキストとレビュアースコアに基づく論文ランキング問題とみなした。
ピアレビューに基づいて最終決定を行うための,新しい多面的総合評価フレームワークを提案する。
論文 参考訳（メタデータ） (2021-09-02T19:41:47Z) - Auctions and Peer Prediction for Academic Peer Review [11.413240461538589]
本稿では,情報活用文学における最近の研究に基づく新しいピア予測機構 (H-DIPP) を提案する。
提出段階のオークションで得た収益は、審査段階におけるレビューの質に基づいてレビュアーに支払われる。
論文 参考訳（メタデータ） (2021-08-27T23:47:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。