論文の概要: Commitment Checklist: Auditing Author Commitments in Peer Review

• arxiv url: http://arxiv.org/abs/2603.00003v1
• Date: Thu, 08 Jan 2026 05:37:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-09 01:20:07.951343
• Title: Commitment Checklist: Auditing Author Commitments in Peer Review
• Title（参考訳）: Commitment Checklist: Auditing Author Commitments in Peer Review
• Authors: Chung-Chi Chen, Iryna Gurevych,
• Abstract要約: 本稿では,大規模言語モデル(LLM)を用いた著者のコミットメントの大規模監査を行い,カメラ対応バージョンとの比較を行う。 約束された変更の大多数が実装されているが、かなりのシェア(約25%)は提供されていない。 我々は、著者やオーガナイザに未承認の約束を通知する、著者コミットチェックリストのアイデアを提案する。
• 参考スコア（独自算出の注目度）: 55.67642089544162
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Peer review author responses often include commitments to add experiments, release code, or clarify content in the final paper. Yet, there is currently no systematic mechanism to ensure authors fulfill these promises. In this position paper, we present a large-scale audit of author commitments using large language models (LLMs) to compare rebuttals against camera-ready versions. Analyzing the commitments from ICLR-2025 and EMNLP-2024, we find that while a majority of promised changes are implemented, a significant share (about 25%) are not, with "missing experiments" and other high-impact items among the most frequently unfulfilled. We demonstrate that LLM-based tools can feasibly detect the promises. Finally, we propose the idea of Author Commitment Checklist, which would alert authors and organizers to unaddressed promises, increasing accountability and strengthening the integrity of the peer review process. We discuss the benefits of this practice and advocate for its adoption in future conferences.
• Abstract（参考訳）: ピアレビューの著者の回答には、実験の追加、コードのリリース、最終論文の内容の明確化などが含まれることが多い。 しかし、現時点では、著者がこれらの約束を果たすための体系的なメカニズムは存在しない。 本稿では,大規模言語モデル(LLM)を用いて,カメラ対応バージョンとの比較を行う。 ICLR-2025とEMNLP-2024のコミットメントを分析してみると、約束されている変更の大部分は実装されているが、大きなシェア(約25%)は達成されていない。 LLMベースのツールが約束を確実に検出できることを実証する。 最後に、著者やオーガナイザに未承認の約束を通知し、説明責任を高め、ピアレビュープロセスの整合性を強化する、著者コミットチェックリストを提案する。 我々は,このプラクティスのメリットについて議論し,今後のカンファレンスでの採用を提唱する。

関連論文リスト

• Recommending Best Paper Awards for ML/AI Conferences via the Isotonic Mechanism [10.746401441903174]
  著者支援機構を導入し,論文賞の選定を容易にする。 本手法では,著者の提出した論文に対する評価をアイソトニック・メカニズムを用いて抽出する。 実用関数が単に非減少かつ加法的である場合でも、真性は成り立つことを証明します。
  論文  参考訳（メタデータ） (2026-01-21T18:30:42Z)
• AI and the Future of Academic Peer Review [0.1622854284766506]
  大規模言語モデル(LLM)は、ジャーナリスト、資金提供者、個人レビュアーによってピアレビューパイプラインで試験されている。 初期の研究は、AIアシストが人間に匹敵する品質のレビューを作成できることを示唆している。 教師付きLDM支援は, 人間の判断を損なうことなく, エラー検出, タイムライン, レビューヤの作業量を改善することができることを示す。
  論文  参考訳（メタデータ） (2025-09-17T17:27:12Z)
• The AI Imperative: Scaling High-Quality Peer Review in Machine Learning [49.87236114682497]
  AIによるピアレビューは、緊急の研究とインフラの優先事項になるべきだ、と私たちは主張する。 我々は、事実検証の強化、レビュアーのパフォーマンスの指導、品質改善における著者の支援、意思決定におけるAC支援におけるAIの具体的な役割を提案する。
  論文  参考訳（メタデータ） (2025-06-09T18:37:14Z)
• Monitoring AI-Modified Content at Scale: A Case Study on the Impact of ChatGPT on AI Conference Peer Reviews [51.453135368388686]
  本稿では,大規模言語モデル (LLM) によって実質的に修正あるいは生成される可能性のある大規模コーパスにおけるテキストの分数推定手法を提案する。 我々の最大可能性モデルは、専門家による参照テキストとAIによる参照テキストを利用して、コーパスレベルでの実世界のLLM使用を正確かつ効率的に検証する。
  論文  参考訳（メタデータ） (2024-03-11T21:51:39Z)
• When Reviewers Lock Horn: Finding Disagreement in Scientific Peer Reviews [24.875901048855077]
  本稿では,ある記事のレビュアー間での矛盾を自動的に識別する新しいタスクを紹介する。 我々の知識を最大限に活用するために、ピアレビュアー間での意見の不一致を自動的に識別する最初の試みを行う。
  論文  参考訳（メタデータ） (2023-10-28T11:57:51Z)
• Has the Machine Learning Review Process Become More Arbitrary as the Field Has Grown? The NeurIPS 2021 Consistency Experiment [86.77085171670323]
  2014年のNeurIPS実験では、2つの独立した委員会によって10%の会議の提出をレビューし、レビュープロセスにおけるランダム性を定量化した。 両委員会が論文の23%の勧告を受理・棄却することに反対し、審査プロセスがランダムに再実行された場合、2014年度の結果と一致して、受理された論文のリストの約半数が変更されることを観察する。
  論文  参考訳（メタデータ） (2023-06-05T21:26:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。