論文の概要: Can AI Reviewers See Your Efforts to Improve Your Paper? A Large-Scale Study of Paper Revision Trajectories

• arxiv url: http://arxiv.org/abs/2611.02244v1
• Date: Sun, 01 Nov 2026 22:06:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-04 23:36:30.539466
• Title: Can AI Reviewers See Your Efforts to Improve Your Paper? A Large-Scale Study of Paper Revision Trajectories
• Title（参考訳）: AIレビュアーは、論文を改善するための努力を見ることができるか? 論文修正の軌道を大規模に研究する
• Abstract要約: 主要な改善は経験的証拠とフレーミングを強調する一方で、後の改訂は漸進的に改善する傾向にある。 すべてのレビュアーは、ほとんどの主要な改善についてスコアを変更せず、スコア変更の方向性に関する合意は弱くなります。 たとえリビジョンがより高い中立スコアを得たとしても、短いネガティブなユーザ意見は、その利点を消したり、逆にしたりすることができる。
• 参考スコア（独自算出の注目度）: 33.71204819605561
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: AI reviewers are increasingly used to assess scientific manuscripts, yet it remains unclear whether their judgments reflect the improvements authors make through revision. We investigate this question using PaperTrajectory-2026, the 2026 release of PaperTrajectory, a dataset of 6,959 paper trajectories across five AI conferences, with automatic annotations of changes along 14 dimensions and separate judgments of overall quality. The annotations show that major improvements emphasize empirical evidence and framing, while later revisions tend toward incremental improvement. Using independent assessments of manuscript versions from eight AI reviewers, we examine whether annotated major improvements receive higher scores, which revision dimensions are associated with score changes, and whether user opinions can outweigh observed revision gains. Every reviewer leaves scores unchanged on most major improvements, and agreement on the direction of score changes is weak. Revision dimensions show some reviewer-specific associations with score increases, but provide limited predictive discrimination and no consistent guide across reviewers. Even when a revision earns a higher neutral score, a brief negative user opinion can erase or reverse that advantage, with substantial variation across reviewers. These findings show that substantive revisions are not consistently reflected in review scores and that observed scoring gains can be vulnerable to user framing, motivating assessments that connect manuscript evidence to overall judgments and remain stable when no scientific evidence changes.
• Abstract（参考訳）: AIレビュアーは、科学写本の評価にますます使われているが、その判断が著者が改訂によって行う改善を反映しているかどうかは不明だ。 本研究では,5つのAIカンファレンスにおける6,959の論文トラジェクトリのデータセットであるPaperTrajectory-2026を2026年にリリースしたPaperTrajectory-2026を用いて,この問題を考察する。 アノテーションは、主要な改善が経験的証拠とフレーミングを強調する一方で、後続の改訂は漸進的な改善に向かう傾向があることを示している。 8人のAIレビュアーの原稿版を独立に評価することにより、注釈付きメジャー改善がより高いスコアを得られるか、どのリビジョン次元がスコアの変化と関連付けられているか、また、利用者の意見が観察されたリビジョンの利得を上回ることができるかを検討する。 すべてのレビュアーは、ほとんどの主要な改善についてスコアを変更せず、スコア変更の方向性に関する合意は弱くなります。 改訂次元は、スコアの増加に伴うレビュアー固有の関連を示すが、予測的差別は限定的であり、レビュアー間の一貫したガイドは提供されない。 たとえリビジョンがより高い中立スコアを得たとしても、短いネガティブなユーザー意見はその利点を消したり、逆にしたりすることができ、レビュアー間でかなりのバリエーションがある。 以上の結果から,評価結果の正当性は評価スコアに一定に反映されないことが示唆され,得られた評価値がユーザフレーミングに弱いことが示唆され,学術的証拠が変化しない場合には,原稿の証拠を全体判断に結び付け,安定した状態を維持するためのモチベーション評価が行われた。

関連論文リスト

• Can We Believe AI Peer Review? [20.813226720722003]
  ICLR 2025と2026の200論文と約14,000のAIレビューを用いて、スコア信頼性、スコア分布推定、リビジョンゲインに関するクロスモデル合意について検討した。 有限粒度スコアリングプロトコルはスコアのばらつきを低減させるが、平均スコアを体系的にシフトさせる一方、原稿リビジョンに割り当てられた利得はレビュアーに強く依存する。
  論文  参考訳（メタデータ） (2026-10-14T00:27:05Z)
• AppliedScientist: Automated Scientific Revision Through Iterative AI Reviewing [10.712519962597604]
  我々は、自律的なAI科学者とAIレビュアーを結合するクローズドループシステムであるAppliedScientistを紹介する。 我々は、さまざまな研究分野から削除された論文を反復的に改訂して評価する。
  論文  参考訳（メタデータ） (2026-09-13T18:59:10Z)
• ActReview: Rebuttal-Guided Training Data and Rubric Rewards for Actionable Peer Review Generation [54.82704239643649]
  本稿では, 紙固有の診断と具体的, 基礎的なリビジョン計画とを結びつける, 反感に満ちたポストトレーニングフレームワークである ActReview を紹介する。 我々の中心的な洞察は、著者の反論は、レビュアーの懸念に対処するための妥当な行動を明らかにし、それゆえ、リビジョン指向のフィードバックに対する潜在的な監督を提供することができるということである。 またActReview-Benchは、診断品質とリビジョンの有用性を評価するために、1,000インスタンスの人為的なベンチマークである。
  論文  参考訳（メタデータ） (2026-09-08T17:30:16Z)
• Beyond Rating: A Comprehensive Evaluation and Benchmark for AI Reviews [69.66583722746904]
  私たちは、AIレビュアーを5次元にわたって評価する総合的な評価フレームワークであるBeyond Ratingを紹介します。 本稿では,専門家の不一致に対応するためのMax-Recall戦略を提案する。 提案したテキスト中心の指標は、特に弱みの議論のリコールであり、評価精度と強く相関している。
  論文  参考訳（メタデータ） (2026-04-21T14:21:15Z)
• FactReview: Evidence-Grounded Reviews with Literature Positioning and Execution-Based Claim Verification [57.196748998757954]
  本稿では,クレーム抽出,文献位置決定,実行に基づくクレーム検証を組み合わせたエビデンスベースレビューシステムであるFactReviewを紹介する。 FactReviewは論文を提出すると、主要なクレームを特定し、その結果を報告し、論文の技術的な位置を明らかにするために近くの作業を取り出し、コードが利用可能であれば、リリースされたリポジトリを実行する。 その後、簡潔なレビューと、主要な請求を5つのラベルのうち1つに割り当てるエビデンスレポートを生成する。
  論文  参考訳（メタデータ） (2026-04-05T11:45:22Z)
• Insights from the ICLR Peer Review and Rebuttal Process [11.96840383745149]
  ICLR 2024と2025のピアレビュープロセスを大規模に分析する。 本研究は,レビュースコア,著者-レビューアテンション,レビュー提出時の時間的パターン,共同レビューアの影響について検討する。 この結果から,初回評価と共同視聴者の評価が,報奨期間における得点変化の予測因子として最強であることが示唆された。
  論文  参考訳（メタデータ） (2025-11-19T14:21:52Z)
• Paper Quality Assessment based on Individual Wisdom Metrics from Open Peer Review [4.35783648216893]
  従来のクローズドピアレビューシステムは遅く、コストがかかり、透明ではない。 我々は、オープンなボトムアッププロセスを通じて、科学的ピアレビューの代替形態の有効性と正確性を提案し、検証する。
  論文  参考訳（メタデータ） (2025-01-22T17:00:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。