論文の概要: Can AI Review Improve Paper Drafting? An Empirical Study on 20 Computer Architecture Submissions

• arxiv url: http://arxiv.org/abs/2606.01013v1
• Date: Sun, 31 May 2026 05:05:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-02 21:34:29.071044
• Title: Can AI Review Improve Paper Drafting? An Empirical Study on 20 Computer Architecture Submissions
• Title（参考訳）: AIレビューは紙のドラフトを改善するか? コンピュータアーキテクチャの20のサブミッションに関する実証的研究
• Authors: Di Wu,
• Abstract要約: 我々は、AIレビューが人間のレビューとどのように一致しているかを明らかにするために、さまざまなレベルの提出系統を持つ20のコンピュータアーキテクチャー論文を調査する。 このケーススタディを実行するために、Web UI統合ツールであるemphAI-Paper-Reviewを構築し、ドラフトペーパーの構造化AIレビューを生成する。
• 参考スコア（独自算出の注目度）: 4.04252733799147
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Research is advancing faster than ever with artificial intelligence (AI); and so are the corresponding research papers. The exploding volume of AI-generated papers have put a strain to peer review, leading to the usage of AI-generated review, potentially wide yet sneaky. However, relevant ethical concerns about confidentiality, quality, and fairness are raised and no consensus has been reached in the broad research community. We expect the debate to continue for a while, but in the meantime, we ask an alternative, practical question: \textit{can AI review improve paper drafting?} We study 20 computer architecture papers, with varying levels of submission lineage, to expose how well AI review aligns with human review, quantified by a set of metrics we define. To conduct the case study, we build a web UI-integrated tool, \emph{AI-Paper-Review}, that generates structured AI review of a draft paper, available at https://github.com/unarylab/ai-paper-review. This tool selects several AI reviewers from a diverse pool of AI reviewers and clusters and ranks their comments based on commonality and importance of review comments. It also allows to align AI comments with human comments to facilitate metric-based validation. The case study shows that AI review can cover a significant fraction of human-raised issues, but also raises issues missing in human review. This paper is not intended to encourage using AI for peer review at the current stage, but to study that (1) how AI review can improve paper drafting and (2) the potential and limitation of AI-based peer review. The release of the tool and the case study data is intended to instigate future research on this topic. Misuse for peer review would violate the ethics policies from major academic venues.
• Abstract（参考訳）: 人工知能(AI)の研究は、これまで以上に急速に進んでいる。 AIが生成する論文の爆発的な量は、ピアレビューに悩まされ、AIが生成するレビューが使われるようになり、潜在的に広くて細心の注意を払っている。 しかし、機密性、品質、公平性に関する関連する倫理的懸念が提起され、幅広い研究コミュニティで合意が得られていない。 議論はしばらく続くと予想していますが、その間に別の実践的な質問をします。 \textit{can AI Reviewは、紙のドラフトを改善するのでしょうか? We study 20 computer architecture papers with various level of submit line, to reveal how well with human review, quantified by a set of metrics。 このケーススタディを実行するために、Web UI統合ツールである \emph{AI-Paper-Review} を構築し、 https://github.com/unarylab/ai-paper-review.comで利用可能なドラフトペーパーの構造化されたAIレビューを生成する。 このツールは、AIレビュアーとクラスタの多様なプールから複数のAIレビュアーを選択し、レビューコメントの共通性と重要性に基づいてコメントをランク付けする。 また、AIコメントと人間のコメントを合わせることで、メトリックベースのバリデーションを容易にできる。 このケーススタディは、AIレビューが人間の評価された問題の大部分をカバーできるだけでなく、人間のレビューに欠けている問題も提起している。 本論文は、現在、ピアレビューにAIを使うことを奨励するものではなく、(1)AIレビューがペーパードラフトを改善する方法、(2)AIベースのピアレビューの可能性と限界について研究することを目的としている。 ツールのリリースとケーススタディデータは、このトピックに関する今後の研究を促進することを目的としている。 ピアレビューの誤用は、主要な学術施設の倫理ポリシーに違反した。

関連論文リスト

• Stop Automating Peer Review Without Rigorous Evaluation [51.53099943385505]
  このポジションペーパーは、今日のAIシステムは、論文レビューの作成に使用すべきではない、と論じている。 1)AIレビュアーは、視点の多様性を低下させる論文内および新聞内における過剰な合意の隠れた効果を示す。 ピアレビューの危機に対処するには、ピアレビューの自動化の科学が必要です。
  論文  参考訳（メタデータ） (2026-05-04T22:41:04Z)
• When AI reviews science: Can we trust the referee? [73.47745294608072]
  私たちは、トレーニングとデータ検索、デスクレビュー、深いレビュー、反論、システムレベルといった、レビューライフサイクル全体のアタックをマップします。 評価スコアに高名度フレーミング, 断定力, 反抗薬効, 文脈中毒の因果効果を分離するために, 2つの高度なLCMベースの審判を用いた。
  論文  参考訳（メタデータ） (2026-04-26T08:03:32Z)
• AI-Assisted Peer Review at Scale: The AAAI-26 AI Review Pilot [45.90272517740283]
  本稿では,AI支援ピアレビューの大規模展開について報告する。 AAAI-26のすべてのメイントラックは、最先端のシステムから明確に特定されたAIレビューを受け取りました。
  論文  参考訳（メタデータ） (2026-04-15T14:51:07Z)
• What happens when reviewers receive AI feedback in their reviews? [9.57486570505445]
  支持者はAIがレビュー担当者の負担を減らし、品質を改善する可能性があると考えているが、批判者は公正さ、説明責任、信頼へのリスクを警告している。 ICLR 2025では、レビュアーにレビュー後提案を提供するために、公式のAIフィードバックツールがデプロイされた。 この研究は、ライブレビュープロセスにおいて、このようなAIツールの実証的な証拠として初めて貢献する。
  論文  参考訳（メタデータ） (2026-02-14T15:22:33Z)
• CoCoNUTS: Concentrating on Content while Neglecting Uninformative Textual Styles for AI-Generated Peer Review Detection [60.52240468810558]
  我々は、AI生成ピアレビューの詳細なデータセットの上に構築されたコンテンツ指向ベンチマークであるCoCoNUTSを紹介する。 また、マルチタスク学習フレームワークを介してAIレビュー検出を行うCoCoDetを開発し、レビューコンテンツにおけるAIのより正確で堅牢な検出を実現する。
  論文  参考訳（メタデータ） (2025-08-28T06:03:11Z)
• The AI Imperative: Scaling High-Quality Peer Review in Machine Learning [49.87236114682497]
  AIによるピアレビューは、緊急の研究とインフラの優先事項になるべきだ、と私たちは主張する。 我々は、事実検証の強化、レビュアーのパフォーマンスの指導、品質改善における著者の支援、意思決定におけるAC支援におけるAIの具体的な役割を提案する。
  論文  参考訳（メタデータ） (2025-06-09T18:37:14Z)
• The Great AI Witch Hunt: Reviewers Perception and (Mis)Conception of Generative AI in Research Writing [36.188062803005515]
  研究執筆におけるジェネレーティブAI(GenAI)の利用は急速に増加している。 ピアレビュアーがAIによる増補された写本をどう認識するか、それとも誤認しているかは明らかでない。 我々の研究結果は、AIによって強化された文章は可読性、言語多様性、情報性を改善するが、しばしば研究の詳細や著者からの反射的な洞察を欠いていることを示唆している。
  論文  参考訳（メタデータ） (2024-06-27T02:38:25Z)
• Can We Automate Scientific Reviewing? [89.50052670307434]
  我々は、最先端自然言語処理(NLP)モデルを用いて、科学論文の第一パスピアレビューを生成する可能性について論じる。 我々は、機械学習領域で論文のデータセットを収集し、各レビューでカバーされているさまざまなコンテンツに注釈を付け、レビューを生成するために論文を取り込み、ターゲットの要約モデルを訓練する。 総合的な実験結果から、システム生成レビューは、人間によるレビューよりも、論文の多くの側面に触れる傾向にあることが示された。
  論文  参考訳（メタデータ） (2021-01-30T07:16:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。