論文の概要: Gaming AI-Assisted Peer Reviews Poses New Risks to the Scientific Community

• arxiv url: http://arxiv.org/abs/2606.10159v1
• Date: Mon, 08 Jun 2026 20:38:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-10 15:40:58.187075
• Title: Gaming AI-Assisted Peer Reviews Poses New Risks to the Scientific Community
• Title（参考訳）: ゲームAI支援ピアレビュー:科学コミュニティに新たなリスクをもたらす
• Authors: Lin Li, Qi Zhang, Xander Davies, Jianing Qiu, Yarin Gal,
• Abstract要約: AIによるピアレビューは、単純で低コストな操作に対して脆弱であることを示す。 これは、人書きとAI生成の両方の論文のために、規律と出版の場にまたがって見られます。 以上の結果から,AIツールを中性評価対象として扱うべきではないことが示唆された。
• 参考スコア（独自算出の注目度）: 33.39468805524881
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: AI is increasingly used to support scientific peer review, from manuscript screening, reviewer assistance to editorial triage. Although such systems promise to reduce reviewer burden and accelerate publication, their robustness to strategic manipulation remains poorly understood. Here we show that AI-mediated peer review is vulnerable to a simple, low-cost manipulation: superficial rephrasing of the manuscript abstract. Without changing the underlying scientific content and communication, and even without knowledge of the reviewing model, adversarially rewritten abstracts substantially improve AI review outcomes. We see this across disciplines and publication venues, for both human-written and AI-generated papers. Our strongest attack achieves an attack-success-rate of about 38%, increasing acceptance ratings by +1.31 for Gemini 3 Flash reviewers and by +0.88 for GPT 5.4 Mini reviewers on a 10-point scale. When the original AI review suggests 'reject', the success rate rises to more than 50%. This effect extends beyond overall score inflation, increasing review confidence and scores on core scientific criteria such as soundness, significance and perceived contribution. The attack is practical, requiring only about 5 minutes and $1 for a 10-page AI conference submission, and is hard to distinguish from ordinary scientific editing. Inflated AI reviews could bias downstream human decision-making, shifting editorial recommendations from rejection towards acceptance. These findings reveal a general vulnerability in AI-assisted scientific evaluation: when AI-generated review influence editorial decisions, authors may be incentivized to optimize manuscripts for AI judgment rather than scientific merit. Our results suggest that AI tools should not be treated as neutral evaluators in high-stakes peer review without systematic robustness testing, transparent safeguards and careful human oversight.
• Abstract（参考訳）: AIは、原稿のスクリーニング、レビューア・アシスト、編集のトリアージなど、科学的なピアレビューをサポートするためにますます使われています。 このようなシステムはレビュアーの負担を減らし、出版を加速することを約束するが、戦略的操作に対する堅牢性はいまだによく分かっていない。 ここでは、AIによるピアレビューが、シンプルな低コストな操作に対して脆弱であることを示す。 基礎となる科学的内容やコミュニケーションを変更することなく、レビューモデルに関する知識がなくても、反対に書き直された抽象化は、AIレビューの結果を大幅に改善する。 これは、人書きとAI生成の両方の論文のために、規律と出版の場にまたがって見られます。 我々の最強の攻撃は攻撃成功率約38%を達成し、Gmini 3 Flashレビュアーは+1.31、GPT 5.4 Miniレビュアーは+0.88に上昇した。 オリジナルのAIレビューが“リジェクト”を示唆すると、成功率は50%以上になる。 この効果は、全体的なスコアインフレーションを超えて、レビューの信頼性を高め、健全性、重要性、そして認識される貢献のような中核的な科学的基準にスコアを与える。 この攻撃は実用的であり、10ページのAIカンファレンスの提出にはわずか5分と1ドルしか必要とせず、通常の科学的な編集とは区別が難しい。 インフレーションされたAIレビューは、人間の意思決定を下流にバイアスし、編集推奨を拒絶から受け入れへとシフトさせる可能性がある。 これらの結果は、AIによる科学的評価の一般的な脆弱性を明らかにしている。AI生成レビューが編集決定に影響を与える場合、著者は、科学的メリットよりも、AI判断のために原稿を最適化するインセンティブを与えられる可能性がある。 以上の結果から,AIツールは,系統的堅牢性テスト,透過的安全ガード,注意深い人的監視を伴わずに,ハイテイクピアレビューにおいて中立的評価対象として扱われるべきでないことが示唆された。

関連論文リスト

• Can AI Review Improve Paper Drafting? An Empirical Study on 20 Computer Architecture Submissions [4.04252733799147]
  我々は、AIレビューが人間のレビューとどのように一致しているかを明らかにするために、さまざまなレベルの提出系統を持つ20のコンピュータアーキテクチャー論文を調査する。 このケーススタディを実行するために、Web UI統合ツールであるemphAI-Paper-Reviewを構築し、ドラフトペーパーの構造化AIレビューを生成する。
  論文  参考訳（メタデータ） (2026-05-31T05:05:26Z)
• On the limits and opportunities of AI reviewers: Reviewing the reviews of Nature-family papers with 45 expert scientists [113.03797263688519]
  多くの科学者は、AIレビュアーを研究を評価する専門知識のない確率的システムと見なしている。 既存のAIレビュアーの評価では、評決が人間の評決に合致するかどうかに焦点が当てられている。
  論文  参考訳（メタデータ） (2026-05-20T03:33:55Z)
• Stop Automating Peer Review Without Rigorous Evaluation [51.53099943385505]
  このポジションペーパーは、今日のAIシステムは、論文レビューの作成に使用すべきではない、と論じている。 1)AIレビュアーは、視点の多様性を低下させる論文内および新聞内における過剰な合意の隠れた効果を示す。 ピアレビューの危機に対処するには、ピアレビューの自動化の科学が必要です。
  論文  参考訳（メタデータ） (2026-05-04T22:41:04Z)
• When AI reviews science: Can we trust the referee? [73.47745294608072]
  私たちは、トレーニングとデータ検索、デスクレビュー、深いレビュー、反論、システムレベルといった、レビューライフサイクル全体のアタックをマップします。 評価スコアに高名度フレーミング, 断定力, 反抗薬効, 文脈中毒の因果効果を分離するために, 2つの高度なLCMベースの審判を用いた。
  論文  参考訳（メタデータ） (2026-04-26T08:03:32Z)
• Beyond Rating: A Comprehensive Evaluation and Benchmark for AI Reviews [69.66583722746904]
  私たちは、AIレビュアーを5次元にわたって評価する総合的な評価フレームワークであるBeyond Ratingを紹介します。 本稿では,専門家の不一致に対応するためのMax-Recall戦略を提案する。 提案したテキスト中心の指標は、特に弱みの議論のリコールであり、評価精度と強く相関している。
  論文  参考訳（メタデータ） (2026-04-21T14:21:15Z)
• AI-Assisted Peer Review at Scale: The AAAI-26 AI Review Pilot [45.90272517740283]
  本稿では,AI支援ピアレビューの大規模展開について報告する。 AAAI-26のすべてのメイントラックは、最先端のシステムから明確に特定されたAIレビューを受け取りました。
  論文  参考訳（メタデータ） (2026-04-15T14:51:07Z)
• The Great AI Witch Hunt: Reviewers Perception and (Mis)Conception of Generative AI in Research Writing [36.188062803005515]
  研究執筆におけるジェネレーティブAI(GenAI)の利用は急速に増加している。 ピアレビュアーがAIによる増補された写本をどう認識するか、それとも誤認しているかは明らかでない。 我々の研究結果は、AIによって強化された文章は可読性、言語多様性、情報性を改善するが、しばしば研究の詳細や著者からの反射的な洞察を欠いていることを示唆している。
  論文  参考訳（メタデータ） (2024-06-27T02:38:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。