論文の概要: No Hidden Prompts Needed! You Can Game AI Peer Review with Presentation-Only Revisions
- arxiv url: http://arxiv.org/abs/2606.13044v1
- Date: Thu, 11 Jun 2026 08:30:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-12 15:55:27.672311
- Title: No Hidden Prompts Needed! You Can Game AI Peer Review with Presentation-Only Revisions
- Title(参考訳): ゲームでAIのピアレビューができる「No Hidden Prompts」
- Authors: Xu Yang, Zhizhou Sha, Junbo Li, Jian Yu, Yifan Sun, Matthew Zhao, Jinrui Fang, Xinyue Guo, Yining Wu, Xu Hu, Yifu Luo, Qiang Liu, Zhangyang Wang,
- Abstract要約: 隠れテキストなし、プロンプトインジェクションなし、メソッド、実験、数値、方程式、証明、数値結果の変更なし。
攻撃者は、抽象的、コントリビューション・フレーミング、関連する作業、議論、物語構造など、プレゼンテーションレベルのコンテンツのみを変更する。
3つの主要なAIレビュアーの中で、敵対的再パッケージングは75.1%の攻撃成功率と平均スコアの+1.21/10を達成する。
- 参考スコア(独自算出の注目度): 43.03725702558361
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: As AI-generated reviews move from experimental tools into peer-review infrastructure, most robustness concerns have focused on explicit attacks such as hidden instructions and prompt injection. We study a harder and more policy-relevant failure mode: no hidden text, no prompt injection, and no changes to methods, experiments, figures, equations, proofs, or numerical results. The attacker modifies only presentation-level content, such as the abstract, contribution framing, related work, discussion, and narrative structure. We introduce adversarial repackaging: a closed-loop attack that uses AI-reviewer feedback to search for presentation-level revisions while keeping the scientific evidence fixed. Across three mainstream AI reviewers, adversarial repackaging achieves a 75.1% attack success rate and a mean score gain of +1.21/10. The effect is not explained by ordinary prose polishing. We also reveal that strategies that change how the reviewer interprets the paper, such as related-work repositioning and analytical discussion expansion, substantially outperform surface edits such as local polishing, table formatting, and algorithm boxes. Our analysis reveals two deeper structural failure modes. First, AI reviewers are easier to impress than to convince: highlighting strengths reliably increases perceived merit, while attempts to dissolve weaknesses frequently backfire. Second, AI reviewers can confuse the appearance of addressing a limitation with actually resolving it, allowing unchanged evidence to be reinterpreted as stronger scientific contribution. These results show that the deployment risk is not only malicious hidden instructions, but the emergence of paper presentation itself as an optimization surface. We release a contamination-free rolling benchmark and attack framework for testing whether AI reviewers remain anchored to scientific content under presentation-only edits.
- Abstract(参考訳): AI生成レビューが実験ツールからピアレビューインフラストラクチャに移行するにつれ、ほとんどの堅牢性に関する懸念は、隠された命令やプロンプトインジェクションのような明示的な攻撃に焦点を当てている。
隠れテキストなし、プロンプトインジェクションなし、メソッド、実験、数値、方程式、証明、数値結果の変更なし。
攻撃者は、抽象的、コントリビューション・フレーミング、関連する作業、議論、物語構造など、プレゼンテーションレベルのコンテンツのみを変更する。
我々は、AI-リビューアフィードバックを使用して、科学的証拠を固定しつつ、プレゼンテーションレベルのリビジョンを探索するクローズドループ攻撃について紹介する。
3つの主要なAIレビュアーの中で、敵対的再パッケージングは75.1%の攻撃成功率と平均スコアの+1.21/10を達成する。
この効果は通常の散文研磨では説明できない。
また,レビュアーが論文をどう解釈するかを変える戦略として,関連作業の再配置や分析的議論の拡張,局所的な研磨,テーブルフォーマッティング,アルゴリズムボックスなどの表面編集を著しく上回っていることも明らかにした。
我々の分析では、より深い2つの構造的故障モードが明らかになっている。
まず、AIレビュアーは、説得するよりも印象的だ: 強みの強調は、認識されるメリットを確実に増加させる一方、弱点を頻繁に解消しようとする試みは、バックファイアだ。
第2に、AIレビュアーは、制限に対処する外観と、実際にそれを解決することとを混同し、不確実な証拠をより強力な科学的貢献として再解釈することができる。
これらの結果から, 展開リスクは悪意のある隠蔽命令であるだけでなく, 紙の提示自体が最適化面として出現していることが示唆された。
我々は、AIレビュアーが、プレゼンテーションのみの編集の下で科学コンテンツに固定されているかどうかをテストするために、汚染のないローリングベンチマークとアタックフレームワークをリリースする。
関連論文リスト
- Does AI Reviewer See the Full Picture? Attacking and Defending Multimodal Peer Review [48.61205783234013]
PaperGuardは、AI生成のピアレビューをドメイン固有のクロスモーダル攻撃に対して評価し、防御するために設計された最初の包括的なベンチマークである。
本フレームワークは,(1)複数の科学的領域にまたがる新たなマルチモーダル・ピア・レビューデータセット,(2)ブラックボックス・プロンプト・インジェクションやホワイトボックス・インジェクションを含む一貫した攻撃スイート,(3)有害な指示を効率的に局所化し緩和するためにチャンクベースの埋め込み探索を利用する学術論文の長期的課題に動機づけられた実践的防御,という3つの柱上に構築されている。
論文 参考訳(メタデータ) (2026-06-10T22:06:35Z) - Gaming AI-Assisted Peer Reviews Poses New Risks to the Scientific Community [33.39468805524881]
AIによるピアレビューは、単純で低コストな操作に対して脆弱であることを示す。
これは、人書きとAI生成の両方の論文のために、規律と出版の場にまたがって見られます。
以上の結果から,AIツールを中性評価対象として扱うべきではないことが示唆された。
論文 参考訳(メタデータ) (2026-06-08T20:38:06Z) - Can AI Review Improve Paper Drafting? An Empirical Study on 20 Computer Architecture Submissions [4.04252733799147]
我々は、AIレビューが人間のレビューとどのように一致しているかを明らかにするために、さまざまなレベルの提出系統を持つ20のコンピュータアーキテクチャー論文を調査する。
このケーススタディを実行するために、Web UI統合ツールであるemphAI-Paper-Reviewを構築し、ドラフトペーパーの構造化AIレビューを生成する。
論文 参考訳(メタデータ) (2026-05-31T05:05:26Z) - Stop Automating Peer Review Without Rigorous Evaluation [51.53099943385505]
このポジションペーパーは、今日のAIシステムは、論文レビューの作成に使用すべきではない、と論じている。
1)AIレビュアーは、視点の多様性を低下させる論文内および新聞内における過剰な合意の隠れた効果を示す。
ピアレビューの危機に対処するには、ピアレビューの自動化の科学が必要です。
論文 参考訳(メタデータ) (2026-05-04T22:41:04Z) - When AI reviews science: Can we trust the referee? [73.47745294608072]
私たちは、トレーニングとデータ検索、デスクレビュー、深いレビュー、反論、システムレベルといった、レビューライフサイクル全体のアタックをマップします。
評価スコアに高名度フレーミング, 断定力, 反抗薬効, 文脈中毒の因果効果を分離するために, 2つの高度なLCMベースの審判を用いた。
論文 参考訳(メタデータ) (2026-04-26T08:03:32Z) - "Give a Positive Review Only": An Early Investigation Into In-Paper Prompt Injection Attacks and Defenses for AI Reviewers [23.25377752659151]
最近の報告では、いくつかの論文にはAIレビュアーを操作するために設計された、隠された、注入されたプロンプトが含まれていることが明らかにされている。
本研究では,(1)固定インジェクションプロンプトを利用する静的アタックと,(2)シミュレーションレビュアーモデルに対するインジェクションプロンプトを最適化して有効性を最大化する反復アタックの2つのクラスを提案する。
我々の発見は、AI支援ピアレビューにおいて、迅速な注入脅威に対する注意と厳格な保護の必要性を浮き彫りにした。
論文 参考訳(メタデータ) (2025-11-03T07:04:22Z) - Verifying the Robustness of Automatic Credibility Assessment [50.55687778699995]
入力テキストにおける意味保存的変化がモデルを誤解させる可能性があることを示す。
また、誤情報検出タスクにおける被害者モデルと攻撃方法の両方をテストするベンチマークであるBODEGAについても紹介する。
我々の実験結果によると、現代の大規模言語モデルは、以前のより小さなソリューションよりも攻撃に対して脆弱であることが多い。
論文 参考訳(メタデータ) (2023-03-14T16:11:47Z) - Can We Automate Scientific Reviewing? [89.50052670307434]
我々は、最先端自然言語処理(NLP)モデルを用いて、科学論文の第一パスピアレビューを生成する可能性について論じる。
我々は、機械学習領域で論文のデータセットを収集し、各レビューでカバーされているさまざまなコンテンツに注釈を付け、レビューを生成するために論文を取り込み、ターゲットの要約モデルを訓練する。
総合的な実験結果から、システム生成レビューは、人間によるレビューよりも、論文の多くの側面に触れる傾向にあることが示された。
論文 参考訳(メタデータ) (2021-01-30T07:16:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。