論文の概要: Does AI Reviewer See the Full Picture? Attacking and Defending Multimodal Peer Review
- arxiv url: http://arxiv.org/abs/2606.12716v1
- Date: Wed, 10 Jun 2026 22:06:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-12 15:55:27.481649
- Title: Does AI Reviewer See the Full Picture? Attacking and Defending Multimodal Peer Review
- Title(参考訳): AIレビュアーは、全体像が見えるか? マルチモーダルピアレビューを攻撃し、擁護する
- Authors: Xinyu Zhao, Rana Muhammad Shahroz Khan, Zhen Xu, Zhen Tan, Tianlong Chen,
- Abstract要約: PaperGuardは、AI生成のピアレビューをドメイン固有のクロスモーダル攻撃に対して評価し、防御するために設計された最初の包括的なベンチマークである。
本フレームワークは,(1)複数の科学的領域にまたがる新たなマルチモーダル・ピア・レビューデータセット,(2)ブラックボックス・プロンプト・インジェクションやホワイトボックス・インジェクションを含む一貫した攻撃スイート,(3)有害な指示を効率的に局所化し緩和するためにチャンクベースの埋め込み探索を利用する学術論文の長期的課題に動機づけられた実践的防御,という3つの柱上に構築されている。
- 参考スコア(独自算出の注目度): 48.61205783234013
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The integration of Large Language Models (LLMs) and Multimodal LLMs (MLLMs) into scientific peer-review workflows introduces novel and significant risks for adversarial manipulation, especially given the multimodal nature of scientific papers where figures, not just text, convey core evidence. This creates a significant gap: current robustness studies on AI peer-review are overwhelmingly text-only. Moreover, the problem is distinct from standard jailbreaking, as a peer-review attack seeks to induce a domain-specific, targeted failure (e.g., "inflate this score") rather than a general safety policy violation, for which no practical defenses exist. To address this, we introduce PaperGuard, the first comprehensive benchmark designed to systematically evaluate and defend AI-generated peer-review against these domain-specific, cross-modal attacks. Our framework is built on three pillars: (1) a new multimodal peer-review dataset spanning multiple scientific domains; (2) a unified suite of attacks, including black-box prompt injections and white-box perturbations, specifically designed to target both text (GCG) and figures (PGD); and (3) a practical defense, motivated by the long-context challenge of academic papers, that uses chunk-based embedding search to efficiently localize and mitigate harmful instructions. Our extensive experiments, conducted across state-of-the-art models, confirm that AI reviewers are pervasively vulnerable. PaperGuard establishes the foundational benchmark, protocols, and actionable defense necessary to pioneer trustworthy, attack-resilient AI-assisted scholarly reviewing.
- Abstract(参考訳): LLM(Large Language Models)とMLLM(Multimodal LLM)の科学的ピアレビューワークフローへの統合は、特にテキストだけでなく、数字が中核的な証拠を伝達する科学論文のマルチモーダルな性質を考えると、敵の操作に新しく重要なリスクをもたらす。
AIピアレビューに関する現在の堅牢性の研究は、圧倒的にテキストのみである。
さらに、ピアレビュー攻撃は、一般的な安全政策違反ではなく、ドメイン固有の標的的障害(例えば、このスコアをインフレーションする)を誘導しようとするため、標準的なジェイルブレイクとは別の問題である。
これを解決するために、私たちは、AI生成したピアレビューをこれらのドメイン固有のクロスモーダル攻撃に対して体系的に評価し、防御するように設計された、最初の包括的なベンチマークであるPaperGuardを紹介します。
本フレームワークは,(1)複数の科学的領域にまたがる新たなマルチモーダル・ピア・レビューデータセット,(2)ブラックボックス・プロンプト・インジェクションとホワイトボックス・インジェクションを含む一貫した攻撃群,(3)有害な指示を効果的にローカライズ・緩和するためにチャンクベースの埋め込み探索を用いた,学術論文の長文チャレンジに動機づけられた実践的防御,という3つの柱上に構築されている。
我々の大規模な実験は、最先端のモデルで行われ、AIレビュアーが広く脆弱であることを確認します。
PaperGuardは、信頼できる攻撃耐性のあるAI支援学術レビューの先駆者に必要な基礎的なベンチマーク、プロトコル、行動可能な防御を確立している。
関連論文リスト
- Shattering the Echo Chamber: Hidden Safeguards in Manuscripts Against the AI Takeover of Peer Review [41.467123148467415]
エンド・ツー・エンド・レビュー・アウトソーシングは新たな脅威だ。
会場に依存しない防衛フレームワークであるIntraGuardを提案する。
IntraGuardは最大84%の防衛成功率を達成した。
論文 参考訳(メタデータ) (2026-05-06T13:23:40Z) - RTD-Guard: A Black-Box Textual Adversarial Detection Framework via Replacement Token Detection [9.898508403320438]
本稿では,テキストの逆転を検知する新しいブラックボックスフレームワークRTD-Guardを紹介する。
我々の重要な洞察は、敵攻撃における単語置換摂動は、置換トークン検出識別器が識別するために事前訓練されている「置換トークン」によく似ているということである。
プロセス全体では、敵データ、モデルチューニング、内部モデルアクセスは必要とせず、2つのブラックボックスクエリのみを使用する。
論文 参考訳(メタデータ) (2026-03-13T02:30:56Z) - "Give a Positive Review Only": An Early Investigation Into In-Paper Prompt Injection Attacks and Defenses for AI Reviewers [23.25377752659151]
最近の報告では、いくつかの論文にはAIレビュアーを操作するために設計された、隠された、注入されたプロンプトが含まれていることが明らかにされている。
本研究では,(1)固定インジェクションプロンプトを利用する静的アタックと,(2)シミュレーションレビュアーモデルに対するインジェクションプロンプトを最適化して有効性を最大化する反復アタックの2つのクラスを提案する。
我々の発見は、AI支援ピアレビューにおいて、迅速な注入脅威に対する注意と厳格な保護の必要性を浮き彫りにした。
論文 参考訳(メタデータ) (2025-11-03T07:04:22Z) - Paper Summary Attack: Jailbreaking LLMs through LLM Safety Papers [61.57691030102618]
我々は新しいジェイルブレイク手法であるペーパー・サプリメント・アタック(llmnamePSA)を提案する。
攻撃に焦点をあてたLLM安全紙からコンテンツを合成し、敵のプロンプトテンプレートを構築する。
実験では、ベースLLMだけでなく、Deepseek-R1のような最先端の推論モデルにも重大な脆弱性がある。
論文 参考訳(メタデータ) (2025-07-17T18:33:50Z) - Baseline Defenses for Adversarial Attacks Against Aligned Language
Models [109.75753454188705]
最近の研究は、テキストのモデレーションが防御をバイパスするジェイルブレイクのプロンプトを生み出すことを示している。
検出(複雑度に基づく)、入力前処理(言い換えと再帰化)、対人訓練の3種類の防衛について検討する。
テキストに対する既存の離散化の弱点と比較的高いコストの最適化が組み合わさって、標準適応攻撃をより困難にしていることがわかった。
論文 参考訳(メタデータ) (2023-09-01T17:59:44Z) - A LLM Assisted Exploitation of AI-Guardian [57.572998144258705]
IEEE S&P 2023で発表された敵に対する最近の防衛であるAI-Guardianの堅牢性を評価する。
我々は、このモデルを攻撃するためのコードを書かず、代わりに、GPT-4に命令とガイダンスに従って全ての攻撃アルゴリズムを実装するよう促します。
このプロセスは驚くほど効果的で効率的であり、言語モデルでは、この論文の著者が実行したよりも高速に曖昧な命令からコードを生成することもあった。
論文 参考訳(メタデータ) (2023-07-20T17:33:25Z) - Detecting Cross-Modal Inconsistency to Defend Against Neural Fake News [57.9843300852526]
我々は、画像やキャプションを含む機械生成ニュースに対して、より現実的で挑戦的な対策を導入する。
敵が悪用できる可能性のある弱点を特定するために、4つの異なる種類の生成された記事からなるNeuralNewsデータセットを作成します。
ユーザ実験から得られた貴重な知見に加えて,視覚的意味的不整合の検出にもとづく比較的効果的なアプローチを提案する。
論文 参考訳(メタデータ) (2020-09-16T14:13:15Z) - Reliable evaluation of adversarial robustness with an ensemble of
diverse parameter-free attacks [65.20660287833537]
本稿では,最適段差の大きさと目的関数の問題による障害を克服するPGD攻撃の2つの拡張を提案する。
そして、我々の新しい攻撃と2つの補完的な既存の攻撃を組み合わせることで、パラメータフリーで、計算に手頃な価格で、ユーザに依存しない攻撃のアンサンブルを形成し、敵の堅牢性をテストする。
論文 参考訳(メタデータ) (2020-03-03T18:15:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。