論文の概要: GEO-Bench: Benchmarking Ranking Manipulation in Generative Engine Optimization

• arxiv url: http://arxiv.org/abs/2605.29107v1
• Date: Wed, 27 May 2026 21:10:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-30 02:45:55.46091
• Title: GEO-Bench: Benchmarking Ranking Manipulation in Generative Engine Optimization
• Title（参考訳）: GEO-Bench: 生成エンジン最適化におけるランキング操作のベンチマーク
• Authors: Ojas Nimase, Zhe Chen, Gengpei Qi, Yue Zhao, Xiyang Hu,
• Abstract要約: 本稿では,GEOランキング操作攻撃を1つのプロトコルで評価するベンチマークであるGEO-Benchを提案する。 ブラックボックスのプロンプトベースの攻撃(TAP、ゼロショット)、ホワイトボックスのグラデーションベースの攻撃(STS、RAF、StealthRank)、ホワイトハットのC-SEO戦略を統一する。 固定されたオープンウェイトローダに対して、5つのデータセットですべてのメソッドをスコアします。
• 参考スコア（独自算出の注目度）: 9.762893142689357
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) increasingly rank products, documents, and recommendations for user queries, which makes manipulating these rankings a growing concern for fairness and information integrity. Research on generative engine optimization (GEO) has produced many manipulation methods, but each is evaluated on its own dataset with its own metrics, so their relative strength and detectability stay unclear. We present GEO-Bench, a benchmark that evaluates GEO ranking-manipulation attacks under one protocol. It unifies black-box prompt-based attacks (TAP, Zero-Shot), white-box gradient-based attacks (STS, RAF, StealthRank), and ten white-hat C-SEO strategies. We score every method on five datasets against a fixed open-weight ranker (Llama-3.1-8B-Instruct), using metrics for both effectiveness (NRG, Success@α, Promote@α) and stealth (keyword violation rate, perplexity ratio). Our evaluation shows that effectiveness and stealth trade off across adversarial attacks, that black-box content rewriting matches or exceeds gradient-based attacks on rank promotion while producing more fluent text and can evade both keyword- and perplexity-based detection on some domains, and that the access model does not predict attack strength. By standardizing datasets, attack implementations, and metrics, GEO-Bench enables the first direct comparison across these attack paradigms and supports the development of detection methods.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、製品やドキュメント、ユーザクエリのレコメンデーションをランク付けする傾向にある。 生成エンジン最適化(GEO)の研究は、多くの操作方法を生み出しているが、それぞれが独自のメトリクスで独自のデータセットで評価されているため、相対的な強度と検出性は不明確である。 本稿では,GEOランキング操作攻撃を1つのプロトコルで評価するベンチマークであるGEO-Benchを提案する。 ブラックボックスのプロンプトベースの攻撃(TAP、ゼロショット)、ホワイトボックスのグラデーションベースの攻撃(STS、RAF、StealthRank)、ホワイトハットのC-SEO戦略を統一する。 固定されたオープンウェイトローダ(Llama-3.1-8B-インストラクタ)に対して,5つのデータセットに対して,NRG,Success@α,Promote@α)とステルス(キーワード違反率,パープレキシティ比)の指標を用いて,すべての手法を評価する。 評価の結果,ブラックボックス内容の書き直しは,より流動的なテキストを生成する一方で,ランク昇格に対するグラデーションベースの攻撃と一致し,一部のドメインでのキーワードとパープレキシティに基づく検出を回避し,アクセスモデルが攻撃強度を予測できないことが示唆された。 データセットの標準化、アタック実装、メトリクスによって、GEO-Benchはこれらのアタックパラダイム間での最初の直接比較を可能にし、検出方法の開発をサポートする。

関連論文リスト

• The Surprising Effectiveness of Membership Inference with Simple N-Gram Coverage [71.8564105095189]
  対象モデルからのテキスト出力のみに依存する会員推論攻撃であるN-Gram Coverage Attackを導入する。 我々はまず、N-Gram Coverage Attackが他のブラックボックスメソッドより優れている、様々な既存のベンチマークを実証する。 GPT-4oのような最近のモデルでは、メンバーシップ推論に対するロバスト性が向上していることがわかった。
  論文  参考訳（メタデータ） (2025-08-13T08:35:16Z)
• CPA-RAG:Covert Poisoning Attacks on Retrieval-Augmented Generation in Large Language Models [15.349703228157479]
  Retrieval-Augmented Generation (RAG)は、外部知識を取り入れた大規模言語モデル(LLM)を強化する。 既存のRAGシステムに対する中毒法には、一般化の欠如や、敵のテキストにおける流布の欠如など、制限がある。 CPA-RAGは,検索プロセスを操作することで,対象の回答を誘導するクエリ関連テキストを生成するブラックボックスの対向フレームワークである。
  論文  参考訳（メタデータ） (2025-05-26T11:48:32Z)
• Checkpoint-GCG: Auditing and Attacking Fine-Tuning-Based Prompt Injection Defenses [10.08464073347558]
  細調整による防御に対するホワイトボックス攻撃であるCheckpoint-GCGを導入する。 最強防衛に対する攻撃成功率(ASR)を最大96%まで達成できるチェックポイントGCGを示す。
  論文  参考訳（メタデータ） (2025-05-21T16:43:17Z)
• Attack-in-the-Chain: Bootstrapping Large Language Models for Attacks Against Black-box Neural Ranking Models [111.58315434849047]
  本稿では,アタック・イン・ザ・チェーン(Attack-in-the-Chain)という新しいランキングアタックフレームワークを紹介する。 大型言語モデル(LLMs)とニューラルランキングモデル(NRMs)の相互作用をチェーン・オブ・ソートに基づいて追跡する。 2つのWeb検索ベンチマークによる実験結果から,本手法の有効性が示された。
  論文  参考訳（メタデータ） (2024-12-25T04:03:09Z)
• EMPRA: Embedding Perturbation Rank Attack against Neural Ranking Models [20.106547084712922]
  敵対的攻撃は、ユーザーをターゲットコンテンツに公開することを目的として、文書のランク付けを操作しようとする。 EMPRAは文レベルの埋め込みを操作し、クエリに関連する関連するコンテキストへと誘導する。 EMPRAは、オリジナルコンテンツとシームレスに統合し、人間には受け入れられない敵対的なテキストを生成する。
  論文  参考訳（メタデータ） (2024-12-20T22:36:19Z)
• GE-AdvGAN: Improving the transferability of adversarial samples by gradient editing-based adversarial generative model [69.71629949747884]
  GAN(Generative Adversarial Networks)のような逆生成モデルは、様々な種類のデータを生成するために広く応用されている。 本研究では, GE-AdvGAN という新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-01-11T16:43:16Z)
• A Tale of HodgeRank and Spectral Method: Target Attack Against Rank Aggregation Is the Fixed Point of Adversarial Game [153.74942025516853]
  ランクアグリゲーション手法の本質的な脆弱性は文献ではよく研究されていない。 本稿では,ペアデータの変更による集計結果の指定を希望する目的のある敵に焦点をあてる。 提案した標的攻撃戦略の有効性は,一連の玩具シミュレーションと実世界のデータ実験によって実証された。
  論文  参考訳（メタデータ） (2022-09-13T05:59:02Z)
• Poisoning Attack against Estimating from Pairwise Comparisons [140.9033911097995]
  攻撃者はランクリストを操作するための強い動機と動機を持っている。 ペアワイズランキングアルゴリズムに対するデータ中毒攻撃は、ローダとアタッカーの間の動的および静的ゲームとして形式化することができる。 本稿では、2つの効率的な毒殺攻撃アルゴリズムを提案し、関連する理論的保証を確立する。
  論文  参考訳（メタデータ） (2021-07-05T08:16:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。