論文の概要: SIREN (Luring LLMs onto the Rocks): PAIR-Driven Preference Manipulation in Web-RAG Recommenders
- arxiv url: http://arxiv.org/abs/2607.21951v1
- Date: Fri, 24 Jul 2026 03:55:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-27 20:58:57.0408
- Title: SIREN (Luring LLMs onto the Rocks): PAIR-Driven Preference Manipulation in Web-RAG Recommenders
- Title(参考訳): SIREN (Luring LLMs on the Rocks): Web-RAG Recommenders における PAIR-Driven Preference Manipulation
- Abstract要約: 本稿では,ウェブ拡張大言語モデル(LLM)が生み出すランク付けレコメンデーションの逆操作について検討する。
我々はPAIRジェイルブレイクループを競合ランク操作に適応させる自動攻撃ジャッジ手法であるSIRENを提案する。
- 参考スコア(独自算出の注目度): 3.39271933237479
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper investigates the adversarial manipulation of the ranked recommendations produced by web-augmented large language models (LLMs). When an LLM answers a recommendation query by retrieving and reading live webpages, it acts as a recommender, and each retrieved page becomes a potential attack surface. Prior work has examined fabricated products, retrieval poisoning, and rank promotion. However, these studies do not compare how different edits to an already retrieved page change the model's final ranking while the surrounding source set remains unchanged. To address this gap, we propose SIREN, an automated attacker--judge method that adapts the PAIR jailbreaking loop to competitive rank manipulation, with the goal of moving a chosen entity to rank~1 in an LLM-generated recommendation. SIREN retrieves and captures webpages using Anthropic's web tools, then iteratively edits a retrieved source using an interpretable taxonomy of 23 content-poisoning techniques. The custom-RAG replay platform keeps the same sources in the same order, so changes in the model's ranking can be linked to changes in the supplied content rather than to differences in retrieval. Across two production Claude models, SIREN reaches rank~1 in 62 of 124 technique trials nested within eight query--model contexts. The payloads that reached rank~1 were then tested in fresh sessions, where they reproduced the result with a mean success rate of 0.805. Across the evaluated settings, declarative ranking claims and seeded lists were generally more effective than directive-form injections, although the strength of this difference depended on the target model. To the best of our knowledge, this is among the first controlled studies of competitive rank manipulation in production LLMs where the supplied source context is kept fixed.
- Abstract(参考訳): 本稿では,ウェブ拡張大言語モデル (LLM) が生み出すランク付けされたレコメンデーションの逆操作について検討する。
LLMがライブWebページの検索と読み込みによってレコメンデーションクエリに答えると、レコメンデーターとして機能し、検索された各ページが潜在的なアタックサーフェスになる。
それまでの研究では、製造製品、検索中毒、ランク昇格について調べてきた。
しかし、これらの研究は、既に検索されたページと異なる編集が、周辺ソースセットが変更されていない間、モデルの最終ランクがどう変わるかを比較していない。
そこで本研究では,PAIRジェイルブレーキングループを競合ランク操作に適応させる自動アタッカー・ジャッジ手法であるSIRENを提案する。
SIREN は Anthropic の Web ツールを用いて Web ページの検索とキャプチャを行い,23 個のコンテンツ汚染手法の解釈可能な分類法を用いて検索したソースを反復的に編集する。
カスタムRAGリプレイプラットフォームは、同じソースを同じ順序で保持するので、モデルランキングの変更は、検索の違いではなく、供給されたコンテンツの変化にリンクすることができる。
2つの生産クロードモデル全体で、SIRENは8つのクエリモデルコンテキスト内にネストされた124のテクニックのうち62のランクから1に達している。
ランキング1に到達したペイロードは、新しいセッションでテストされ、平均成功率0.805で結果が再現された。
評価設定全体において、宣言的ランキングクレームとシードリストは、ターゲットモデルによる差の強さにもかかわらず、ディレクティブフォームインジェクションよりも一般的に有効であった。
我々の知る限り、これは供給源コンテキストを固定したLLMにおける競争ランク操作に関する最初の制御された研究の1つである。
関連論文リスト
- Query-Aware Source-Risk Triage for Retrieval-Augmented Generation [2.5753212978420046]
我々は、この関係をクエリ依存として扱う、前世代のトリアージ層について検討する。
この方法は、拡張されたレビューのために標準クエリーファミリーをルーティングし、検索したページをパス、コンテキスト化、除外、レビューに割り当てる。
4次元のページスコア、ランクの低いファミリーアグリゲーション、インテント保存クエリの突然変異、およびファミリー完備のルータを組み合わせたものだ。
論文 参考訳(メタデータ) (2026-09-15T03:01:27Z) - CHASE: How Content Ecosystems Are Reshaped When Ranking Is the Only Target [1.5223740593989443]
本稿では,Ranking Signal Exploitation (CHASE)の下でのコンテンツ均質化について紹介する。
固定LDMランキング信号に対する繰り返し最適化が、コンテンツ人口とコンテンツクリエーターが直面するインセンティブの両方を再構成できることを示す。
論文 参考訳(メタデータ) (2026-08-31T08:53:56Z) - What Gets Cited: Competitive GEO in AI Answer Engines [0.866627581195388]
検索された2人の候補者が競うと、最初に引用される可能性が高くなるのはなぜか。
モデルコンテキストに正確に2つの候補ソースを注入する2文書検索拡張生成テストベッドを構築した。
各試験において、2つの情報源は、正確に1つの要因で異なる。我々は、位置バイアスからコンテンツ効果を分離するためにブランド匿名化と逆平衡ソースオーダーを使用する。
論文 参考訳(メタデータ) (2026-05-25T07:20:08Z) - Prism-Reranker: Beyond Relevance Scoring -- Jointly Producing Contributions and Evidence for Agentic Retrieval [0.0]
Qwen3.5上に4つのサイズ(0.8B, 2B, 4B, 9B)で構築されたリランカーモデルのファミリーであるPrism-Rerankerを紹介する。
標準のye/no関連判断に加えて、評決がYesであるたびに、モデルはドキュメントがクエリをどのように助けるかを要約したコントリビューションステートメントを発行する。
同じレシピが既存のLCMベースのリランカーを拡張し、Qwen3-Reranker-4Bのコントリビューションとエビデンス機能を強化している。
論文 参考訳(メタデータ) (2026-04-26T14:28:48Z) - Align Documents to Questions: Question-Oriented Document Rewriting for Retrieval-Augmented Generation [51.55755193937205]
提案するQREAMは,検索した文書を事実を保存しながら質問指向のスタイルで整列するスタイル制御リライタである。
本フレームワークは,(1) 反復的書き換え探索にスタイリスティックシードを用いたQREAM-ICL,(2) ICL出力から抽出した軽量学生モデルQREAM-FTの2段階からなる。
論文 参考訳(メタデータ) (2026-04-19T08:39:21Z) - RankSteer: Activation Steering for Pointwise LLM Ranking [13.718395381871751]
大規模言語モデル(LLM)は、最近ゼロショットローダとして高い性能を示したが、それらの効果は迅速な定式化に非常に敏感である。
ゼロショットポイントワイドLSMランキングのためのポストホックアクティベーションステアリングフレームワークである RankSteer を提案する。
TREC DL 20と複数のBEIRベンチマークの実験により、RangeSteerは少数のアンカークエリのみを使用して、ランキング品質を一貫して改善することが示された。
論文 参考訳(メタデータ) (2026-02-03T11:49:00Z) - Can LLM Annotations Replace User Clicks for Learning to Rank? [112.2254432364736]
大規模な教師付きデータは最新のランキングモデルのトレーニングには不可欠だが、高品質な人的アノテーションの取得にはコストがかかる。
クリックデータは低コストの代替手段として広く使われており、近年の大規模言語モデル(LLM)の発展に伴い、LLMベースの関連アノテーションも有望なアノテーションとして登場した。
公開データセットであるTianGong-STと、産業データセットであるBaidu-Clickの両方の実験は、クリック管理モデルが高周波クエリでより良いパフォーマンスを示すことを示している。
データスケジューリングと周波数対応多目的学習という2つのトレーニング戦略を検討し、両方の監視信号を統合する。
論文 参考訳(メタデータ) (2025-11-10T02:26:14Z) - Rank-GRPO: Training LLM-based Conversational Recommender Systems with Reinforcement Learning [70.6126069527741]
ConvRec-R1は会話レコメンデーションシステムのエンドツーエンドトレーニングのための2段階のフレームワークである。
ステージ1では,Remap-Reflect-Adjustパイプラインを用いた行動閉鎖データセットを構築した。
ステージ2では,グループ相対政策最適化の原則的拡張である Rank-GRPO を提案する。
論文 参考訳(メタデータ) (2025-10-23T02:56:00Z) - Are LLMs Reliable Rankers? Rank Manipulation via Two-Stage Token Optimization [7.7899746437628385]
本稿では,2段階のトークン最適化手法であるRop Anything First(RAF)を提案する。
RAFはテキストの摂動を簡潔に行い、大きな言語モデルでターゲットアイテムを一貫して推進する。
RAFは、ランキングの有効性の最大化と言語的自然性の維持という2つの目的によって導かれる、トークン・バイ・トークンのランク付けプロンプトを生成する。
論文 参考訳(メタデータ) (2025-10-08T07:40:40Z) - Towards Two-Stage Counterfactual Learning to Rank [50.51916012823433]
ランク付けのためのカウンターファクトラーニングは、ユーザのインタラクションからランク付けポリシーを学ぶことを目的としている。
現実のアプリケーションでは、候補文書セットは数百万の順序で行われ、単一のステージのランキングポリシーを非現実的にしている。
本稿では,2段階間の相互作用を考慮した2段階CLTR推定器を提案する。
論文 参考訳(メタデータ) (2025-06-25T22:00:12Z) - Reinforcement Speculative Decoding for Fast Ranking [9.584558586988953]
大規模言語モデル (LLM) は情報検索 (IR) システムやレコメンダシステム (RS) などのランキングシステムで広く採用されている。
LLMの高速ランキング推定のための強化復号法を提案する。
論文 参考訳(メタデータ) (2025-05-23T02:25:26Z) - Rank-R1: Enhancing Reasoning in LLM-based Document Rerankers via Reinforcement Learning [76.50690734636477]
ランキングタスクを実行する前にユーザクエリと候補文書の両方を推論する新しいLCMベースのリランカである Rank-R1 を導入する。
TREC DL と BRIGHT データセットを用いた実験により,Ranc-R1 が特に複雑なクエリに対して非常に有効であることが判明した。
論文 参考訳(メタデータ) (2025-03-08T03:14:26Z) - FIRST: Faster Improved Listwise Reranking with Single Token Decoding [56.727761901751194]
まず、第1生成識別子の出力ロジットを活用して、候補のランク付け順序を直接取得する新しいリストワイズLLMリグレードアプローチであるFIRSTを紹介する。
実験結果から、BEIRベンチマークの利得により、FIRSTはロバストなランキング性能を維持しつつ、推論を50%高速化することが示された。
以上の結果から,LLMリランカーはクロスエンコーダに比べて強い蒸留信号を提供できることが示唆された。
論文 参考訳(メタデータ) (2024-06-21T21:27:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。