論文の概要: MEMORY Wins All: Indirect Bias Injection Attacks via Social Media Feeds
- arxiv url: http://arxiv.org/abs/2608.22061v1
- Date: Sat, 22 Aug 2026 18:03:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-25 13:29:43.577184
- Title: MEMORY Wins All: Indirect Bias Injection Attacks via Social Media Feeds
- Title(参考訳): MEMORYが勝利:ソーシャルメディアフィードによる間接バイアス注入攻撃
- Abstract要約: Indirect Bias Injection Attack, IBIAは, 特定の話題に対する敵対的姿勢を, 被害者の記憶に組み込む。
IBIAはコメントクローキング、コメント透かし、カテゴリーアンカーという3つのメカニズムを組み合わせている。
OpenClaw設定の下では、IBIAは4つの下流タスクで平均91.2%の敵対応レスポンスレート(AAR)を達成する。
- 参考スコア(独自算出の注目度): 4.422673236647838
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Personal AI agents routinely consume external content while performing tasks such as web browsing, email processing, and SNS feed summarization, and they retain selected information or execution results in persistent memory for later use. We show that this ordinary ingestion of external content opens an indirect path for manipulating subsequent agent behavior. Based on this observation, we present IBIA, an Indirect Bias Injection Attack that plants an adversary-aligned stance on a specific topic into a victim agent's memory through external content, without direct access to the agent, its memory, or future user queries. For this, IBIA combines three mechanisms: comment cloaking, which keeps the crafted content consistent with the surrounding discussion, comment watermarking, which enables lightweight identification during curation, and category anchoring, which makes the retained stance salient under later related requests. We evaluate IBIA on BiasBench, a benchmark of 6,000 adversary-crafted social comments and 120 email instances. The watermark-based curation identifies 95.9% of the injected comments. Under the OpenClaw setting, IBIA achieves adversary-aligned response rates (AARs) of 91.2% on average across four downstream tasks, including 86.6% on the frontier GPT-5.5. We further propose a memory boundary defense that detects the injected bias and reduces AARs to 80.6%.
- Abstract(参考訳): パーソナルAIエージェントは、Webブラウジング、電子メール処理、SNSフィードの要約などのタスクを実行しながら、外部コンテンツを日常的に消費し、選択した情報や実行結果を後から使用するための永続メモリに保持する。
この通常の外部コンテンツ摂取は、その後のエージェントの動作を操作するための間接的な経路を開くことを示す。
本報告では, 間接バイアス注入攻撃(Indirect Bias Injection Attack, IBIA)について, エージェント, そのメモリ, 将来のユーザクエリに直接アクセスすることなく, 特定のトピックに対する敵対的な姿勢を, 外部コンテンツを通じて被害者エージェントのメモリに配置する。
IBIAには3つのメカニズムが組み合わさっている:コメント・クローキング、周辺の議論と整合性を保つコメント・ウォーターマーキング、キュレーション中の軽量な識別を可能にするコメント・ウォーターマーキング、そしてカテゴリ・アンカー。
IBIA on BiasBench, a benchmark of 6,000 adversary-crafted social comments and 120 email instance。
ウォーターマークベースのキュレーションでは、注入されたコメントの95.9%が特定されている。
OpenClaw 設定の下で IBIA は、フロンティア GPT-5.5 で86.6% を含む4つの下流タスクで平均 91.2% の敵対応応答率(AAR)を達成した。
さらに、注入バイアスを検出し、AARを80.6%に削減するメモリ境界ディフェンスを提案する。
関連論文リスト
- SIR: Self-improving Red-teaming for Compute Use Agents [71.71987044117371]
コンピュータ・ユース・エージェント(CUA、Computer use agent)は、マウス、キーボード、端末を通じて画面を認識し、実際のオペレーティングシステムに作用する視覚言語モデルである。
操作中に信頼できないコンテンツに晒されるため、間接的プロンプトインジェクション(IPI)に弱い。
SIRは,平易な言語で記述された再利用原則の小さなライブラリからステルスインジェクションを構成するブラックボックスIPIアタックである。
論文 参考訳(メタデータ) (2026-08-31T03:39:43Z) - PIPES: Securing Agent Perception with Provenance and Priors [14.946462395720767]
PIPES (Provenance-Informed, Prior-Enforced Screening) を導入し, セマンティック・プリエンスとソース・プロファイランスを用いて応答単位をスクリーニングする。
デプロイメントは、検出された違反を取り除いたり、警告したり、ブロックしたり、エスカレートしたりすることができる。
3つのVitaBenchと3つのエージェントDynがGemma 4 31B ITを標的エージェントとして分割し、PIPESは平均攻撃成功率を84.7%から2.3%に減らし、平均良性ユーティリティ(92.5%、PIPESは90.6%)を維持する。
論文 参考訳(メタデータ) (2026-08-13T03:49:00Z) - Breadcrumbing Search Agents [118.20284823674382]
LLMベースの検索エージェントは情報検索タスクに広く利用されているが、外部ツールへの依存度は重大なセキュリティリスクをもたらす。
検索およびページ観察を行うチャネルは脆弱なセキュリティ境界であることを示す。
制約付きツール仲介脅威モデルの下では、クエリ毎に1つのコントロールされた結果のみを追加することで、攻撃の成功を大幅に増加させることができる。
論文 参考訳(メタデータ) (2026-08-05T07:57:27Z) - Capable but Careless: Do Computer-Use Agents Follow Contextual Integrity? [54.701199583505144]
アプリケーション間アクセスは、ほとんど見落とされたプライバシーリスクを生み出す。
我々はAgentCIBenchを紹介します。これは、このリスクを決定論的に評価されたシナリオに変換する評価ハーネスです。
我々は15のフロンティアエージェントを評価し、驚くほど高い失敗率を見出す。
論文 参考訳(メタデータ) (2026-06-22T11:36:58Z) - "I Strongly Suspect This Website Is a Scam": Benchmarking PII Leakage and Detection without Defense in Autonomous Web Agents [7.499940157426921]
ソーシャルエンジニアリング攻撃は、フロンティアWebエージェントからクリティカルレベルPIIを抽出するのに非常に効果的である。
最重要レベルのPIIリークは、プライバシガイダンスなしで54~93%に達する。
以上の結果から,攻撃に対するエージェント自身の認識に条件付けされた防御が,誤ったシグナルを鳴らしていることが判明した。
論文 参考訳(メタデータ) (2026-05-30T03:00:28Z) - Plant, Persist, Trigger: Sleeper Attack on Large Language Model Agents [64.80318459073526]
敵のコンテンツは、同一のエージェントによって提供される相互作用にまたがって持続できることを示し、そのような脅威を検知し緩和することを困難にしている。
具体的には、敵対的コンテンツはエージェント状態に留まり、相互作用をまたいだ休眠状態に留まり、その後、良心的なユーザクエリによって活性化される。
我々は、このタイプの安全脅威をスリーパー攻撃として形式化し、評価するために、現実世界の有害な結果6つ、攻撃戦略3つ、エージェント状態の目標3つをカバーする1,896件のベンチマークを構築した。
論文 参考訳(メタデータ) (2026-05-27T09:25:37Z) - An Empirical Study of Privacy Leakage Chains via Prompt Injection in Black-Box Chatbot Environments [3.275342475988451]
本稿では,間接的プロンプトインジェクションに基づくプライバシフリー・アタック・チェーンについて検討する。
まず、攻撃者が被疑者の意図したタスクをハイジャックする方法について分析する。
次に、ユーザプロンプトと検索ページの良質な開始を再構成するために、外部コンテンツにブリッジを用いた「例示」と呼ばれる新しいプロンプト言語手法を評価する。
論文 参考訳(メタデータ) (2026-05-18T09:38:18Z) - How Vulnerable Are AI Agents to Indirect Prompt Injections? Insights from a Large-Scale Public Competition [48.32744727426218]
LLMベースのエージェントは、電子メール、ドキュメント、コードリポジトリなどの外部データソースを処理する高利得設定にますますデプロイされている。
これにより間接的なプロンプトインジェクション攻撃が発生し、外部コンテンツに埋め込まれた敵の命令は、ユーザの意識なしにエージェントの動作を操作できる。
この2つの目的を3つのエージェント設定で評価した。
論文 参考訳(メタデータ) (2026-03-16T14:49:36Z) - Defending against Indirect Prompt Injection by Instruction Detection [109.30156975159561]
InstructDetectorは、LLMの動作状態を利用して潜在的なIPI攻撃を特定する、新しい検出ベースのアプローチである。
InstructDetectorは、ドメイン内設定で99.60%、ドメイン外設定で96.90%の検出精度を達成し、攻撃成功率をBIPIAベンチマークで0.03%に下げる。
論文 参考訳(メタデータ) (2025-05-08T13:04:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。