論文の概要: Is it my preference? Role Grounding Attack against Agent's Memory via Social Interaction

• arxiv url: http://arxiv.org/abs/2610.38209v1
• Date: Wed, 28 Oct 2026 03:03:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-01 01:32:09.942133
• Title: Is it my preference? Role Grounding Attack against Agent's Memory via Social Interaction
• Title（参考訳）: 私の好みか? 社会的相互作用によるエージェントの記憶に対する役割接地攻撃
• Abstract要約: LLMベースのエージェントは、ソーシャルプラットフォーム上での経験を共有し、パフォーマンスを高めるために新しい好みを思い出す。 本研究では,攻撃者が設計したインタラクションによって攻撃者の嗜好を誤って記録するロール・グラウンディング・ミサトリビューションを,被害者のユーザの嗜好として同定する。 私たちは、ネストされた会話構造を通じてこの脆弱性を利用する攻撃モデルであるRole Grounding Attack(RGA)を初めて公式化した。
• 参考スコア（独自算出の注目度）: 12.62834650677958
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: LLM-based agents now share experiences on social platforms and remember new preferences to enhance their performance. However, existing memory systems contain a vulnerability in role-to-principal attribution that attackers can exploit. We identify Role Grounding Misattribution, in which an attacker-designed interaction causes the victim agent to incorrectly record a preference from the attacker as a preference of the victim's user. Specifically, we are the first to formalize Role Grounding Attack (RGA), an attack model that exploits this vulnerability through nested conversation structures. In the memory formation stage, an experience-sharing post quoting a conversation between the attacker agent and its user is published, which explicitly identifies its publisher. The inner conversation expresses preferences from the user of the attacker agent. When the victim agent remembers preferences from this nested structure, its memory loses the context binding and grounds the attacker's preference to the victim's user instead. In the memory retrieval stage, the misattributed preference persists and influences the victim agent's decisions when it encounters relevant scenarios. We instantiate RGA as tool selection manipulation and privacy leakage. Tool selection manipulation causes a tool-call preference to be misattributed to the victim's user, steering the victim toward an attacker-controlled tool. Privacy leakage extends this by misattributing both a tool-call preference and a task-requirement preference to the victim's user. The victim selects the attacker's tool, then includes sensitive information in tool arguments to satisfy the task requirement. We evaluate RGA across five mainstream memory systems and six language models. Tool manipulation and privacy leakage both achieve high attack success rates. These results call for stronger role grounding.
• Abstract（参考訳）: LLMベースのエージェントは、ソーシャルプラットフォーム上での経験を共有し、パフォーマンスを高めるために新しい好みを思い出す。 しかし、既存のメモリシステムは攻撃者が悪用できるロール・ツー・プリンシパル属性の脆弱性を含んでいる。 本研究では,攻撃者が設計したインタラクションによって攻撃者の嗜好を誤って記録するロール・グラウンディング・ミサトリビューションを,被害者のユーザの嗜好として同定する。 具体的には、ネストされた会話構造を通じてこの脆弱性を利用する攻撃モデルであるロールグラウンディングアタック(RGA)を初めて形式化した。 メモリ形成段階では、攻撃者エージェントとユーザとの会話を引用する体験共有ポストが発行され、パブリッシャを明示的に特定する。 内部会話は、攻撃者エージェントのユーザからの好みを表す。 被害者のエージェントがこのネストされた構造からの好みを記憶すると、そのメモリはコンテキストバインディングを失い、代わりに攻撃者の好みを被害者のユーザに与える。 メモリ検索の段階では、悪用された嗜好は、関連するシナリオに遭遇した場合、被害者の判断に持続し、影響を及ぼす。 ツールの選択操作とプライバシリークとしてRGAをインスタンス化する。 ツールの選択操作は、ツールコールの好みを被害者のユーザに誤解させる原因となり、攻撃者が管理するツールに向かって被害者を操る。 プライバシリークは、ツールコールの好みとタスク要求の好みの両方を被害者のユーザに誤解させることによって、これを拡張します。 被害者は攻撃者のツールを選択し、タスク要求を満たすためにツール引数に機密情報を含む。 5つの主流メモリシステムと6つの言語モデルにまたがるRGAを評価する。 ツール操作とプライバシリークはどちらも高い攻撃成功率を達成する。 これらの結果から、より強い役割の基盤が求められている。

関連論文リスト

• Combining Long-Term Memory and LLMs Comes at a High Cost: From Prompt Injection to Persistent Compromise [0.5958527024442727]
  現代の会話インタフェースにおける永続メモリ機能は、クロスセッションアタックの伝搬を可能にする。 この研究は、LLM-as-a-serviceプラットフォームをリードするこの新たな脆弱性を探求する。 メモリインジェクションは、パーソナルメモリ、プロジェクト、スキル、組織命令、モデルコンテキストプロトコル(MCP)に接続されたリソースなど、複数の攻撃ベクターを利用することができることを示す。
  論文  参考訳（メタデータ） (2026-10-20T18:33:05Z)
• Pincer: Resource Authorization for Agents using a Digital Twin [67.15317774522758]
  Pincerは新しいディフェンスで、リソース層で動作し、オートモードのようなツールコール層で既存のディフェンスと連携する。 Pincerのコアにはデジタルツインがある。分離されたコンテキストモデルで、動的にユーザ固有の最小限のポリシーを自動的に学習し、強制する。 評価の結果,Pincerはいくつかのベースラインと比較して,セキュリティとユーティリティの両方に強く依存していることがわかった。
  論文  参考訳（メタデータ） (2026-10-01T23:03:12Z)
• ROPE: Routed Origin Policy Enforcement against Indirect Prompt Injection [61.4148196085256]
  本稿では,信頼という構造概念に根ざしたROPE(Routed Origin Policy Enforcement)について述べる。 提案手法では,(1)軌道の各段階において,攻撃可能コンテンツのみを起点とする値が,原点保護パラメータに到達しない,(2)注入のリワードがない,という2つの保証が認められている。
  論文  参考訳（メタデータ） (2026-08-27T01:22:14Z)
• Plant, Persist, Trigger: Sleeper Attack on Large Language Model Agents [64.80318459073526]
  敵のコンテンツは、同一のエージェントによって提供される相互作用にまたがって持続できることを示し、そのような脅威を検知し緩和することを困難にしている。 具体的には、敵対的コンテンツはエージェント状態に留まり、相互作用をまたいだ休眠状態に留まり、その後、良心的なユーザクエリによって活性化される。 我々は、このタイプの安全脅威をスリーパー攻撃として形式化し、評価するために、現実世界の有害な結果6つ、攻撃戦略3つ、エージェント状態の目標3つをカバーする1,896件のベンチマークを構築した。
  論文  参考訳（メタデータ） (2026-05-27T09:25:37Z)
• An Empirical Study of Privacy Leakage Chains via Prompt Injection in Black-Box Chatbot Environments [3.275342475988451]
  本稿では,間接的プロンプトインジェクションに基づくプライバシフリー・アタック・チェーンについて検討する。 まず、攻撃者が被疑者の意図したタスクをハイジャックする方法について分析する。 次に、ユーザプロンプトと検索ページの良質な開始を再構成するために、外部コンテンツにブリッジを用いた「例示」と呼ばれる新しいプロンプト言語手法を評価する。
  論文  参考訳（メタデータ） (2026-05-18T09:38:18Z)
• Zombie Agents: Persistent Control of Self-Evolving LLM Agents via Self-Reinforcing Injections [57.64370755825839]
  セルフ進化エージェントはセッション間で内部状態を更新する。 我々はこのリスクを調査し、Zombie Agentと呼ばれる永続的な攻撃を形式化する。 我々は,攻撃者が制御するWebコンテンツを通じて間接的露光のみを使用するブラックボックス攻撃フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-02-17T15:28:24Z)
• Modeling Behavioral Preferences of Cyber Adversaries Using Inverse Reinforcement Learning [4.5456862813416565]
  本稿では,逆強化学習(IRL)を用いたシステムレベルの監査ログから攻撃者の嗜好をモデル化するための包括的アプローチを提案する。 我々は、彼らのツールや技術に関する法医学データから、サイバー敵の行動選好を学習する。 その結果,低レベルの鑑識データが,相手の主観的嗜好を自動的に明らかにできることがわかった。
  論文  参考訳（メタデータ） (2025-05-02T18:20:14Z)
• Personalized Attacks of Social Engineering in Multi-turn Conversations: LLM Agents for Simulation and Detection [19.604708321391012]
  ソーシャルメディアプラットフォームに対する社会工学(SE)攻撃は重大なリスクをもたらす。 マルチターン会話を生成することで,SE攻撃機構をシミュレートするLLM-agentic framework,SE-VSimを提案する。 本研究は,被害者の人格に関する事前知識を活用することで,ユーザに対してパーソナライズされた保護を提供するための概念実証SE-OmniGuardを提案する。
  論文  参考訳（メタデータ） (2025-03-18T19:14:44Z)
• Memory Injection Attacks on LLM Agents via Query-Only Interaction [49.14715983268449]
  我々は,攻撃者がエージェントのメモリバンクを直接変更できると仮定することなく,新たなメモリインジェクション攻撃(MINJA)を提案する。 攻撃者は、クエリと出力観察を通してエージェントとのみ対話することで、悪意のあるレコードをメモリバンクに注入する。 MINJAは、任意のユーザがエージェントメモリに影響を与え、リスクを強調します。
  論文  参考訳（メタデータ） (2025-03-05T17:53:24Z)
• Air Gap: Protecting Privacy-Conscious Conversational Agents [44.04662124191715]
  敵のサードパーティアプリがインタラクションのコンテキストを操作して,LDMベースのエージェントを騙して,そのタスクに関係のない個人情報を明らかにする,新たな脅威モデルを導入する。 本研究では,特定のタスクに必要なデータのみへのアクセスを制限することで,意図しないデータ漏洩を防止するために設計されたプライバシ意識エージェントであるAirGapAgentを紹介する。
  論文  参考訳（メタデータ） (2024-05-08T16:12:45Z)
• Sampling Attacks: Amplification of Membership Inference Attacks by Repeated Queries [74.59376038272661]
  本手法は,他の標準メンバーシップ相手と異なり,被害者モデルのスコアにアクセスできないような厳格な制限の下で動作可能な,新しいメンバーシップ推論手法であるサンプリングアタックを導入する。 ラベルのみを公開している被害者モデルでは,攻撃のサンプリングが引き続き可能であり,攻撃者はその性能の最大100%を回復できることを示す。 防衛においては,被害者モデルのトレーニング中の勾配摂動と予測時の出力摂動の形式で差分プライバシーを選択する。
  論文  参考訳（メタデータ） (2020-09-01T12:54:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。