論文の概要: The Interlocutor Effect: Why LLMs Leak More Personal Data to Agents Than Humans
- arxiv url: http://arxiv.org/abs/2606.09844v1
- Date: Sun, 26 Apr 2026 18:38:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-15 07:09:36.799212
- Title: The Interlocutor Effect: Why LLMs Leak More Personal Data to Agents Than Humans
- Title(参考訳): インターロカター・エフェクト:LLMが人間よりも個人データを漏洩した理由
- Authors: Faouzi El Yagoubi, Godwin Badu-Marfo, Ranwa Al Mallah,
- Abstract要約: 大言語モデル(LLM)は、インターロケータの認識されたアイデンティティに基づいて、プライバシの振る舞いを変更する。
本研究では, エージェントとの相互作用において, 安全に配慮した注意が不活発になることを示唆する注意抑制仮説について検討した。
また,3,464件のインタラクションから得られた結果から,受取人をAIエージェントとして表現することで,PII漏洩が最大23ポイント増加することが示された。
- 参考スコア(独自算出の注目度): 0.9367224590861912
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large Language Models (LLMs) alter their privacy behavior based on the perceived identity of their interlocutor. While safety mechanisms typically prevent LLMs from releasing Personally Identifiable Information (PII) to human users, these models tend to reveal more sensitive data when addressing another AI agent. We refer to this as the \textbf{Interlocutor Effect}. Through an ablation study, we find evidence that the technical nature of the recipient contributes to this effect, thereby diminishing the model's caution regarding privacy. To explore this further, we introduce the Attention Suppression Hypothesis, which posits that safety-aligned attention heads become inactive during interactions with agents. We assess this quantitatively by comparing human-directed and agent-directed prompts in 222 sensitive scenarios. Our findings, drawn from 3,464 interactions, indicate that portraying the recipient as an AI agent elevates PII leakage by up to 23 percentage points. Initial experiments on Llama-3.1-8B-Instruct corroborate this: deactivating one safety head induces leakage, whereas reactivating it reinstates privacy safeguards. We consider the implications for developing secure multi-agent systems.
- Abstract(参考訳): 大言語モデル(LLM)は、インターロケータの認識されたアイデンティティに基づいて、プライバシの振る舞いを変更する。
安全メカニズムは通常、LLMがPII(Personally Identible Information)を人間にリリースすることを防ぐが、これらのモデルは、別のAIエージェントに対処する際の、より機密性の高いデータを明らかにする傾向がある。
これを \textbf{Interlocutor Effect} と呼ぶ。
アブレーション研究を通じて、受取人の技術的性質がこの効果に寄与する証拠を見つけ、それによってプライバシに関するモデルの注意を減らせる。
これをさらに探求するために,エージェントとの相互作用において,安全に配慮した注意が不活発になることを示唆する注意抑制仮説(Atention Suppression hypothesis)を導入する。
人間の指示とエージェント指示のプロンプトを222件の繊細なシナリオで比較することにより定量的に評価する。
3,464件のインタラクションから得られた知見は,受取人がAIエージェントであることを示すと,PII漏洩が最大23ポイント増加することを示している。
Llama-3.1-8B-Instructの初期の実験は、このことを裏付けている。
セキュアなマルチエージェントシステムを開発する上での意義について考察する。
関連論文リスト
- Plant, Persist, Trigger: Sleeper Attack on Large Language Model Agents [64.80318459073526]
敵のコンテンツは、同一のエージェントによって提供される相互作用にまたがって持続できることを示し、そのような脅威を検知し緩和することを困難にしている。
具体的には、敵対的コンテンツはエージェント状態に留まり、相互作用をまたいだ休眠状態に留まり、その後、良心的なユーザクエリによって活性化される。
我々は、このタイプの安全脅威をスリーパー攻撃として形式化し、評価するために、現実世界の有害な結果6つ、攻撃戦略3つ、エージェント状態の目標3つをカバーする1,896件のベンチマークを構築した。
論文 参考訳(メタデータ) (2026-05-27T09:25:37Z) - Multi-Agent Causal Reasoning for Suicide Ideation Detection Through Online Conversations [16.626899117362875]
自殺は依然として世界的な公衆衛生上の問題となっている。
ソーシャルメディアプラットフォームは、オンライン会話ツリーを通じて早期のリスク検出の機会を提供する。
既存のアプローチには2つの大きな制限がある。
論文 参考訳(メタデータ) (2026-02-27T01:06:18Z) - When Personalization Legitimizes Risks: Uncovering Safety Vulnerabilities in Personalized Dialogue Agents [49.341830745910194]
本稿では,パーソナライズされたエージェントの安全性障害である意図的正当性を明らかにする。
我々の研究は、安全障害モードとしての意図的正当性の最初の体系的な調査と評価を提供する。
論文 参考訳(メタデータ) (2026-01-25T15:42:01Z) - Semantically-Aware LLM Agent to Enhance Privacy in Conversational AI Services [0.0]
遠隔Large Language Models (LLM) を用いた場合, センシティブなPIIデータを保護するためのセマンティック・アウェア・プライバシ・エージェントを提案する。
応答品質を劣化させるような以前の作業とは異なり、我々のアプローチはユーザプロンプトのセンシティブなPIIエンティティを意味的に一貫した名前で動的に置き換える。
この結果から,LOPSIDEDは基本手法と比較して意味的ユーティリティエラーを5倍に削減できることがわかった。
論文 参考訳(メタデータ) (2025-10-30T21:34:23Z) - Dark Patterns Meet GUI Agents: LLM Agent Susceptibility to Manipulative Interfaces and the Role of Human Oversight [51.53020962098759]
本研究では,エージェント,ヒト参加者,ヒトAIチームが,さまざまなシナリオにまたがる16種類の暗黒パターンにどのように反応するかを検討する。
フェーズ1では、エージェントが暗黒パターンを認識するのに失敗することが多く、たとえ認識されたとしても、保護行動よりもタスク完了を優先することが強調される。
第2段階では、認知的ショートカットと習慣的コンプライアンスにより、人間はしゃがみ込み、エージェントは手続き的な盲点から遠ざかる。
論文 参考訳(メタデータ) (2025-09-12T22:26:31Z) - Privacy Leakage Overshadowed by Views of AI: A Study on Human Oversight of Privacy in Language Model Agent [3.89966779727297]
個人のタスクを代行する言語モデル(LM)エージェントは生産性を向上するが、意図しないプライバシー漏洩のリスクも受けやすい。
本研究は、LMエージェントのプライバシ含意を監督する人々の能力に関する最初の研究である。
論文 参考訳(メタデータ) (2024-11-02T19:15:42Z) - PsySafe: A Comprehensive Framework for Psychological-based Attack, Defense, and Evaluation of Multi-agent System Safety [70.84902425123406]
大規模言語モデル(LLM)で拡張されたマルチエージェントシステムは、集団知能において重要な能力を示す。
しかし、悪意のある目的のためにこのインテリジェンスを誤用する可能性があり、重大なリスクが生じる。
本研究では,エージェント心理学を基盤とした枠組み(PsySafe)を提案し,エージェントのダークパーソナリティ特性がリスク行動にどう影響するかを明らかにする。
実験の結果,エージェント間の集団的危険行動,エージェントが危険な行動を行う際の自己反射,エージェントの心理的評価と危険な行動との相関など,いくつかの興味深い現象が明らかになった。
論文 参考訳(メタデータ) (2024-01-22T12:11:55Z) - Malicious Agent Detection for Robust Multi-Agent Collaborative Perception [52.261231738242266]
多エージェント協調(MAC)知覚は、単エージェント認識よりも敵攻撃に対して脆弱である。
MAC知覚に特異的な反応防御であるMADE(Malicious Agent Detection)を提案する。
我々は、ベンチマーク3DデータセットV2X-simとリアルタイムデータセットDAIR-V2Xで包括的な評価を行う。
論文 参考訳(メタデータ) (2023-10-18T11:36:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。