論文の概要: Prevalence of Security and Privacy Risk-Inducing Usage of AI-based Conversational Agents

• arxiv url: http://arxiv.org/abs/2510.27275v1
• Date: Fri, 31 Oct 2025 08:35:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-03 17:52:16.039216
• Title: Prevalence of Security and Privacy Risk-Inducing Usage of AI-based Conversational Agents
• Title（参考訳）: AIを用いた会話エージェントのセキュリティとプライバシリスク発生状況
• Authors: Kathrin Grosse, Nico Ebert,
• Abstract要約: Prolificを用いて2024年にイギリス人3,270人を対象に調査を行った。 そのうちの3分の1は、少なくとも週に1回はChatGPTやGeminiといったCAサービスを使用している。 4番目はジェイルブレイクを試みた(好奇心、楽しみ、情報検索など、理解可能な理由から)。
• 参考スコア（独自算出の注目度）: 6.196034023307935
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent improvement gains in large language models (LLMs) have lead to everyday usage of AI-based Conversational Agents (CAs). At the same time, LLMs are vulnerable to an array of threats, including jailbreaks and, for example, causing remote code execution when fed specific inputs. As a result, users may unintentionally introduce risks, for example, by uploading malicious files or disclosing sensitive information. However, the extent to which such user behaviors occur and thus potentially facilitate exploits remains largely unclear. To shed light on this issue, we surveyed a representative sample of 3,270 UK adults in 2024 using Prolific. A third of these use CA services such as ChatGPT or Gemini at least once a week. Of these ``regular users'', up to a third exhibited behaviors that may enable attacks, and a fourth have tried jailbreaking (often out of understandable reasons such as curiosity, fun or information seeking). Half state that they sanitize data and most participants report not sharing sensitive data. However, few share very sensitive data such as passwords. The majority are unaware that their data can be used to train models and that they can opt-out. Our findings suggest that current academic threat models manifest in the wild, and mitigations or guidelines for the secure usage of CAs should be developed. In areas critical to security and privacy, CAs must be equipped with effective AI guardrails to prevent, for example, revealing sensitive information to curious employees. Vendors need to increase efforts to prevent the entry of sensitive data, and to create transparency with regard to data usage policies and settings.
• Abstract（参考訳）: 大規模言語モデル(LLM)の近年の改善により、AIベースの会話エージェント(CA)が日常的に使用されている。 同時に、LDMはジェイルブレイクを含む一連の脅威に対して脆弱であり、例えば特定の入力を入力した場合にリモートコード実行を引き起こす。 その結果、悪意のあるファイルをアップロードしたり、機密情報を開示することで、ユーザは意図せずにリスクを導入することができる。 しかし、そのようなユーザ行動がどの程度発生し、潜在的にエクスプロイトを促進するかは、明らかになっていない。 この問題を明らかにするため、2024年に英国在住の3,270人のサンプルをProlificを用いて調査した。 そのうちの3分の1は、少なくとも週に1回はChatGPTやGeminiといったCAサービスを使用している。 これらの‘正規ユーザ’の中で、攻撃を可能にする3分の1の行動を示し、4分の1はジェイルブレイクを試みた(好奇心、楽しみ、情報検索といった理解可能な理由から)。 半数はデータを衛生化しており、ほとんどの参加者は機密データを共有していないと報告している。 しかし、パスワードのような非常に機密性の高いデータを共有するものはほとんどない。 大多数は、自分のデータがモデルのトレーニングに使用でき、オプトアウト可能であることに気づいていない。 本研究は,現在の学術的脅威モデルが野生に出現していることを示唆し,CAの安全利用に関する緩和やガイドラインを策定すべきである。 セキュリティとプライバシーに重要な分野において、CAは、例えば、好奇心のある従業員に機密情報を明らかにすることを防ぐために、効果的なAIガードレールを備えなければならない。 ベンダーは、機密データの入力を防止し、データ利用ポリシーや設定に関する透明性を創出するための努力を強化する必要がある。

関連論文リスト

• Malice in Agentland: Down the Rabbit Hole of Backdoors in the AI Supply Chain [82.98626829232899]
  自分自身のインタラクションからのデータに対する微調整のAIエージェントは、AIサプライチェーン内の重要なセキュリティ脆弱性を導入している。 敵は容易にデータ収集パイプラインに毒を盛り、検出しにくいバックドアを埋め込むことができる。
  論文  参考訳（メタデータ） (2025-10-03T12:47:21Z)
• Guarding Your Conversations: Privacy Gatekeepers for Secure Interactions with Cloud-Based AI Models [0.34998703934432673]
  ユーザクエリから機密情報をフィルタリングする,軽量でローカルな実行モデルであるLLMゲートキーパのコンセプトを提案する。 人間の被験者による実験を通して、この二重モデルアプローチは、LLM応答の品質を損なうことなく、ユーザのプライバシーを大幅に向上させながら、最小限のオーバーヘッドをもたらすことを示した。
  論文  参考訳（メタデータ） (2025-08-22T19:49:03Z)
• Defeating Prompt Injections by Design [79.00910871948787]
  CaMeLは、Large Language Modelsを中心とした保護システムレイヤを作成する堅牢なディフェンスである。 CaMeLは、(信頼された)クエリから制御とデータフローを明示的に抽出する。 セキュリティをさらに改善するため、CaMeLは、権限のないデータフロー上のプライベートデータの流出を防止する機能の概念を使用している。
  論文  参考訳（メタデータ） (2025-03-24T15:54:10Z)
• AgentDAM: Privacy Leakage Evaluation for Autonomous Web Agents [66.29263282311258]
  我々は、AIウェブナビゲーションエージェントがデータ最小化のプライバシー原則に従うかどうかを測定する新しいベンチマークAgentDAMを紹介する。 我々のベンチマークは、現実的なWebインタラクションシナリオをエンドツーエンドでシミュレートし、既存のWebナビゲーションエージェントに適応する。
  論文  参考訳（メタデータ） (2025-03-12T19:30:31Z)
• Privacy Aware Memory Forensics [3.382960674045592]
  最近の調査によると、データ漏洩の60%は、主に悪意のあるインサイダーの脅威によって引き起こされている。 本研究では,組織内のインサイダーによるデータ漏洩を検出する新しい手法を提案する。 本手法はインサイダー装置のRAMを捕捉し,ホストシステムからの機密情報漏洩を解析する。
  論文  参考訳（メタデータ） (2024-06-13T11:18:49Z)
• NAP^2: A Benchmark for Naturalness and Privacy-Preserving Text Rewriting by Learning from Human [56.46355425175232]
  我々は,人間によって使用される2つの共通戦略を用いて,機密テキストの衛生化を提案する。 我々は,クラウドソーシングと大規模言語モデルの利用を通じて,NAP2という最初のコーパスをキュレートする。 匿名化に関する以前の研究と比較すると、人間に触発されたアプローチはより自然な書き直しをもたらす。
  論文  参考訳（メタデータ） (2024-06-06T05:07:44Z)
• FLTrojan: Privacy Leakage Attacks against Federated Language Models Through Selective Weight Tampering [2.2194815687410627]
  悪意のあるクライアントが、サーバからの協力なしに、FL内の他のユーザのプライバシーに敏感なデータを漏洩させる方法を示す。 提案手法は, 最大71%の個人データ再構成を達成し, 会員推算率を29%向上させる。
  論文  参考訳（メタデータ） (2023-10-24T19:50:01Z)
• Backdoor Attack against Speaker Verification [86.43395230456339]
  学習データを汚染することにより,話者検証モデルに隠れたバックドアを注入できることを示す。 また,既存のバックドア攻撃が話者認証攻撃に直接適用できないことも実証した。
  論文  参考訳（メタデータ） (2020-10-22T11:10:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。