論文の概要: Malicious LLM-Based Conversational AI Makes Users Reveal Personal Information

• arxiv url: http://arxiv.org/abs/2506.11680v1
• Date: Fri, 13 Jun 2025 11:19:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-16 17:50:49.766597
• Title: Malicious LLM-Based Conversational AI Makes Users Reveal Personal Information
• Title（参考訳）: 悪意のあるLLMベースの会話AIは、ユーザーの個人情報を検索する
• Authors: Xiao Zhan, Juan Carlos Carrillo, William Seymour, Jose Such,
• Abstract要約: LLMベースの会話型AI(Conversational AI, CAI)は、さまざまなドメインで使用されているが、プライバシのリスクが生じる。 近年の研究では、LSMベースのCAIが悪意のある目的に使用できることが示されている。 この研究は、この新しいタイプのLSMベースのCAIによって引き起こされるプライバシーの脅威を浮き彫りにする。
• 参考スコア（独自算出の注目度）: 9.18715978278858
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: LLM-based Conversational AIs (CAIs), also known as GenAI chatbots, like ChatGPT, are increasingly used across various domains, but they pose privacy risks, as users may disclose personal information during their conversations with CAIs. Recent research has demonstrated that LLM-based CAIs could be used for malicious purposes. However, a novel and particularly concerning type of malicious LLM application remains unexplored: an LLM-based CAI that is deliberately designed to extract personal information from users. In this paper, we report on the malicious LLM-based CAIs that we created based on system prompts that used different strategies to encourage disclosures of personal information from users. We systematically investigate CAIs' ability to extract personal information from users during conversations by conducting a randomized-controlled trial with 502 participants. We assess the effectiveness of different malicious and benign CAIs to extract personal information from participants, and we analyze participants' perceptions after their interactions with the CAIs. Our findings reveal that malicious CAIs extract significantly more personal information than benign CAIs, with strategies based on the social nature of privacy being the most effective while minimizing perceived risks. This study underscores the privacy threats posed by this novel type of malicious LLM-based CAIs and provides actionable recommendations to guide future research and practice.
• Abstract（参考訳）: LLMベースの会話型AI(CAI)、あるいはChatGPTのようなGenAIチャットボットは、さまざまなドメインで使用されているが、ユーザがCAIとの会話中に個人情報を開示する可能性があるため、プライバシー上のリスクが生じる。 近年の研究では、LSMベースのCAIが悪意のある目的に使用できることが示されている。 しかし、新しい、特に悪質なLLMアプリケーションの種類については、ユーザーから個人情報を引き出すために意図的に設計されたLLMベースのCAIがまだ探索されていない。 本稿では,ユーザからの個人情報の開示を促すために,異なる戦略を用いたシステムプロンプトに基づいて作成した悪意あるLCMベースのCAIについて報告する。 我々は,502人の参加者によるランダム化試験を行うことで,会話中のユーザから個人情報を抽出するCAIの能力を体系的に検討した。 被験者から個人情報を抽出する各種の悪意のあるCAIと良識のあるCAIの有効性を評価し,CAIとの相互作用後の参加者の知覚を分析した。 以上の結果から,悪質なCAIは,認知リスクを最小限に抑えつつも,プライバシーの社会的性質に基づく戦略が最も効果的であることから,良質なCAIよりもはるかに多くの個人情報を抽出することがわかった。 この研究は、この新たなLSMベースのCAIによって引き起こされるプライバシーの脅威を浮き彫りにし、将来の研究と実践を導くための実用的なレコメンデーションを提供する。

関連論文リスト

• Automated Profile Inference with Language Model Agents [67.32226960040514]
  自動プロファイル推論(Automatic Profile Inference)と呼ばれる,LLMがオンラインの偽名にもたらす新たな脅威について検討する。 相手は、LDMに対して、疑似プラットフォーム上で公開されているユーザアクティビティから、機密性の高い個人属性を自動的に取り除き、抽出するように指示することができる。 実世界のシナリオにおけるこのような脅威の可能性を評価するために,AutoProfilerという自動プロファイリングフレームワークを導入する。
  論文  参考訳（メタデータ） (2025-05-18T13:05:17Z)
• Protecting Users From Themselves: Safeguarding Contextual Privacy in Interactions with Conversational Agents [33.26308626066122]
  LLMとのユーザインタラクションにおけるコンテキストプライバシの概念を特徴付ける。 これは、ユーザーが意図した目標を達成するのに必要な情報のみを(ベンダー)が開示することを保証することで、プライバシー上のリスクを最小限にすることを目的としている。
  論文  参考訳（メタデータ） (2025-02-22T09:05:39Z)
• Rescriber: Smaller-LLM-Powered User-Led Data Minimization for LLM-Based Chatbots [2.2447085410328103]
  Rescriberは、LLMベースの会話エージェントでユーザ主導のデータ最小化をサポートするブラウザエクステンションである。 我々の研究によると、Rescriberはユーザーが不必要な開示を減らし、プライバシー上の懸念に対処するのに役立ちました。 以上の結果から,LLMによる小型ユーザ向けオンデバイスプライバシコントロールの実現可能性が確認された。
  論文  参考訳（メタデータ） (2024-10-10T01:23:16Z)
• Evaluating LLM-based Personal Information Extraction and Countermeasures [63.91918057570824]
  大規模言語モデル(LLM)に基づく個人情報抽出をベンチマークすることができる。 LLMは攻撃者によって誤用され、個人プロファイルから様々な個人情報を正確に抽出する。 プロンプトインジェクションは強力なLDMベースの攻撃に対して防御し、攻撃をより効果的でない従来の攻撃に還元する。
  論文  参考訳（メタデータ） (2024-08-14T04:49:30Z)
• CLAMBER: A Benchmark of Identifying and Clarifying Ambiguous Information Needs in Large Language Models [60.59638232596912]
  大規模言語モデル(LLM)を評価するベンチマークであるCLAMBERを紹介する。 分類を基盤として12Kの高品質なデータを構築し, 市販のLCMの強度, 弱点, 潜在的なリスクを評価する。 本研究は, あいまいなユーザクエリの特定と明確化において, 現在のLCMの実用性に限界があることを示唆する。
  論文  参考訳（メタデータ） (2024-05-20T14:34:01Z)
• Can LLMs Keep a Secret? Testing Privacy Implications of Language Models via Contextual Integrity Theory [82.7042006247124]
  私たちは、最も有能なAIモデルでさえ、人間がそれぞれ39%と57%の確率で、プライベートな情報を公開していることを示しています。 我々の研究は、推論と心の理論に基づいて、新しい推論時プライバシー保護アプローチを即時に探求する必要性を浮き彫りにしている。
  論文  参考訳（メタデータ） (2023-10-27T04:15:30Z)
• "It's a Fair Game", or Is It? Examining How Users Navigate Disclosure Risks and Benefits When Using LLM-Based Conversational Agents [27.480959048351973]
  大規模言語モデル(LLM)ベースの会話エージェント(CA)の普及は、多くのプライバシー上の懸念を引き起こす。 実世界のChatGPT会話における機密情報開示を分析し,19名のLCMユーザを対象に半構造化インタビューを行った。 LLMベースのCAを使用する場合,ユーザは常に,プライバシやユーティリティ,利便性のトレードオフに直面しています。
  論文  参考訳（メタデータ） (2023-09-20T21:34:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。