論文の概要: Are Chatbots Ready for Privacy-Sensitive Applications? An Investigation
into Input Regurgitation and Prompt-Induced Sanitization
- arxiv url: http://arxiv.org/abs/2305.15008v1
- Date: Wed, 24 May 2023 10:48:05 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-25 16:55:51.948390
- Title: Are Chatbots Ready for Privacy-Sensitive Applications? An Investigation
into Input Regurgitation and Prompt-Induced Sanitization
- Title(参考訳): チャットボットはプライバシーに敏感なアプリケーションに適しているか?
入力レギュレーションとプロンプトによる衛生に関する研究
- Authors: Aman Priyanshu, Supriti Vijay, Ayush Kumar, Rakshit Naidu and
Fatemehsadat Mireshghallah
- Abstract要約: ChatGPTは個人識別可能な情報(PII)を57.4%の症例で口頭で保持する。
本稿では,ChatGPTのプライバシ関連ポリシとメカニズムに対する認識を直接指示し,準拠したアウトプットを提供することで,ChatGPTの認識を探索する。
- 参考スコア(独自算出の注目度): 4.01610127647615
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: LLM-powered chatbots are becoming widely adopted in applications such as
healthcare, personal assistants, industry hiring decisions, etc. In many of
these cases, chatbots are fed sensitive, personal information in their prompts,
as samples for in-context learning, retrieved records from a database, or as
part of the conversation. The information provided in the prompt could directly
appear in the output, which might have privacy ramifications if there is
sensitive information there. As such, in this paper, we aim to understand the
input copying and regurgitation capabilities of these models during inference
and how they can be directly instructed to limit this copying by complying with
regulations such as HIPAA and GDPR, based on their internal knowledge of them.
More specifically, we find that when ChatGPT is prompted to summarize cover
letters of a 100 candidates, it would retain personally identifiable
information (PII) verbatim in 57.4% of cases, and we find this retention to be
non-uniform between different subgroups of people, based on attributes such as
gender identity. We then probe ChatGPT's perception of privacy-related policies
and privatization mechanisms by directly instructing it to provide compliant
outputs and observe a significant omission of PII from output.
- Abstract(参考訳): LLMを利用したチャットボットは、医療、パーソナルアシスタント、業界の雇用決定などのアプリケーションで広く採用されている。
多くの場合、チャットボットは、インコンテキスト学習のためのサンプル、データベースから取得したレコード、会話の一部として、そのプロンプトに機密性の高い個人情報を入力される。
プロンプトで提供される情報は出力に直接表示され、機密情報があればプライバシーに悪影響を及ぼす可能性がある。
そこで本論文では,これらのモデルの推論における入力コピーと再生能力の理解と,HIPAAやGDPRなどの規則に従って直接このコピーを制限できるように指示する方法について,その内部知識に基づいて検討する。
より具体的には、ChatGPTが100人の候補者のカバーレターを要約するよう促されると、57.4%のケースで個人識別可能な情報(PII)の動詞を保持でき、この保持は、性同一性などの属性に基づいて、異なるサブグループ間で不均一であることがわかった。
次に、ChatGPTのプライバシ関連ポリシーと民営化メカニズムに対する認識を調査し、直接指示することで、準拠した出力を提供し、出力からPIIのかなりの排除を観察する。
関連論文リスト
- Privacy-Preserved Neural Graph Databases [52.1165903128359]
NGDBにおけるプライバシー漏洩のリスクを軽減するために,プライバシ保存型ニューラルグラフデータベース(P-NGDB)フレームワークを提案する。
本研究は,NGDBを訓練段階に導入し,個人情報で質問したときの識別不能な回答を生成する。
論文 参考訳(メタデータ) (2023-12-25T02:32:05Z) - Can LLMs Keep a Secret? Testing Privacy Implications of Language Models
via Contextual Integrity Theory [86.8514623654506]
私たちは、最も有能なAIモデルでさえ、人間がそれぞれ39%と57%の確率で、プライベートな情報を公開していることを示しています。
我々の研究は、推論と心の理論に基づいて、新しい推論時プライバシー保護アプローチを即時に探求する必要性を浮き彫りにしている。
論文 参考訳(メタデータ) (2023-10-27T04:15:30Z) - FedBot: Enhancing Privacy in Chatbots with Federated Learning [0.0]
Federated Learning(FL)は、データをその場所に保持する分散学習方法を通じて、データのプライバシを保護することを目的としている。
POCはDeep Bidirectional Transformerモデルとフェデレーション学習アルゴリズムを組み合わせて、コラボレーティブモデルトレーニング中の顧客のデータプライバシを保護する。
このシステムは、過去のインタラクションから学習する能力を活用することで、時間とともにパフォーマンスと精度を向上させるように設計されている。
論文 参考訳(メタデータ) (2023-04-04T23:13:52Z) - DeID-GPT: Zero-shot Medical Text De-Identification by GPT-4 [80.36535668574804]
我々は新しいGPT4対応脱識別フレームワーク(DeID-GPT)を開発した。
開発したDeID-GPTは,非構造化医用テキストからの個人情報のマスキングにおいて,高い精度と信頼性を示した。
本研究は,ChatGPTおよびGPT-4を医療用テキストデータ処理および非識別に利用した最初期の1つである。
論文 参考訳(メタデータ) (2023-03-20T11:34:37Z) - How Do Input Attributes Impact the Privacy Loss in Differential Privacy? [55.492422758737575]
DPニューラルネットワークにおけるオブジェクトごとの規範と個人のプライバシ損失との関係について検討する。
プライバシ・ロス・インプット・サセプティビリティ(PLIS)と呼ばれる新しい指標を導入し、被験者のプライバシ・ロスを入力属性に適応させることを可能にした。
論文 参考訳(メタデータ) (2022-11-18T11:39:03Z) - Semantics-Preserved Distortion for Personal Privacy Protection [48.69930912510414]
クライアントデバイスでは、ユーザによって毎日、個人情報を含む大量のテキストが生成される。
フェデレートラーニング(Federated Learning)では、クライアントデバイスの生の情報から中心モデルをブロックする多くの方法が提案されている。
本稿では,意味を保ちながらテキストを歪ませることで,より言語的にこれを行おうとする。
論文 参考訳(メタデータ) (2022-01-04T04:01:05Z) - Reinforcement Learning on Encrypted Data [58.39270571778521]
本稿では,DQNエージェントが,離散的かつ連続的な状態空間を持つ環境でどのように動作するかを予備的,実験的に検討する。
その結果,非決定論的暗号が存在する場合でも,エージェントは依然として小さな状態空間で学習することができるが,より複雑な環境では性能が低下することがわかった。
論文 参考訳(メタデータ) (2021-09-16T21:59:37Z) - CAPE: Context-Aware Private Embeddings for Private Language Learning [0.5156484100374058]
Context-Aware Private Embeddings (CAPE)は、埋め込みのトレーニング中にプライバシを保存する新しいアプローチである。
CAPEはディファレンシャルプライバシを通じて校正ノイズを適用し、機密情報を隠蔽しながらエンコードされたセマンティックリンクを保存する。
実験結果から,提案手法は単一介入よりも情報漏洩を低減させることが示された。
論文 参考訳(メタデータ) (2021-08-27T14:50:12Z) - A Multi-input Multi-output Transformer-based Hybrid Neural Network for
Multi-class Privacy Disclosure Detection [3.04585143845864]
本稿では,伝達学習,言語学,メタデータを用いて隠れパターンを学習するマルチインプット・マルチアウトプットハイブリッドニューラルネットワークを提案する。
我々は,5,400のツイートを含む人間の注釈付き真実データセットを用いて,我々のモデルを訓練し,評価した。
論文 参考訳(メタデータ) (2021-08-19T03:58:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。