論文の概要: PrivacyLens: Evaluating Privacy Norm Awareness of Language Models in Action

• arxiv url: http://arxiv.org/abs/2409.00138v2
• Date: Thu, 17 Oct 2024 04:43:40 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-08 03:57:28.058010
• Title: PrivacyLens: Evaluating Privacy Norm Awareness of Language Models in Action
• Title（参考訳）: PrivacyLens: 行動中の言語モデルのプライバシノーム認識を評価する
• Authors: Yijia Shao, Tianshi Li, Weiyan Shi, Yanchen Liu, Diyi Yang,
• Abstract要約: PrivacyLensは、プライバシに敏感な種子を表現的なヴィグネットに拡張し、さらにエージェントの軌跡に拡張するために設計された新しいフレームワークである。 プライバシの文献とクラウドソーシングされたシードに基づいて、プライバシの規範のコレクションをインスタンス化する。 GPT-4やLlama-3-70Bのような最先端のLMは、プライバシー強化の指示が出されたとしても、機密情報を25.68%、38.69%のケースでリークしている。
• 参考スコア（独自算出の注目度）: 54.11479432110771
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As language models (LMs) are widely utilized in personalized communication scenarios (e.g., sending emails, writing social media posts) and endowed with a certain level of agency, ensuring they act in accordance with the contextual privacy norms becomes increasingly critical. However, quantifying the privacy norm awareness of LMs and the emerging privacy risk in LM-mediated communication is challenging due to (1) the contextual and long-tailed nature of privacy-sensitive cases, and (2) the lack of evaluation approaches that capture realistic application scenarios. To address these challenges, we propose PrivacyLens, a novel framework designed to extend privacy-sensitive seeds into expressive vignettes and further into agent trajectories, enabling multi-level evaluation of privacy leakage in LM agents' actions. We instantiate PrivacyLens with a collection of privacy norms grounded in privacy literature and crowdsourced seeds. Using this dataset, we reveal a discrepancy between LM performance in answering probing questions and their actual behavior when executing user instructions in an agent setup. State-of-the-art LMs, like GPT-4 and Llama-3-70B, leak sensitive information in 25.68% and 38.69% of cases, even when prompted with privacy-enhancing instructions. We also demonstrate the dynamic nature of PrivacyLens by extending each seed into multiple trajectories to red-team LM privacy leakage risk. Dataset and code are available at https://github.com/SALT-NLP/PrivacyLens.
• Abstract（参考訳）: 言語モデル(LM)は、パーソナライズされたコミュニケーションシナリオ(例えば、電子メールの送信、ソーシャルメディアの投稿の書き込みなど)で広く利用され、一定のレベルのエージェンシーによって授けられているため、コンテキストプライバシの規範に従って行動することがますます重要になる。 しかし,(1)プライバシに敏感なケースの文脈的・長期的特性,(2)現実的なアプリケーションシナリオを捉えた評価手法の欠如などにより,LMのプライバシ規範の意識の定量化や,LMを介したコミュニケーションにおけるプライバシーリスクの増大は困難である。 これらの課題に対処するために、我々はプライバシーに敏感な種子を表現的なヴィグネットに拡張し、さらにエージェントの軌跡に拡張する新しいフレームワークであるPrivacyLensを提案し、LMエージェントの動作におけるプライバシー漏洩のマルチレベル評価を可能にした。 プライバシの文献とクラウドソーシングされたシードに基づいて、プライバシの規範のコレクションをインスタンス化する。 このデータセットを用いて,エージェント設定でユーザ命令を実行する際に,探索質問に対する回答におけるLM性能と実際の動作との相違を明らかにする。 GPT-4やLlama-3-70Bのような最先端のLMは、プライバシー強化の指示が出されたとしても、機密情報を25.68%、38.69%のケースでリークしている。 また、各シードを複数のトラジェクトリに拡張することで、プライバシLensの動的な性質を赤チームLMプライバシリークリスクに示す。 データセットとコードはhttps://github.com/SALT-NLP/PrivacyLens.comで入手できる。

関連論文リスト

• Can Humans Oversee Agents to Prevent Privacy Leakage? A Study on Privacy Awareness, Preferences, and Trust in Language Model Agents [1.5020330976600738]
  個人のタスクを代行する言語モデル(LM)エージェントは生産性を向上するが、意図しないプライバシー漏洩のリスクも受けやすい。 本研究は、LMエージェントのプライバシ含意を監督する人々の能力に関する最初の研究である。
  論文  参考訳（メタデータ） (2024-11-02T19:15:42Z)
• Mind the Privacy Unit! User-Level Differential Privacy for Language Model Fine-Tuning [62.224804688233]
  差分プライバシ(DP)は、モデルが特定のプライバシユニットで「ほとんど区別できない」ことを保証することで、有望なソリューションを提供する。 ユーザ間でのプライバシー保護の確保に必要なアプリケーションによって動機づけられたユーザレベルのDPについて検討する。
  論文  参考訳（メタデータ） (2024-06-20T13:54:32Z)
• GoldCoin: Grounding Large Language Models in Privacy Laws via Contextual Integrity Theory [44.297102658873726]
  これまでの研究では、さまざまなプライバシー攻撃、防御、評価を狭義に定義されたパターンの中で探索することで、プライバシを研究する。 我々は,プライバシ違反を評価する司法法において,LLMを効果的に活用するための新しい枠組みであるGoldCoinを紹介した。 我々のフレームワークは、コンテキスト整合性の理論をブリッジとして活用し、関連するプライバシー法に基づく多数の合成シナリオを作成する。
  論文  参考訳（メタデータ） (2024-06-17T02:27:32Z)
• PrivLM-Bench: A Multi-level Privacy Evaluation Benchmark for Language Models [42.20437015301152]
  言語モデル(LM)のプライバシー漏洩を評価するベンチマークであるPrivLM-Benchを提案する。 DPパラメータのみを報告するのではなく、PrivLM-Benchは実際の使用中に無視された推論データのプライバシに光を当てる。 メインストリームLMのためのGLUEの3つのデータセットについて広範な実験を行った。
  論文  参考訳（メタデータ） (2023-11-07T14:55:52Z)
• Can LLMs Keep a Secret? Testing Privacy Implications of Language Models via Contextual Integrity Theory [82.7042006247124]
  私たちは、最も有能なAIモデルでさえ、人間がそれぞれ39%と57%の確率で、プライベートな情報を公開していることを示しています。 我々の研究は、推論と心の理論に基づいて、新しい推論時プライバシー保護アプローチを即時に探求する必要性を浮き彫りにしている。
  論文  参考訳（メタデータ） (2023-10-27T04:15:30Z)
• PrivacyMind: Large Language Models Can Be Contextual Privacy Protection Learners [81.571305826793]
  コンテキストプライバシ保護言語モデル(PrivacyMind)を紹介する。 我々の研究はモデル設計に関する理論的分析を提供し、様々な手法をベンチマークする。 特に、肯定的な例と否定的な例の両方による命令チューニングは、有望な方法である。
  論文  参考訳（メタデータ） (2023-10-03T22:37:01Z)
• Privacy Implications of Retrieval-Based Language Models [26.87950501433784]
  本稿では,検索に基づくLM,特に$k$NN-LMにおけるプライバシリスクに関する最初の研究について述べる。 パラメトリックモデルよりも、$k$NN-LMsの方がプライベートデータストアから個人情報をリークする可能性が高いことがわかりました。
  論文  参考訳（メタデータ） (2023-05-24T08:37:27Z)
• How Do Input Attributes Impact the Privacy Loss in Differential Privacy? [55.492422758737575]
  DPニューラルネットワークにおけるオブジェクトごとの規範と個人のプライバシ損失との関係について検討する。 プライバシ・ロス・インプット・サセプティビリティ(PLIS)と呼ばれる新しい指標を導入し、被験者のプライバシ・ロスを入力属性に適応させることを可能にした。
  論文  参考訳（メタデータ） (2022-11-18T11:39:03Z)
• PGLP: Customizable and Rigorous Location Privacy through Policy Graph [68.3736286350014]
  我々はPGLPと呼ばれる新しい位置プライバシーの概念を提案し、カスタマイズ可能で厳格なプライバシー保証を備えたプライベートロケーションをリリースするためのリッチなインターフェースを提供する。 具体的には,ユーザの位置プライバシー要件を,表現的かつカスタマイズ可能なテキスト配置ポリシーグラフを用いて形式化する。 第3に、位置露光の検出、ポリシーグラフの修復、およびカスタマイズ可能な厳格な位置プライバシーを備えたプライベートな軌跡リリースをパイプライン化する、プライベートな位置トレースリリースフレームワークを設計する。
  論文  参考訳（メタデータ） (2020-05-04T04:25:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。