論文の概要: Exploring the Privacy Protection Capabilities of Chinese Large Language Models
- arxiv url: http://arxiv.org/abs/2403.18205v1
- Date: Wed, 27 Mar 2024 02:31:54 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-28 18:36:01.794079
- Title: Exploring the Privacy Protection Capabilities of Chinese Large Language Models
- Title(参考訳): 中国語大言語モデルのプライバシ保護機能を探る
- Authors: Yuqi Yang, Xiaowen Huang, Jitao Sang,
- Abstract要約: 言語システムにおけるプライバシ評価のための3段階のプログレッシブフレームワークを考案した。
我々の主な目的は、大規模言語モデルの個人情報に対する感度を包括的に評価することである。
既存の中国の大規模言語モデルは、プライバシー保護の欠点を普遍的に示している。
- 参考スコア(独自算出の注目度): 19.12726985060863
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs), renowned for their impressive capabilities in various tasks, have significantly advanced artificial intelligence. Yet, these advancements have raised growing concerns about privacy and security implications. To address these issues and explain the risks inherent in these models, we have devised a three-tiered progressive framework tailored for evaluating privacy in language systems. This framework consists of progressively complex and in-depth privacy test tasks at each tier. Our primary objective is to comprehensively evaluate the sensitivity of large language models to private information, examining how effectively they discern, manage, and safeguard sensitive data in diverse scenarios. This systematic evaluation helps us understand the degree to which these models comply with privacy protection guidelines and the effectiveness of their inherent safeguards against privacy breaches. Our observations indicate that existing Chinese large language models universally show privacy protection shortcomings. It seems that at the moment this widespread issue is unavoidable and may pose corresponding privacy risks in applications based on these models.
- Abstract(参考訳): 大きな言語モデル(LLM)は、様々なタスクにおいて印象的な能力で知られており、非常に高度な人工知能を持っている。
しかし、これらの進歩はプライバシーとセキュリティに関する懸念を高めている。
これらの問題に対処し、これらのモデルに固有のリスクを説明するために、言語システムにおけるプライバシ評価に適した3段階のプログレッシブフレームワークを考案した。
このフレームワークは、段階的に複雑で、各層における詳細なプライバシーテストタスクで構成されている。
我々の主な目的は、大規模言語モデルの個人情報に対する感受性を包括的に評価し、様々なシナリオにおける機密データを効果的に識別、管理、保護することである。
この体系的な評価は、これらのモデルがプライバシ保護ガイドラインに準拠している程度と、プライバシ侵害に対する固有の保護の有効性を理解するのに役立ちます。
既存の中国の大規模言語モデルは、プライバシー保護の欠点を普遍的に示している。
現時点では、この広範な問題は避けられず、これらのモデルに基づいてアプリケーションに対応するプライバシーリスクを生じさせる可能性がある。
関連論文リスト
- Privacy Backdoors: Enhancing Membership Inference through Poisoning Pre-trained Models [112.48136829374741]
本稿では、プライバシーバックドア攻撃という新たな脆弱性を明らかにします。
被害者がバックドアモデルに微調整を行った場合、トレーニングデータは通常のモデルに微調整された場合よりも大幅に高い速度でリークされる。
我々の発見は、機械学習コミュニティにおける重要なプライバシー上の懸念を浮き彫りにし、オープンソースの事前訓練モデルの使用における安全性プロトコルの再評価を求めている。
論文 参考訳(メタデータ) (2024-04-01T16:50:54Z) - SoK: Reducing the Vulnerability of Fine-tuned Language Models to
Membership Inference Attacks [1.03590082373586]
我々は,大規模言語モデルのメンバシップ推論攻撃に対する脆弱性について,初めて体系的なレビューを行った。
これらの攻撃に対して最高のプライバシー保護を実現するために、差分プライバシーと低ランク適応器を組み合わせることで、いくつかのトレーニング手法がプライバシーリスクを著しく低減することを発見した。
論文 参考訳(メタデータ) (2024-03-13T12:46:51Z) - Beyond Gradient and Priors in Privacy Attacks: Leveraging Pooler Layer Inputs of Language Models in Federated Learning [24.059033969435973]
本稿では,現代言語モデルのアーキテクチャの脆弱性を狙う2段階のプライバシ攻撃戦略を提案する。
比較実験は、様々なデータセットやシナリオで優れた攻撃性能を示す。
私たちは、大きな言語モデルの設計において、これらの潜在的なプライバシーリスクを認識し、対処するようコミュニティに呼びかけます。
論文 参考訳(メタデータ) (2023-12-10T01:19:59Z) - Can LLMs Keep a Secret? Testing Privacy Implications of Language Models
via Contextual Integrity Theory [86.8514623654506]
私たちは、最も有能なAIモデルでさえ、人間がそれぞれ39%と57%の確率で、プライベートな情報を公開していることを示しています。
我々の研究は、推論と心の理論に基づいて、新しい推論時プライバシー保護アプローチを即時に探求する必要性を浮き彫りにしている。
論文 参考訳(メタデータ) (2023-10-27T04:15:30Z) - Large Language Models Can Be Good Privacy Protection Learners [53.07930843882592]
本稿では,プライバシ保護言語モデル(PPLM)を紹介する。
本研究は, コーパスキュレーション, ペナルティに基づくトレーニング損失の相違, 命令に基づくチューニングなど, モデル設計の理論的解析を行う。
特に、肯定的な例と否定的な例の両方による命令チューニングは、モデルの知識を高めながら、個人データを効果的に保護する、有望な方法として際立っている。
論文 参考訳(メタデータ) (2023-10-03T22:37:01Z) - Can Language Models be Instructed to Protect Personal Information? [30.187731765653428]
シミュレーションシナリオにおいて、モデルが特定の個人情報のカテゴリを保護するように指示されたとき、プライバシ/ユーティリティトレードオフを評価するためのベンチマークであるPrivQAを紹介します。
我々は,テキストや画像入力による単純なジェイルブレイク手法により,敵が容易にこれらの保護を回避できることを見出した。
PrivQAは、プライバシー保護を改善した新しいモデルの開発と、これらの保護の敵意的な堅牢性をサポートする可能性があると考えています。
論文 参考訳(メタデータ) (2023-10-03T17:30:33Z) - Identifying and Mitigating Privacy Risks Stemming from Language Models:
A Survey [47.04394421368761]
言語モデル(LM)には、プライバシーなど、さまざまなリスクがある。
LMが普及するにつれて、このようなプライバシーのリスクと、どのように緩和されるかを理解することが不可欠である。
LMプライバシに関する最初の技術調査を示す。
論文 参考訳(メタデータ) (2023-09-27T15:15:23Z) - Context-Aware Differential Privacy for Language Modeling [41.54238543400462]
本稿では,CADP-LM(Context-Aware Differentially Private Language Model)を紹介する。
CADP-LMは、潜在的にセンシティブな情報を定義し、監査するために、エンフコンテクスの概念に依存している。
CADP-LMのユニークな特徴は、センシティブな文や文脈のみの保護を目標とする能力である。
論文 参考訳(メタデータ) (2023-01-28T20:06:16Z) - Just Fine-tune Twice: Selective Differential Privacy for Large Language
Models [69.66654761324702]
本稿では,大規模なトランスフォーマーベース言語モデルのためのSDPを実現するための,シンプルで効果的なジャストファイントゥンツースプライバシ機構を提案する。
実験により, カナリア挿入攻撃に対して頑健でありながら, 高い性能が得られた。
論文 参考訳(メタデータ) (2022-04-15T22:36:55Z) - Differentially Private and Fair Deep Learning: A Lagrangian Dual
Approach [54.32266555843765]
本稿では,個人の機密情報のプライバシを保護するとともに,非差別的予測器の学習を可能にするモデルについて検討する。
この方法は、微分プライバシーの概念と、公正性制約を満たすニューラルネットワークの設計にラグランジアン双対性(Lagrangian duality)を用いることに依存している。
論文 参考訳(メタデータ) (2020-09-26T10:50:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。