論文の概要: Split-and-Denoise: Protect large language model inference with local
differential privacy
- arxiv url: http://arxiv.org/abs/2310.09130v2
- Date: Sat, 30 Dec 2023 01:57:16 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-03 01:37:44.332461
- Title: Split-and-Denoise: Protect large language model inference with local
differential privacy
- Title(参考訳): split-and-denoise: ローカルディファレンシャルプライバシによる大規模言語モデル推論の保護
- Authors: Peihua Mai, Ran Yan, Zhe Huang, Youjia Yang, Yan Pang
- Abstract要約: 大規模言語モデル(LLM)は、ベクトル空間に隠されたセマンティクスをキャプチャすることで、自然言語理解において強力な能力を示す。
サーバーへのテキストの直接送信は、プライバシー漏洩の危険性がほとんどない。
SnD(Split-N-Denoise)は、最小の計算コストでクライアント側でトークン埋め込み層を実行するためにモデルを分割する革新的なフレームワークである。
- 参考スコア(独自算出の注目度): 2.759967237845292
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large Language Models (LLMs) shows powerful capability in natural language
understanding by capturing hidden semantics in vector space. This process
enriches the value of the text embeddings for various downstream tasks, thereby
fostering the Embedding-as-a-Service (EaaS) business model. However, the direct
transmission of text to servers poses a largely unaddressed risk of privacy
leakage. To mitigate this issue, we introduce Split-N-Denoise (SnD), an
innovative framework that split the model to execute the token embedding layer
on the client side at minimal computational cost. This allows the client to
introduce noise prior to transmitting the embeddings to the server, and
subsequently receive and denoise the perturbed output embeddings for downstream
tasks. Our approach is designed for the inference stage of LLMs and requires no
modifications to the model parameters. Extensive experiments demonstrate SnD's
effectiveness in optimizing the privacy-utility tradeoff across various LLM
architectures and diverse downstream tasks. The results reveal a significant
performance improvement under the same privacy budget compared to the baseline,
offering clients a privacy-preserving solution for local privacy protection.
- Abstract(参考訳): 大規模言語モデル(LLM)は、ベクトル空間に隠されたセマンティクスをキャプチャすることで、自然言語理解において強力な能力を示す。
このプロセスは、さまざまな下流タスクに対するテキスト埋め込みの価値を強化し、Embing-as-a-Service(EaaS)ビジネスモデルを育む。
しかし、サーバーへのテキストの直接送信は、プライバシー漏洩の危険性がほとんどない。
この問題を緩和するために、最小計算コストでクライアント側でトークン埋め込み層を実行するためにモデルを分割する革新的なフレームワークであるSplit-N-Denoise(SnD)を紹介します。
これにより、クライアントは、サーバに埋め込みを送信する前にノイズを導入し、その後、下流タスクの摂動された出力埋め込みを受信および復号化することができる。
提案手法は, LLMの推論段階に設計されており, モデルパラメータの変更は不要である。
広範な実験により、SnDは様々なLLMアーキテクチャとさまざまな下流タスク間でのプライバシーとユーティリティのトレードオフを最適化する効果を示した。
結果は、クライアントにローカルプライバシー保護のためのプライバシ保護ソリューションを提供するベースラインと比較して、同じプライバシ予算の下での大幅なパフォーマンス向上を示している。
関連論文リスト
- Advancing the Robustness of Large Language Models through Self-Denoised Smoothing [50.54276872204319]
大規模言語モデル(LLM)は大きな成功を収めたが、敵の摂動に対する脆弱性は大きな懸念を引き起こしている。
本稿では,LLMのマルチタスク特性を活用して,まずノイズの入力を識別し,次にこれらの復号化バージョンに基づいて予測を行う。
LLMのロバスト性を高めるために個別のモデルを訓練する必要がある従来のコンピュータビジョンのスムース化技術とは異なり、本手法は効率と柔軟性を著しく向上させる。
論文 参考訳(メタデータ) (2024-04-18T15:47:00Z) - Clients Collaborate: Flexible Differentially Private Federated Learning
with Guaranteed Improvement of Utility-Privacy Trade-off [34.2117116062642]
我々は、モデルユーティリティとユーザプライバシのトレードオフを打つために、厳格なプライバシ保証を備えた新しいフェデレーション学習フレームワーク、FedCEOを紹介します。
グローバルなセマンティック空間を円滑にすることで,フェデCEOが破壊されたセマンティック情報を効果的に回復できることを示す。
異なるプライバシ設定の下で、大幅なパフォーマンス改善と厳格なプライバシ保証を観察する。
論文 参考訳(メタデータ) (2024-02-10T17:39:34Z) - Adaptive Differential Privacy in Federated Learning: A Priority-Based
Approach [0.0]
フェデレートラーニング(FL)は、ローカルデータセットに直接アクセスせずにグローバルモデルを開発する。
DPはパラメータに一定のノイズを加えることで、プライバシーを保証するフレームワークを提供する。
本稿では,特徴量の相対的重要度に基づいて入射雑音の値を決定するFLの適応雑音付加法を提案する。
論文 参考訳(メタデータ) (2024-01-04T03:01:15Z) - CRaSh: Clustering, Removing, and Sharing Enhance Fine-tuning without
Full Large Language Model [22.870512676002463]
本稿では,集中型LCMと下流エミュレータ間でトランスフォーマブロックを転送する代表的手法であるOffsite-Tuning(OFT)に焦点を当てる。
これらの観測にインスパイアされたCRaShは、LCMから改善エミュレータを導出するトレーニングフリー戦略であるClustering、Removing、Sharingを含む。
以上の結果から,CRaShとOFTの有効性が明らかとなった。
論文 参考訳(メタデータ) (2023-10-24T03:08:58Z) - $\Lambda$-Split: A Privacy-Preserving Split Computing Framework for
Cloud-Powered Generative AI [3.363904632882723]
本稿では,計算オフロードを容易にする分割計算フレームワークである$Lambda$-Splitを紹介する。
Lambda$-Splitでは、生成モデル(通常はディープニューラルネットワーク(DNN))が3つのサブモデルに分割され、ユーザのローカルデバイスとクラウドサーバに分散される。
このアーキテクチャにより、隠された層出力のみが送信されることが保証され、プライバシーに敏感な生入力および出力データの外部送信が防止される。
論文 参考訳(メタデータ) (2023-10-23T07:44:04Z) - Large Language Models Can Be Good Privacy Protection Learners [53.07930843882592]
本稿では,プライバシ保護言語モデル(PPLM)を紹介する。
本研究は, コーパスキュレーション, ペナルティに基づくトレーニング損失の相違, 命令に基づくチューニングなど, モデル設計の理論的解析を行う。
特に、肯定的な例と否定的な例の両方による命令チューニングは、モデルの知識を高めながら、個人データを効果的に保護する、有望な方法として際立っている。
論文 参考訳(メタデータ) (2023-10-03T22:37:01Z) - Hide and Seek (HaS): A Lightweight Framework for Prompt Privacy
Protection [6.201275002179716]
本稿では,H(ide)" と "S(eek)" の2つのコアプロセスとして,匿名化のためのプライベートエンティティの隠蔽と非匿名化のためのプライベートエンティティの検索を行うHaSフレームワークを紹介する。
本研究では,HaSのプライバシー保護性能を定量的に評価するために,ブラックボックスモデルとホワイトボックスモデルの両方を提案する。
論文 参考訳(メタデータ) (2023-09-06T14:54:11Z) - Subspace based Federated Unlearning [75.90552823500633]
フェデレート・アンラーニング(FL)は、ユーザが忘れられる権利を満たすために、特定のターゲットクライアントのFLへの貢献を取り除くことを目的としている。
既存のフェデレートされた未学習アルゴリズムでは、パラメータの更新履歴をサーバに格納する必要がある。
そこで我々は,SFUと呼ばれる,単純なyet効率のサブスペースに基づくフェデレーションアンラーニング手法を提案する。
論文 参考訳(メタデータ) (2023-02-24T04:29:44Z) - Federated Nearest Neighbor Machine Translation [66.8765098651988]
本稿では,FedNN(FedNN)機械翻訳フレームワークを提案する。
FedNNは1ラウンドの記憶に基づくインタラクションを活用して、異なるクライアント間で知識を共有する。
実験の結果,FedAvgと比較して,FedNNは計算コストと通信コストを著しく削減することがわかった。
論文 参考訳(メタデータ) (2023-02-23T18:04:07Z) - Over-the-Air Federated Learning with Privacy Protection via Correlated
Additive Perturbations [57.20885629270732]
我々は、複数のユーザ/エージェントからエッジサーバへの勾配更新をOtA(Over-the-Air)で送信することで、無線フェデレーション学習のプライバシー面を考察する。
従来の摂動に基づく手法は、トレーニングの精度を犠牲にしてプライバシー保護を提供する。
本研究では,エッジサーバにおけるプライバシリークの最小化とモデル精度の低下を目標とする。
論文 参考訳(メタデータ) (2022-10-05T13:13:35Z) - Just Fine-tune Twice: Selective Differential Privacy for Large Language
Models [69.66654761324702]
本稿では,大規模なトランスフォーマーベース言語モデルのためのSDPを実現するための,シンプルで効果的なジャストファイントゥンツースプライバシ機構を提案する。
実験により, カナリア挿入攻撃に対して頑健でありながら, 高い性能が得られた。
論文 参考訳(メタデータ) (2022-04-15T22:36:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。