Fugu-MT 論文翻訳(概要): Split-and-Denoise: Protect large language model inference with local differential privacy

論文の概要: Split-and-Denoise: Protect large language model inference with local differential privacy

arxiv url: http://arxiv.org/abs/2310.09130v4
Date: Tue, 27 Aug 2024 01:28:12 GMT
ステータス: 処理完了
システム内更新日: 2024-08-28 20:08:36.322087
Title: Split-and-Denoise: Protect large language model inference with local differential privacy
Title（参考訳）: Split-and-Denoise: ローカル差分プライバシーによる大規模言語モデル推論の保護
Authors: Peihua Mai, Ran Yan, Zhe Huang, Youjia Yang, Yan Pang,
Abstract要約: Split-N-Denoise (SnD) はプライベートな推論フレームワークであり、最小の計算コストでクライアント側でトークン埋め込み層を実行するためにモデルを分割する。各種LLMアーキテクチャおよび下流タスク間のプライバシ・ユーティリティ・トレードオフを最適化する上で,SnDの有効性を示す。
参考スコア（独自算出の注目度）: 2.572566198588905
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Large Language Models (LLMs) excel in natural language understanding by capturing hidden semantics in vector space. This process enriches the value of text embeddings for various downstream tasks, thereby fostering the Embedding-as-a-Service (EaaS) business model. However, the risk of privacy leakage due to direct text transmission to servers remains a critical concern. To address this, we introduce Split-N-Denoise (SnD), an private inference framework that splits the model to execute the token embedding layer on the client side at minimal computational cost. This allows the client to introduce noise prior to transmitting the embeddings to the server, and subsequently receive and denoise the perturbed output embeddings for downstream tasks. Our approach is designed for the inference stage of LLMs and requires no modifications to the model parameters. Extensive experiments demonstrate SnD's effectiveness in optimizing the privacy-utility tradeoff across various LLM architectures and diverse downstream tasks. The results reveal an improvement in performance under the same privacy budget compared to the baselines by over 10\% on average, offering clients a privacy-preserving solution for local privacy protection.
Abstract（参考訳）: 大規模言語モデル(LLM)は、ベクトル空間内の隠れセマンティクスをキャプチャすることで、自然言語理解において優れている。このプロセスは、さまざまなダウンストリームタスクに対するテキスト埋め込みの価値を強化し、Embdding-as-a-Service(EaaS)ビジネスモデルを育む。しかし、サーバへのダイレクトテキスト送信によるプライバシー漏洩のリスクは、依然として重要な懸念事項である。これを解決するために、最小計算コストでクライアント側でトークン埋め込み層を実行するためにモデルを分割するプライベート推論フレームワークであるSplit-N-Denoise(SnD)を導入する。これにより、クライアントは、サーバに埋め込みを送信する前にノイズを導入し、その後、下流タスクの摂動された出力埋め込みを受信および復号化することができる。提案手法は, LLMの推論段階に設計されており, モデルパラメータの変更は不要である。大規模な実験では、SnDが様々なLLMアーキテクチャとさまざまな下流タスク間でのプライバシーとユーティリティのトレードオフを最適化する効果を実証している。その結果、クライアントがローカルのプライバシー保護のためにプライバシを保存するソリューションを提供することで、ベースラインが平均で10%以上向上するのに対して、同じプライバシ予算の下でのパフォーマンスが向上することが明らかになった。

関連論文リスト

FedDTPT: Federated Discrete and Transferable Prompt Tuning for Black-Box Large Language Models [14.719919025265224]
特定のシナリオからのデータを調整した大きな言語モデル(LLM)は、プライバシリークのリスクを引き起こす。ブラックボックス大言語モデルに対して,フェデレートされた離散的かつ転送可能なプロンプトチューニングであるFedDTPTを初めて提案する。提案手法は,ブラックボックス設定における非IDデータに対する高い精度,通信オーバーヘッドの低減,ロバスト性を実現する。
論文参考訳（メタデータ） (2024-11-01T19:19:23Z)
Robust Utility-Preserving Text Anonymization Based on Large Language Models [80.5266278002083]
テキストの匿名化は、プライバシーを維持しながら機密データを共有するために重要である。既存の技術は、大規模言語モデルの再識別攻撃能力の新たな課題に直面している。本稿では,3つのLCMベースコンポーネント – プライバシ評価器,ユーティリティ評価器,最適化コンポーネント – で構成されるフレームワークを提案する。
論文参考訳（メタデータ） (2024-07-16T14:28:56Z)
Noise-Aware Algorithm for Heterogeneous Differentially Private Federated Learning [21.27813247914949]
本稿では,クライアントモデル更新における真のノイズレベルを効率的に推定するRobust-HDPを提案する。ユーティリティと収束速度を改善し、不正なプライバシパラメータをサーバに送信する可能性のあるクライアントに対して安全である。
論文参考訳（メタデータ） (2024-06-05T17:41:42Z)
Advancing the Robustness of Large Language Models through Self-Denoised Smoothing [50.54276872204319]
大規模言語モデル(LLM)は大きな成功を収めたが、敵の摂動に対する脆弱性は大きな懸念を引き起こしている。本稿では,LLMのマルチタスク特性を活用して,まずノイズの入力を識別し,次にこれらの復号化バージョンに基づいて予測を行う。 LLMのロバスト性を高めるために個別のモデルを訓練する必要がある従来のコンピュータビジョンのスムース化技術とは異なり、本手法は効率と柔軟性を著しく向上させる。
論文参考訳（メタデータ） (2024-04-18T15:47:00Z)
Clients Collaborate: Flexible Differentially Private Federated Learning with Guaranteed Improvement of Utility-Privacy Trade-off [34.2117116062642]
我々は、モデルユーティリティとユーザプライバシのトレードオフを打つために、厳格なプライバシ保証を備えた新しいフェデレーション学習フレームワーク、FedCEOを紹介します。グローバルなセマンティック空間を円滑にすることで,フェデCEOが破壊されたセマンティック情報を効果的に回復できることを示す。異なるプライバシ設定の下で、大幅なパフォーマンス改善と厳格なプライバシ保証を観察する。
論文参考訳（メタデータ） (2024-02-10T17:39:34Z)
Hide and Seek (HaS): A Lightweight Framework for Prompt Privacy Protection [6.201275002179716]
本稿では,H(ide)" と "S(eek)" の2つのコアプロセスとして,匿名化のためのプライベートエンティティの隠蔽と非匿名化のためのプライベートエンティティの検索を行うHaSフレームワークを紹介する。本研究では,HaSのプライバシー保護性能を定量的に評価するために,ブラックボックスモデルとホワイトボックスモデルの両方を提案する。
論文参考訳（メタデータ） (2023-09-06T14:54:11Z)
Subspace based Federated Unlearning [75.90552823500633]
フェデレート・アンラーニング(FL)は、ユーザが忘れられる権利を満たすために、特定のターゲットクライアントのFLへの貢献を取り除くことを目的としている。既存のフェデレートされた未学習アルゴリズムでは、パラメータの更新履歴をサーバに格納する必要がある。そこで我々は,SFUと呼ばれる,単純なyet効率のサブスペースに基づくフェデレーションアンラーニング手法を提案する。
論文参考訳（メタデータ） (2023-02-24T04:29:44Z)
Federated Nearest Neighbor Machine Translation [66.8765098651988]
本稿では,FedNN(FedNN)機械翻訳フレームワークを提案する。 FedNNは1ラウンドの記憶に基づくインタラクションを活用して、異なるクライアント間で知識を共有する。実験の結果,FedAvgと比較して,FedNNは計算コストと通信コストを著しく削減することがわかった。
論文参考訳（メタデータ） (2023-02-23T18:04:07Z)
Over-the-Air Federated Learning with Privacy Protection via Correlated Additive Perturbations [57.20885629270732]
我々は、複数のユーザ/エージェントからエッジサーバへの勾配更新をOtA(Over-the-Air)で送信することで、無線フェデレーション学習のプライバシー面を考察する。従来の摂動に基づく手法は、トレーニングの精度を犠牲にしてプライバシー保護を提供する。本研究では,エッジサーバにおけるプライバシリークの最小化とモデル精度の低下を目標とする。
論文参考訳（メタデータ） (2022-10-05T13:13:35Z)
FLVoogd: Robust And Privacy Preserving Federated Learning [12.568409209047505]
プライバシを保護しながら,サーバとクライアントが共同でビザンチン攻撃を除去する,新たなフェデレート学習手法であるoogdを提案する。サーバは、S2PCと組み合わされたDBSCAN(Spatial Clustering of Applications)の自動密度ベースの空間クラスタリングを使用して、機密性の高い個人情報を取得せずに、良質な多数派をクラスタリングする。私たちのフレームワークは自動で適応的なので、サーバ/クライアントはトレーニング中にパラメータをチューニングする必要がありません。
論文参考訳（メタデータ） (2022-06-24T08:48:15Z)
Just Fine-tune Twice: Selective Differential Privacy for Large Language Models [69.66654761324702]
本稿では,大規模なトランスフォーマーベース言語モデルのためのSDPを実現するための,シンプルで効果的なジャストファイントゥンツースプライバシ機構を提案する。実験により, カナリア挿入攻撃に対して頑健でありながら, 高い性能が得られた。
論文参考訳（メタデータ） (2022-04-15T22:36:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。