論文の概要: Can LLMs get help from other LLMs without revealing private information?
- arxiv url: http://arxiv.org/abs/2404.01041v2
- Date: Tue, 2 Apr 2024 06:49:33 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-03 22:47:02.542856
- Title: Can LLMs get help from other LLMs without revealing private information?
- Title(参考訳): LLMは、プライベート情報を公開することなく、他のLLMから助けを得ることができるか?
- Authors: Florian Hartmann, Duc-Hieu Tran, Peter Kairouz, Victor Cărbune, Blaise Aguera y Arcas,
- Abstract要約: カスケード(Cascade)は、ローカルモデルがユーザのデータをそれ自体でラベル付けできない場合、大規模なリモートモデルをクエリ可能な、一般的なタイプの機械学習システムである。
プライバシ保護技術を用いたローカルモデルを用いて,そのようなシステムにカスケードシステムを適用する可能性を示す。
- 参考スコア(独自算出の注目度): 13.687385548330717
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Cascades are a common type of machine learning systems in which a large, remote model can be queried if a local model is not able to accurately label a user's data by itself. Serving stacks for large language models (LLMs) increasingly use cascades due to their ability to preserve task performance while dramatically reducing inference costs. However, applying cascade systems in situations where the local model has access to sensitive data constitutes a significant privacy risk for users since such data could be forwarded to the remote model. In this work, we show the feasibility of applying cascade systems in such setups by equipping the local model with privacy-preserving techniques that reduce the risk of leaking private information when querying the remote model. To quantify information leakage in such setups, we introduce two privacy measures. We then propose a system that leverages the recently introduced social learning paradigm in which LLMs collaboratively learn from each other by exchanging natural language. Using this paradigm, we demonstrate on several datasets that our methods minimize the privacy loss while at the same time improving task performance compared to a non-cascade baseline.
- Abstract(参考訳): カスケード(Cascades)は、ローカルモデルがユーザのデータを自分で正確にラベル付けできない場合、大規模なリモートモデルをクエリできる機械学習システムの一種である。
大規模言語モデル(LLM)のシリアルスタックは、推論コストを劇的に削減しながらタスクパフォーマンスを維持できるため、カスケードの使用が増えている。
しかし、ローカルモデルが機密データにアクセス可能な状況においてカスケードシステムを適用することは、そのようなデータがリモートモデルに転送される可能性があるため、ユーザにとって重大なプライバシーリスクとなる。
本研究では,ローカルモデルにプライバシ保護技術を適用し,リモートモデルに問い合わせる際の個人情報漏洩のリスクを低減することにより,そのようなシステムにカスケードシステムを適用する可能性を示す。
このような設定で情報漏洩を定量化するために、プライバシー対策を2つ導入する。
次に,LLMが自然言語を交換することで相互に協調的に学習する,最近導入された社会学習パラダイムを活用するシステムを提案する。
このパラダイムを用いることで、我々の手法はプライバシ損失を最小限に抑えると同時に、非カスケードベースラインに比べてタスク性能を向上させることを実証する。
関連論文リスト
- Unmemorization in Large Language Models via Self-Distillation and
Deliberate Imagination [58.36408867180233]
大規模言語モデル(LLM)は、プライバシー侵害や機密データの不要な露出といった重要な問題に苦慮している。
我々は、LLMアンラーニングの文脈において、意図的な想像力という新しいアプローチを導入する。
本研究は,異なるモデルとサイズにまたがるこのアプローチの有用性を示し,パラメータ効率の良い微調整を行った。
論文 参考訳(メタデータ) (2024-02-15T16:21:14Z) - Rethinking Privacy in Machine Learning Pipelines from an Information
Flow Control Perspective [16.487545258246932]
現代の機械学習システムは、成長を続けるコーパスで訓練されたモデルを使用する。
オーナシップ、アクセス制御、ライセンス情報などのメタデータは、トレーニング中に無視される。
情報フロー制御の観点から機械学習システムを記述する。
論文 参考訳(メタデータ) (2023-11-27T13:14:39Z) - Tunable Soft Prompts are Messengers in Federated Learning [55.924749085481544]
フェデレートラーニング(FL)は、複数の参加者が分散データソースを使用して機械学習モデルを協調的にトレーニングすることを可能にする。
FLにおけるモデルプライバシ保護の欠如は無視できない課題となっている。
そこで本研究では,ソフトプロンプトによって参加者間の情報交換を実現する新しいFLトレーニング手法を提案する。
論文 参考訳(メタデータ) (2023-11-12T11:01:10Z) - Large Language Models Can Be Good Privacy Protection Learners [53.07930843882592]
本稿では,プライバシ保護言語モデル(PPLM)を紹介する。
本研究は, コーパスキュレーション, ペナルティに基づくトレーニング損失の相違, 命令に基づくチューニングなど, モデル設計の理論的解析を行う。
特に、肯定的な例と否定的な例の両方による命令チューニングは、モデルの知識を高めながら、個人データを効果的に保護する、有望な方法として際立っている。
論文 参考訳(メタデータ) (2023-10-03T22:37:01Z) - Recovering from Privacy-Preserving Masking with Large Language Models [14.828717714653779]
マスク付きトークンの代わりに大きな言語モデル(LLM)を提案する。
難読化コーパスでトレーニングしたモデルが,元のデータでトレーニングしたモデルと同等の性能を発揮することを示す。
論文 参考訳(メタデータ) (2023-09-12T16:39:41Z) - Privacy Side Channels in Machine Learning Systems [82.85919161427604]
プライバシサイドチャネルは、システムレベルのコンポーネントを利用してプライベート情報を抽出する攻撃である。
機械学習ライフサイクル全体にわたるサイドチャネルの4つのカテゴリを提案する。
我々の結果は、全体的なエンドツーエンドのプライバシー分析の必要性を示しています。
論文 参考訳(メタデータ) (2023-09-11T16:49:05Z) - Scalable Collaborative Learning via Representation Sharing [53.047460465980144]
フェデレートラーニング(FL)とスプリットラーニング(SL)は、データを(デバイス上で)プライベートにしながら協調学習を可能にする2つのフレームワークである。
FLでは、各データ保持者がモデルをローカルにトレーニングし、集約のために中央サーバにリリースする。
SLでは、クライアントは個々のカット層アクティベーション(スマッシュされたデータ)をサーバにリリースし、そのレスポンス(推論とバックの伝搬の両方)を待つ必要があります。
本研究では, クライアントがオンライン知識蒸留を通じて, 対照的な損失を生かして協調する, プライバシ保護機械学習の新しいアプローチを提案する。
論文 参考訳(メタデータ) (2022-11-20T10:49:22Z) - How Much Privacy Does Federated Learning with Secure Aggregation
Guarantee? [22.7443077369789]
フェデレートラーニング(FL)は、複数のユーザに保存されたデータに対して、プライバシ保護機械学習を可能にすることへの関心が高まっている。
データはユーザのデバイスを離れることはないが、トレーニングデータに対する重要な計算がトレーニングされたローカルモデル形式で共有されるため、プライバシは保証されない。
セキュアアグリゲーション(SA)は、FLのプライバシーを守るためのフレームワークとして開発されている。
論文 参考訳(メタデータ) (2022-08-03T18:44:17Z) - Applied Federated Learning: Architectural Design for Robust and
Efficient Learning in Privacy Aware Settings [0.8454446648908585]
古典的な機械学習パラダイムは、中央にユーザーデータの集約を必要とする。
データの集中化は、内部および外部のセキュリティインシデントのリスクを高めることを含むリスクを引き起こす。
差分プライバシーによるフェデレーション学習は、サーバ側の集中化落とし穴を避けるように設計されている。
論文 参考訳(メタデータ) (2022-06-02T00:30:04Z) - Privacy-Preserving Federated Learning via System Immersion and Random
Matrix Encryption [4.258856853258348]
フェデレーション学習(FL)は、クライアントが中央集権的な(潜在的に敵対的な)サーバとデータを共有するのではなく、デバイス上でAIモデルをトレーニングする、コラボレーティブな分散学習のためのプライバシソリューションとして登場した。
本稿では,制御理論からの行列暗号とシステム浸漬ツールの相乗効果に基づいて,プライバシ保護フェデレーションラーニング(PPFL)フレームワークを提案する。
提案アルゴリズムは,クライアントのデータに関する情報を公開せずに,標準FLと同等の精度と収束率を無視できるコストで提供することを示す。
論文 参考訳(メタデータ) (2022-04-05T21:28:59Z) - Survey: Leakage and Privacy at Inference Time [59.957056214792665]
公開されている機械学習(ML)モデルからのデータの漏洩は、ますます重要になっている分野である。
公開モデルの最も可能性の高いシナリオとして、推論時のリークに注目します。
本稿では,不随意・不随意の漏洩,防御,そして現在利用可能な評価指標と応用にまたがる分類法を提案する。
論文 参考訳(メタデータ) (2021-07-04T12:59:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。