論文の概要: Can LLMs get help from other LLMs without revealing private information?

• arxiv url: http://arxiv.org/abs/2404.01041v2
• Date: Tue, 2 Apr 2024 06:49:33 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-03 22:47:02.542856
• Title: Can LLMs get help from other LLMs without revealing private information?
• Title（参考訳）: LLMは、プライベート情報を公開することなく、他のLLMから助けを得ることができるか?
• Authors: Florian Hartmann, Duc-Hieu Tran, Peter Kairouz, Victor Cărbune, Blaise Aguera y Arcas,
• Abstract要約: カスケード(Cascade)は、ローカルモデルがユーザのデータをそれ自体でラベル付けできない場合、大規模なリモートモデルをクエリ可能な、一般的なタイプの機械学習システムである。 プライバシ保護技術を用いたローカルモデルを用いて,そのようなシステムにカスケードシステムを適用する可能性を示す。
• 参考スコア（独自算出の注目度）: 13.687385548330717
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Cascades are a common type of machine learning systems in which a large, remote model can be queried if a local model is not able to accurately label a user's data by itself. Serving stacks for large language models (LLMs) increasingly use cascades due to their ability to preserve task performance while dramatically reducing inference costs. However, applying cascade systems in situations where the local model has access to sensitive data constitutes a significant privacy risk for users since such data could be forwarded to the remote model. In this work, we show the feasibility of applying cascade systems in such setups by equipping the local model with privacy-preserving techniques that reduce the risk of leaking private information when querying the remote model. To quantify information leakage in such setups, we introduce two privacy measures. We then propose a system that leverages the recently introduced social learning paradigm in which LLMs collaboratively learn from each other by exchanging natural language. Using this paradigm, we demonstrate on several datasets that our methods minimize the privacy loss while at the same time improving task performance compared to a non-cascade baseline.
• Abstract（参考訳）: カスケード(Cascades)は、ローカルモデルがユーザのデータを自分で正確にラベル付けできない場合、大規模なリモートモデルをクエリできる機械学習システムの一種である。 大規模言語モデル(LLM)のシリアルスタックは、推論コストを劇的に削減しながらタスクパフォーマンスを維持できるため、カスケードの使用が増えている。 しかし、ローカルモデルが機密データにアクセス可能な状況においてカスケードシステムを適用することは、そのようなデータがリモートモデルに転送される可能性があるため、ユーザにとって重大なプライバシーリスクとなる。 本研究では,ローカルモデルにプライバシ保護技術を適用し,リモートモデルに問い合わせる際の個人情報漏洩のリスクを低減することにより,そのようなシステムにカスケードシステムを適用する可能性を示す。 このような設定で情報漏洩を定量化するために、プライバシー対策を2つ導入する。 次に,LLMが自然言語を交換することで相互に協調的に学習する,最近導入された社会学習パラダイムを活用するシステムを提案する。 このパラダイムを用いることで、我々の手法はプライバシ損失を最小限に抑えると同時に、非カスケードベースラインに比べてタスク性能を向上させることを実証する。

関連論文リスト

• Robust Utility-Preserving Text Anonymization Based on Large Language Models [80.5266278002083]
  テキストの匿名化は、プライバシーを維持しながら機密データを共有するために重要である。 既存の技術は、大規模言語モデルの再識別攻撃能力の新たな課題に直面している。 本稿では,3つのLCMベースコンポーネント – プライバシ評価器,ユーティリティ評価器,最適化コンポーネント – で構成されるフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-16T14:28:56Z)
• Can LLMs Separate Instructions From Data? And What Do We Even Mean By That? [60.50127555651554]
  大規模言語モデル(LLM)は、多くの実用的なアプリケーションにおいて印象的な結果を示すが、基本的な安全性機能は欠如している。 これにより、間接的なプロンプトインジェクションのような操作に脆弱になり、一般に安全クリティカルなタスクには適さない。 モデル出力から計算可能な命令データ分離の形式的尺度と経験的変量を導入する。
  論文  参考訳（メタデータ） (2024-03-11T15:48:56Z)
• Rethinking Privacy in Machine Learning Pipelines from an Information Flow Control Perspective [16.487545258246932]
  現代の機械学習システムは、成長を続けるコーパスで訓練されたモデルを使用する。 オーナシップ、アクセス制御、ライセンス情報などのメタデータは、トレーニング中に無視される。 情報フロー制御の観点から機械学習システムを記述する。
  論文  参考訳（メタデータ） (2023-11-27T13:14:39Z)
• PrivacyMind: Large Language Models Can Be Contextual Privacy Protection Learners [81.571305826793]
  コンテキストプライバシ保護言語モデル(PrivacyMind)を紹介する。 我々の研究はモデル設計に関する理論的分析を提供し、様々な手法をベンチマークする。 特に、肯定的な例と否定的な例の両方による命令チューニングは、有望な方法である。
  論文  参考訳（メタデータ） (2023-10-03T22:37:01Z)
• Recovering from Privacy-Preserving Masking with Large Language Models [14.828717714653779]
  マスク付きトークンの代わりに大きな言語モデル(LLM)を提案する。 難読化コーパスでトレーニングしたモデルが,元のデータでトレーニングしたモデルと同等の性能を発揮することを示す。
  論文  参考訳（メタデータ） (2023-09-12T16:39:41Z)
• Privacy Side Channels in Machine Learning Systems [87.53240071195168]
  プライバシサイドチャネルは、システムレベルのコンポーネントを利用してプライベート情報を抽出する攻撃である。 例えば、差分プライベートなトレーニングを適用する前にトレーニングデータを重複させることで、保証可能なプライバシ保証を完全に無効にするサイドチャネルが生成されることを示す。 さらに,学習データセットに含まれる秘密鍵を抽出するために,言語モデルを学習データ再生からブロックするシステムを利用することを示す。
  論文  参考訳（メタデータ） (2023-09-11T16:49:05Z)
• Scalable Collaborative Learning via Representation Sharing [53.047460465980144]
  フェデレートラーニング(FL)とスプリットラーニング(SL)は、データを(デバイス上で)プライベートにしながら協調学習を可能にする2つのフレームワークである。 FLでは、各データ保持者がモデルをローカルにトレーニングし、集約のために中央サーバにリリースする。 SLでは、クライアントは個々のカット層アクティベーション(スマッシュされたデータ)をサーバにリリースし、そのレスポンス(推論とバックの伝搬の両方)を待つ必要があります。 本研究では, クライアントがオンライン知識蒸留を通じて, 対照的な損失を生かして協調する, プライバシ保護機械学習の新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2022-11-20T10:49:22Z)
• How Much Privacy Does Federated Learning with Secure Aggregation Guarantee? [22.7443077369789]
  フェデレートラーニング(FL)は、複数のユーザに保存されたデータに対して、プライバシ保護機械学習を可能にすることへの関心が高まっている。 データはユーザのデバイスを離れることはないが、トレーニングデータに対する重要な計算がトレーニングされたローカルモデル形式で共有されるため、プライバシは保証されない。 セキュアアグリゲーション(SA)は、FLのプライバシーを守るためのフレームワークとして開発されている。
  論文  参考訳（メタデータ） (2022-08-03T18:44:17Z)
• Applied Federated Learning: Architectural Design for Robust and Efficient Learning in Privacy Aware Settings [0.8454446648908585]
  古典的な機械学習パラダイムは、中央にユーザーデータの集約を必要とする。 データの集中化は、内部および外部のセキュリティインシデントのリスクを高めることを含むリスクを引き起こす。 差分プライバシーによるフェデレーション学習は、サーバ側の集中化落とし穴を避けるように設計されている。
  論文  参考訳（メタデータ） (2022-06-02T00:30:04Z)
• Privacy-Preserving Federated Learning via System Immersion and Random Matrix Encryption [4.258856853258348]
  フェデレーション学習(FL)は、クライアントが中央集権的な(潜在的に敵対的な)サーバとデータを共有するのではなく、デバイス上でAIモデルをトレーニングする、コラボレーティブな分散学習のためのプライバシソリューションとして登場した。 本稿では,制御理論からの行列暗号とシステム浸漬ツールの相乗効果に基づいて,プライバシ保護フェデレーションラーニング(PPFL)フレームワークを提案する。 提案アルゴリズムは,クライアントのデータに関する情報を公開せずに,標準FLと同等の精度と収束率を無視できるコストで提供することを示す。
  論文  参考訳（メタデータ） (2022-04-05T21:28:59Z)
• Survey: Leakage and Privacy at Inference Time [59.957056214792665]
  公開されている機械学習(ML)モデルからのデータの漏洩は、ますます重要になっている分野である。 公開モデルの最も可能性の高いシナリオとして、推論時のリークに注目します。 本稿では,不随意・不随意の漏洩,防御,そして現在利用可能な評価指標と応用にまたがる分類法を提案する。
  論文  参考訳（メタデータ） (2021-07-04T12:59:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。