論文の概要: Can Foundation Models Help Us Achieve Perfect Secrecy?

• arxiv url: http://arxiv.org/abs/2205.13722v1
• Date: Fri, 27 May 2022 02:32:26 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-31 07:38:28.574507
• Title: Can Foundation Models Help Us Achieve Perfect Secrecy?
• Title（参考訳）: ファウンデーションモデルは秘密を守るのに役立つか?
• Authors: Simran Arora and Christopher R\'e
• Abstract要約: 機械学習の鍵となる約束は、ユーザーをパーソナルなタスクで支援する能力である。 金の標準プライバシー保護システムは、完全な機密性を満たすだろう。 しかし、プライバシーと品質は、個人業務のために既存のシステムでは緊張しているようだ。
• 参考スコア（独自算出の注目度）: 11.073539163281524
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: A key promise of machine learning is the ability to assist users with personal tasks. Because the personal context required to make accurate predictions is often sensitive, we require systems that protect privacy. A gold standard privacy-preserving system will satisfy perfect secrecy, meaning that interactions with the system provably reveal no additional private information to adversaries. This guarantee should hold even as we perform multiple personal tasks over the same underlying data. However, privacy and quality appear to be in tension in existing systems for personal tasks. Neural models typically require lots of training to perform well, while individual users typically hold a limited scale of data, so the systems propose to learn from the aggregate data of multiple users. This violates perfect secrecy and instead, in the last few years, academics have defended these solutions using statistical notions of privacy -- i.e., the probability of learning private information about a user should be reasonably low. Given the vulnerabilities of these solutions, we explore whether the strong perfect secrecy guarantee can be achieved using recent zero-to-few sample adaptation techniques enabled by foundation models. In response, we propose FOCUS, a framework for personal tasks. Evaluating on popular privacy benchmarks, we find the approach, satisfying perfect secrecy, competes with strong collaborative learning baselines on 6 of 7 tasks. We empirically analyze the proposal, highlighting the opportunities and limitations across task types, and model inductive biases and sizes.
• Abstract（参考訳）: 機械学習の鍵となる約束は、ユーザーをパーソナルなタスクで支援する能力である。 正確な予測を行うために必要な個人的なコンテキストは、しばしばセンシティブであるため、プライバシを保護するシステムが必要です。 金の標準的なプライバシー保護システムは完全な秘密を満たしており、システムとのインタラクションは敵に追加の個人情報を明かさない。 この保証は、同じ基盤データ上で複数の個人的なタスクを実行しても守るべきです。 しかし、プライバシーと品質は、個人業務のために既存のシステムでは緊張しているようだ。 ニューラルモデルは通常、うまく機能するために多くのトレーニングを必要とするが、個々のユーザは限られた規模のデータを持っているため、システムは複数のユーザの集約データから学ぶことを提案している。 これは完全な秘密性に反し、ここ数年、学者はプライバシーの統計的概念(つまり、ユーザーの個人情報を学習する確率は合理的に低い)を用いてこれらのソリューションを擁護してきた。 これらのソリューションの脆弱性を考慮し、基礎モデルによって実現された最近のゼロ・ツー・ファウサンプル適応技術を用いて、強力な完全秘密保証が達成できるかどうかを考察する。 そこで我々は,パーソナルタスクのためのフレームワークであるfocusを提案する。 一般的なプライバシのベンチマークから判断すると、アプローチは完全な機密性を満たし、7つのタスクのうち6つで強力な協調学習ベースラインと競合する。 提案を実証的に分析し、タスクタイプ間の機会と制限を強調し、帰納バイアスとサイズをモデル化します。

関連論文リスト

• Mind the Privacy Unit! User-Level Differential Privacy for Language Model Fine-Tuning [62.224804688233]
  差分プライバシ(DP)は、モデルが特定のプライバシユニットで「ほとんど区別できない」ことを保証することで、有望なソリューションを提供する。 ユーザ間でのプライバシー保護の確保に必要なアプリケーションによって動機づけられたユーザレベルのDPについて検討する。
  論文  参考訳（メタデータ） (2024-06-20T13:54:32Z)
• Can LLMs Keep a Secret? Testing Privacy Implications of Language Models via Contextual Integrity Theory [82.7042006247124]
  私たちは、最も有能なAIモデルでさえ、人間がそれぞれ39%と57%の確率で、プライベートな情報を公開していることを示しています。 我々の研究は、推論と心の理論に基づいて、新しい推論時プライバシー保護アプローチを即時に探求する必要性を浮き彫りにしている。
  論文  参考訳（メタデータ） (2023-10-27T04:15:30Z)
• Privacy Preserving Large Language Models: ChatGPT Case Study Based Vision and Framework [6.828884629694705]
  本稿では,LLMのプライバシ生成モデルであるPrivChatGPTという概念モデルを提案する。 PrivChatGPTは、データキュレーション/前処理中にユーザのプライバシを保護し、プライベートコンテキストの保存と大規模データのプライベートトレーニングプロセスという2つの主要コンポーネントから構成される。
  論文  参考訳（メタデータ） (2023-10-19T06:55:13Z)
• Can Language Models be Instructed to Protect Personal Information? [30.187731765653428]
  シミュレーションシナリオにおいて、モデルが特定の個人情報のカテゴリを保護するように指示されたとき、プライバシ/ユーティリティトレードオフを評価するためのベンチマークであるPrivQAを紹介します。 我々は,テキストや画像入力による単純なジェイルブレイク手法により,敵が容易にこれらの保護を回避できることを見出した。 PrivQAは、プライバシー保護を改善した新しいモデルの開発と、これらの保護の敵意的な堅牢性をサポートする可能性があると考えています。
  論文  参考訳（メタデータ） (2023-10-03T17:30:33Z)
• Tight Auditing of Differentially Private Machine Learning [77.38590306275877]
  プライベート機械学習では、既存の監査メカニズムは厳格である。 彼らは不確実な最悪の仮定の下でのみ厳密な見積もりを行う。 我々は、自然(逆向きではない)データセットの厳密なプライバシー推定を得られる改善された監査スキームを設計する。
  論文  参考訳（メタデータ） (2023-02-15T21:40:33Z)
• Personalized Privacy Auditing and Optimization at Test Time [44.15285550981899]
  本稿では、モデルがテスト時に正確な予測を返却するために、入力機能を必要とするかどうかを問う。 パーソナライズされた設定の下では、各個人は最終的な決定に影響を与えることなく、これらの機能の小さなサブセットだけをリリースする必要があるかもしれない。 複数の学習課題に対する評価は、個人が同じレベルの精度を確保するために、情報の10%しか報告できないことを示している。
  論文  参考訳（メタデータ） (2023-01-31T20:16:59Z)
• Group privacy for personalized federated learning [4.30484058393522]
  フェデレーション・ラーニング(Federated Learning)は、コラボレーティブ・機械学習の一種で、参加するクライアントがデータをローカルに処理し、コラボレーティブ・モデルの更新のみを共有する。 我々は、$d$-privacyのキープロパティを利用するグループプライバシ保証を提供する方法を提案する。
  論文  参考訳（メタデータ） (2022-06-07T15:43:45Z)
• SF-PATE: Scalable, Fair, and Private Aggregation of Teacher Ensembles [50.90773979394264]
  本稿では、個人の機密情報のプライバシーを保護しつつ、差別的でない予測者の学習を可能にするモデルについて検討する。 提案モデルの主な特徴は、プライバシ保護とフェアモデルを作成するために、オフ・ザ・セルフと非プライベートフェアモデルの採用を可能にすることである。
  論文  参考訳（メタデータ） (2022-04-11T14:42:54Z)
• Differentially Private and Fair Deep Learning: A Lagrangian Dual Approach [54.32266555843765]
  本稿では,個人の機密情報のプライバシを保護するとともに,非差別的予測器の学習を可能にするモデルについて検討する。 この方法は、微分プライバシーの概念と、公正性制約を満たすニューラルネットワークの設計にラグランジアン双対性(Lagrangian duality)を用いることに依存している。
  論文  参考訳（メタデータ） (2020-09-26T10:50:33Z)
• Differentially private cross-silo federated learning [16.38610531397378]
  厳密なプライバシは、分散機械学習において最重要事項である。 本稿では,いわゆるクロスサイロ・フェデレーション・ラーニング・セッティングにおいて,加算準同型セキュア和プロトコルと差分プライバシーを併用する。 提案手法により,非分散設定に匹敵する予測精度が得られることを示す。
  論文  参考訳（メタデータ） (2020-07-10T18:15:10Z)
• Differentially Private Deep Learning with Smooth Sensitivity [144.31324628007403]
  プライバシーに関する懸念を、差分プライバシーのレンズを通して研究する。 このフレームワークでは、モデルのトレーニングに使用されるデータの詳細が曖昧になるようにモデルを摂動することで、一般的にプライバシー保証が得られます。 過去の研究で使われた最も重要なテクニックの1つは、教師モデルのアンサンブルであり、ノイズの多い投票手順に基づいて生徒に情報を返す。 本研究では,イミュータブルノイズArgMaxと呼ばれるスムーズな感性を有する新しい投票機構を提案する。これは,ある条件下では,学生に伝達される有用な情報に影響を与えることなく,教師から非常に大きなランダムノイズを発生させることができる。
  論文  参考訳（メタデータ） (2020-03-01T15:38:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。