論文の概要: Corella: A Private Multi Server Learning Approach based on Correlated
Queries
- arxiv url: http://arxiv.org/abs/2003.12052v2
- Date: Mon, 27 Jul 2020 09:39:00 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-19 21:41:14.387298
- Title: Corella: A Private Multi Server Learning Approach based on Correlated
Queries
- Title（参考訳）: Corella: 関連するクエリに基づいた,プライベートなマルチサーバ学習アプローチ
- Authors: Hamidreza Ehteram, Mohammad Ali Maddah-Ali, Mahtab Mirmohseni
- Abstract要約: データプライバシーを保護する代替手段として、$textitCorella$を提案する。
提案手法はサーバのクラスタに依存しており,少なくともmathbbN$のTは,それぞれが学習モデルを実行することでコロードを行うことができる。
ノイズのばらつきは、情報漏洩を最大$T$サーバの任意のサブセットに、理論的に無視できるほど大きく設定されている。
- 参考スコア（独自算出の注目度）: 30.3330177204504
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The emerging applications of machine learning algorithms on mobile devices
motivate us to offload the computation tasks of training a model or deploying a
trained one to the cloud or at the edge of the network. One of the major
challenges in this setup is to guarantee the privacy of the client data.
Various methods have been proposed to protect privacy in the literature. Those
include (i) adding noise to the client data, which reduces the accuracy of the
result, (ii) using secure multiparty computation (MPC), which requires
significant communication among the computing nodes or with the client, (iii)
relying on homomorphic encryption (HE) methods, which significantly increases
computation load at the servers. In this paper, we propose $\textit{Corella}$
as an alternative approach to protect the privacy of data. The proposed scheme
relies on a cluster of servers, where at most $T \in \mathbb{N}$ of them may
collude, each running a learning model (e.g., a deep neural network). Each
server is fed with the client data, added with $\textit{strong}$ noise,
independent from user data. The variance of the noise is set to be large enough
to make the information leakage to any subset of up to $T$ servers
information-theoretically negligible. On the other hand, the added noises for
different servers are $\textit{correlated}$. This correlation among the queries
allows the parameters of the models running on different servers to be
$\textit{trained}$ such that the client can mitigate the contribution of the
noises by combining the outputs of the servers, and recover the final result
with high accuracy and with a minor computational effort. Simulation results
for various datasets demonstrate the accuracy of the proposed approach for the
classification, using deep neural networks, and the autoencoder, as supervised
and unsupervised learning tasks, respectively.
- Abstract（参考訳）: モバイルデバイス上の機械学習アルゴリズムの新たな応用は、モデルをトレーニングしたり、トレーニングされたものをクラウドやネットワークの端にデプロイする計算タスクをオフロードする動機付けになります。
このセットアップの大きな課題のひとつは、クライアントデータのプライバシを保証することです。
文献ではプライバシーを守るために様々な方法が提案されている。
以下を含む。
(i)クライアントデータにノイズを加えることにより、結果の精度が低下する。
(ii)セキュアなマルチパーティ計算(mpc)は、演算ノード間の通信やクライアントとの通信を必要とする。
(iii) サーバの計算負荷を大幅に増大させる同相暗号(HE)方式に依存している。
本稿では、データのプライバシーを保護する代替手段として、$\textit{Corella}$を提案する。
提案されたスキームはサーバのクラスタに依存しており、最大$t \in \mathbb{n}$が衝突し、それぞれが学習モデル(例えばディープニューラルネットワーク)を実行する可能性がある。
各サーバにはクライアントデータが供給され、ユーザデータとは独立して$\textit{strong}$ noiseが付加される。
ノイズのばらつきは、情報漏洩を最大$T$サーバの任意のサブセットに、理論的に無視できるほど大きく設定されている。
一方、異なるサーバに追加されたノイズは$\textit{correlated}$である。
このクエリ間の相関により、異なるサーバ上で実行されるモデルのパラメータは$\textit{trained}$となり、クライアントはサーバの出力を組み合わせることでノイズの寄与を軽減し、最終的な結果を高精度かつ少ない計算労力で回復することができる。
各種データセットのシミュレーション結果は、深層ニューラルネットワークとオートエンコーダを用いて、それぞれ教師なしおよび教師なしの学習タスクとして、提案手法の精度を示す。
関連論文リスト
- Robust Model Evaluation over Large-scale Federated Networks [8.700087812420687]
我々は、目に見えないターゲットネットワーク上での機械学習モデルの性能を認証する課題に対処する。
モデルの平均損失を理論的に保証し、リスクCDFに一様境界を与える。
私たちのバウンダリは、K$クライアントへの多数のクエリに間に合うように計算可能で、モデルのプライベートデータにおける損失のみをクエリすることで、クライアントのプライバシを保存することができます。
論文 参考訳（メタデータ） (2024-10-26T18:45:15Z) - A Novel Neural Network-Based Federated Learning System for Imbalanced
and Non-IID Data [2.9642661320713555]
ほとんどの機械学習アルゴリズムは、様々なソースから収集される大量のデータに大きく依存している。
この問題に対処するため、研究者らはフェデレーション学習を導入し、クライアントデータのプライバシーを確保することによって予測モデルを学習した。
本研究では,ニューラルネットワークに基づくフェデレーション学習システムを提案する。
論文 参考訳（メタデータ） (2023-11-16T17:14:07Z) - Scalable Collaborative Learning via Representation Sharing [53.047460465980144]
フェデレートラーニング(FL)とスプリットラーニング(SL)は、データを(デバイス上で)プライベートにしながら協調学習を可能にする2つのフレームワークである。
FLでは、各データ保持者がモデルをローカルにトレーニングし、集約のために中央サーバにリリースする。
SLでは、クライアントは個々のカット層アクティベーション(スマッシュされたデータ)をサーバにリリースし、そのレスポンス(推論とバックの伝搬の両方)を待つ必要があります。
本研究では, クライアントがオンライン知識蒸留を通じて, 対照的な損失を生かして協調する, プライバシ保護機械学習の新しいアプローチを提案する。
論文 参考訳（メタデータ） (2022-11-20T10:49:22Z) - Communication-Efficient Adam-Type Algorithms for Distributed Data Mining [93.50424502011626]
我々はスケッチを利用した新しい分散Adam型アルゴリズムのクラス(例:SketchedAMSGrad)を提案する。
我々の新しいアルゴリズムは、反復毎に$O(frac1sqrtnT + frac1(k/d)2 T)$の高速収束率を$O(k log(d))$の通信コストで達成する。
論文 参考訳（メタデータ） (2022-10-14T01:42:05Z) - Scalable Neural Data Server: A Data Recommender for Transfer Learning [70.06289658553675]
転送学習は、下流のパフォーマンスを改善するために追加データを活用する一般的な戦略である。
Nerve Data Server (NDS)は、特定の下流タスクに関連するデータを推奨する検索エンジンで、この問題に対処するためにこれまで提案されていた。
NDSは、データソースでトレーニングされた専門家の混合物を使用して、各ソースと下流タスクの類似性を推定する。
SNDSは、中間データセットに近接して、データソースと下流タスクの両方を表現します。
論文 参考訳（メタデータ） (2022-06-19T12:07:32Z) - HideNseek: Federated Lottery Ticket via Server-side Pruning and Sign
Supermask [11.067931264340931]
フェデレーション学習は、ローカルモデルの更新のみを中央サーバに送信することで、分散学習におけるプライバシーリスクを軽減する。
従来の研究は、パーソナライズと量子化とプルーニングを含むモデル圧縮スキームを組み合わせることで、これらの課題に対処してきた。
本稿では,重みのシナプス性に基づくサブネットワークを実現するために,ワンショットデータ非依存プルーニングを用いたHydenNseekを提案する。
論文 参考訳（メタデータ） (2022-06-09T09:55:31Z) - THE-X: Privacy-Preserving Transformer Inference with Homomorphic
Encryption [112.02441503951297]
トランスフォーマーモデルのプライバシ保護推論は、クラウドサービスユーザの要求に基づいています。
我々は、事前訓練されたモデルのプライバシ保存推論を可能にするトランスフォーマーの近似アプローチである$textitTHE-X$を紹介した。
論文 参考訳（メタデータ） (2022-06-01T03:49:18Z) - Solving Mixed Integer Programs Using Neural Networks [57.683491412480635]
本稿では,mipソルバの2つのキーサブタスクに学習を適用し,高品質なジョイント変数割当を生成し,その割当と最適課題との客観的値の差を限定する。
提案手法は,ニューラルネットワークに基づく2つのコンポーネントであるニューラルダイバーディングとニューラルブランチを構築し,SCIPなどのベースMIPソルバで使用する。
2つのGoogle生産データセットとMIPLIBを含む6つの現実世界データセットに対するアプローチを評価し、それぞれに別々のニューラルネットワークをトレーニングする。
論文 参考訳（メタデータ） (2020-12-23T09:33:11Z) - Differentially Private Secure Multi-Party Computation for Federated
Learning in Financial Applications [5.50791468454604]
フェデレートラーニングにより、信頼されたサーバで作業する多くのクライアントが、共有機械学習モデルを共同で学習することが可能になる。
これにより機密データを露出するリスクが軽減されるが、通信されたモデルパラメータからクライアントのプライベートデータセットに関する情報をリバースすることが可能になる。
筆者らは,非専門的な聴衆にプライバシ保存型フェデレーション学習プロトコルを提示し,実世界のクレジットカード詐欺データセットにロジスティック回帰を用いてそれを実証し,オープンソースシミュレーションプラットフォームを用いて評価する。
論文 参考訳（メタデータ） (2020-10-12T17:16:27Z) - CryptoSPN: Privacy-preserving Sum-Product Network Inference [84.88362774693914]
総生産ネットワーク(SPN)のプライバシ保護のためのフレームワークを提案する。
CryptoSPNは、中規模のSPNに対して秒の順序で高効率で正確な推論を行う。
論文 参考訳（メタデータ） (2020-02-03T14:49:18Z) - Secure Summation via Subset Sums: A New Primitive for Privacy-Preserving
Distributed Machine Learning [15.275126264550943]
サミネーションは計算手段、カウント、ミニバッチ勾配にとって重要なプリミティブである。
多くの場合、データはプライバシーに敏感であり、中央サーバーでは収集できない。
分散和と計算プライバシ保証の既存のソリューションは、現実の環境で満たされない信頼や接続の前提を定めている。
本稿では,悪意のあるサーバと2つの正直なクライアントの存在下で機能する分散和法であるSecure Summation via Subset Sums (S5)を提案する。
論文 参考訳（メタデータ） (2019-06-27T23:27:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。