論文の概要: Expressive variational quantum circuits provide inherent privacy in federated learning

• arxiv url: http://arxiv.org/abs/2309.13002v2
• Date: Mon, 25 Sep 2023 16:11:56 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-26 10:39:08.372299
• Title: Expressive variational quantum circuits provide inherent privacy in federated learning
• Title（参考訳）: 表現型変分量子回路は連合学習に固有のプライバシを提供する
• Authors: Niraj Kumar, Jamie Heredge, Changhao Li, Shaltiel Eloul, Shree Hari Sureshbabu, and Marco Pistoia
• Abstract要約: フェデレーション学習は、中央アグリゲータとデータを共有する必要なく、機械学習モデルをトレーニングするための実行可能なソリューションとして登場した。 標準的なニューラルネットワークベースのフェデレーション学習モデルは、サーバと共有される勾配からデータ漏洩の影響を受けやすいことが示されている。 表現的マップは、勾配反転攻撃に対する固有のプライバシーにつながることを示す。
• 参考スコア（独自算出の注目度）: 2.3255115473995134
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated learning has emerged as a viable distributed solution to train machine learning models without the actual need to share data with the central aggregator. However, standard neural network-based federated learning models have been shown to be susceptible to data leakage from the gradients shared with the server. In this work, we introduce federated learning with variational quantum circuit model built using expressive encoding maps coupled with overparameterized ans\"atze. We show that expressive maps lead to inherent privacy against gradient inversion attacks, while overparameterization ensures model trainability. Our privacy framework centers on the complexity of solving the system of high-degree multivariate Chebyshev polynomials generated by the gradients of quantum circuit. We present compelling arguments highlighting the inherent difficulty in solving these equations, both in exact and approximate scenarios. Additionally, we delve into machine learning-based attack strategies and establish a direct connection between overparameterization in the original federated learning model and underparameterization in the attack model. Furthermore, we provide numerical scaling arguments showcasing that underparameterization of the expressive map in the attack model leads to the loss landscape being swamped with exponentially many spurious local minima points, thus making it extremely hard to realize a successful attack. This provides a strong claim, for the first time, that the nature of quantum machine learning models inherently helps prevent data leakage in federated learning.
• Abstract（参考訳）: フェデレーション学習は、中央アグリゲータとデータを共有する必要なく、マシンラーニングモデルをトレーニングするための実行可能な分散ソリューションとして登場した。 しかし、標準的なニューラルネットワークベースのフェデレーション学習モデルは、サーバと共有される勾配からのデータ漏洩の影響を受けやすいことが示されている。 本研究では,過パラメータans\"atzeを結合した表現型エンコーディングマップを用いて,変動量子回路モデルを用いたフェデレート学習を提案する。 表現型マップは勾配反転攻撃に対して固有のプライバシをもたらし、過剰パラメータ化はモデルのトレーサビリティを保証する。 我々のプライバシーフレームワークは、量子回路の勾配によって生成される高次多変量チェビシェフ多項式のシステムを解く複雑さに焦点を当てている。 我々は,これらの方程式を完全かつ近似的に解くことの難しさを強調する説得力のある議論を行う。 さらに、機械学習に基づく攻撃戦略を考察し、元のフェデレーション学習モデルのオーバーパラメータ化と攻撃モデルのアンダーパラメータ化との直接的な関係を確立する。 さらに,攻撃モデルにおける表現型マップの過度パラメータ化が,指数関数的に多くの局所的最小点を持つ損失景観に繋がることを示すため,攻撃を成功させるのは非常に困難である。 これは、量子機械学習モデルの性質が本質的に連合学習におけるデータの漏洩を防ぐのに役立つという、初めて強い主張を与える。

関連論文リスト

• Exponential Quantum Communication Advantage in Distributed Inference and Learning [19.827903766111987]
  本稿では,量子ネットワーク上で分散計算を行うフレームワークを提案する。 このフレームワーク内のモデルでは、指数的に少ない通信で勾配勾配を用いた推論と訓練を行うことができることを示す。 また、このクラスのモデルが入力の高非線形特徴を符号化できることを示し、その表現性はモデル深度とともに指数関数的に増加することを示した。
  論文  参考訳（メタデータ） (2023-10-11T02:19:50Z)
• Phantom Embeddings: Using Embedding Space for Model Regularization in Deep Neural Networks [12.293294756969477]
  機械学習モデルの強みは、データから複雑な関数近似を学ぶ能力に起因している。 複雑なモデルはトレーニングデータを記憶する傾向があり、結果としてテストデータの正規化性能が低下する。 情報豊富な潜伏埋め込みと高いクラス内相関を利用してモデルを正規化するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-04-14T17:15:54Z)
• Mixed Precision Quantization to Tackle Gradient Leakage Attacks in Federated Learning [1.7205106391379026]
  フェデレートラーニング(FL)は、明示的なデータ共有を必要とせずに、多数の参加者の間で協調的なモデル構築を可能にする。 このアプローチは、プライバシ推論攻撃を適用した際の脆弱性を示す。 特に、モデル勾配からセンシティブなデータを取得する上で高い成功率を持つ勾配リーク攻撃の場合、FLモデルは、その固有のアーキテクチャにおける通信の存在により、高いリスクを負う。
  論文  参考訳（メタデータ） (2022-10-22T04:24:32Z)
• Learning to Learn with Generative Models of Neural Network Checkpoints [71.06722933442956]
  ニューラルネットワークのチェックポイントのデータセットを構築し,パラメータの生成モデルをトレーニングする。 提案手法は,幅広い損失プロンプトに対するパラメータの生成に成功している。 我々は、教師付きおよび強化学習における異なるニューラルネットワークアーキテクチャとタスクに本手法を適用した。
  論文  参考訳（メタデータ） (2022-09-26T17:59:58Z)
• ClusterQ: Semantic Feature Distribution Alignment for Data-Free Quantization [111.12063632743013]
  本稿では,ClusterQと呼ばれるデータフリーな量子化手法を提案する。 意味的特徴のクラス間分離性を高めるために,特徴分布統計をクラスタ化し,整列する。 また、クラス内分散を組み込んで、クラスワイドモードの崩壊を解決する。
  論文  参考訳（メタデータ） (2022-04-30T06:58:56Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Investigating the Relationship Between Dropout Regularization and Model Complexity in Neural Networks [0.0]
  ドロップアウト規則化は、ディープラーニングモデルのばらつきを低減するのに役立つ。 2,000のニューラルネットワークをトレーニングすることにより,ドロップアウト率とモデル複雑性の関係について検討する。 各密層に隠されたユニットの数から、最適なドロップアウト率を予測するニューラルネットワークを構築します。
  論文  参考訳（メタデータ） (2021-08-14T23:49:33Z)
• Level-Set Curvature Neural Networks: A Hybrid Approach [0.0]
  レベルセット法で平均曲率を計算するための深層学習に基づくハイブリッド戦略を提案する。 提案手法は,改良回帰モデルの辞書と標準数値スキームを組み合わせて,曲率をより正確に推定する。 機械学習は、レベルセット手法の数値的欠点に対する実行可能な解決策を考案する有望な場であることを確認した。
  論文  参考訳（メタデータ） (2021-04-07T06:51:52Z)
• UVeQFed: Universal Vector Quantization for Federated Learning [179.06583469293386]
  フェデレートラーニング(FL)は、ユーザがプライベートラベル付きデータを共有することなく、そのような学習モデルをトレーニングする、新たなアプローチである。 FLでは、各ユーザが学習モデルのコピーをローカルにトレーニングする。その後、サーバは個々の更新を収集し、それらをグローバルモデルに集約する。 普遍ベクトル量子化法をFLと組み合わせることで、訓練されたモデルの圧縮が最小歪みのみを誘導する分散トレーニングシステムが得られることを示す。
  論文  参考訳（メタデータ） (2020-06-05T07:10:22Z)
• Belief Propagation Reloaded: Learning BP-Layers for Labeling Problems [83.98774574197613]
  最も単純な推論手法の1つとして、切り詰められた最大積のBelief伝播を取り上げ、それをディープラーニングモデルの適切なコンポーネントにするために必要となるものを加えます。 このBP-Layerは畳み込みニューラルネットワーク(CNN)の最終ブロックまたは中間ブロックとして使用できる このモデルは様々な密集予測問題に適用可能であり、パラメータ効率が高く、ステレオ、光フロー、セマンティックセグメンテーションにおける堅牢な解を提供する。
  論文  参考訳（メタデータ） (2020-03-13T13:11:35Z)
• Kernel and Rich Regimes in Overparametrized Models [69.40899443842443]
  過度にパラメータ化された多層ネットワーク上の勾配勾配は、RKHSノルムではないリッチな暗黙バイアスを誘発できることを示す。 また、より複雑な行列分解モデルと多層非線形ネットワークに対して、この遷移を実証的に示す。
  論文  参考訳（メタデータ） (2020-02-20T15:43:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。