論文の概要: Privacy-preserving machine learning with tensor networks
- arxiv url: http://arxiv.org/abs/2202.12319v3
- Date: Tue, 23 Jul 2024 20:47:04 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-25 20:17:42.802627
- Title: Privacy-preserving machine learning with tensor networks
- Title（参考訳）: テンソルネットワークを用いたプライバシー保護機械学習
- Authors: Alejandro Pozas-Kerstjens, Senaida Hernández-Santana, José Ramón Pareja Monturiol, Marco Castrillón López, Giannicola Scarpa, Carlos E. González-Guillén, David Pérez-García,
- Abstract要約: テンソルネットワークアーキテクチャは、特にプライバシー保護機械学習に期待できる特性を持つことを示す。
まず、フィードフォワードニューラルネットワークに存在する新たなプライバシ脆弱性を説明し、それを合成および実世界のデータセットで説明する。
このような条件がテンソルネットワークアーキテクチャによって満たされていることを厳密に証明する。
- 参考スコア（独自算出の注目度）: 37.01494003138908
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Tensor networks, widely used for providing efficient representations of low-energy states of local quantum many-body systems, have been recently proposed as machine learning architectures which could present advantages with respect to traditional ones. In this work we show that tensor network architectures have especially prospective properties for privacy-preserving machine learning, which is important in tasks such as the processing of medical records. First, we describe a new privacy vulnerability that is present in feedforward neural networks, illustrating it in synthetic and real-world datasets. Then, we develop well-defined conditions to guarantee robustness to such vulnerability, which involve the characterization of models equivalent under gauge symmetry. We rigorously prove that such conditions are satisfied by tensor-network architectures. In doing so, we define a novel canonical form for matrix product states, which has a high degree of regularity and fixes the residual gauge that is left in the canonical forms based on singular value decompositions. We supplement the analytical findings with practical examples where matrix product states are trained on datasets of medical records, which show large reductions on the probability of an attacker extracting information about the training dataset from the model's parameters. Given the growing expertise in training tensor-network architectures, these results imply that one may not have to be forced to make a choice between accuracy in prediction and ensuring the privacy of the information processed.
- Abstract（参考訳）: 局所量子多体系の低エネルギー状態の効率的な表現に広く用いられているテンソルネットワークは、近年、従来のものに対して利点を示す機械学習アーキテクチャとして提案されている。
本研究は, テンソルネットワークアーキテクチャが特に, 医療記録の処理などのタスクにおいて重要なプライバシー保護機械学習の特性を持つことを示す。
まず、フィードフォワードニューラルネットワークに存在する新たなプライバシ脆弱性を説明し、それを合成および実世界のデータセットで説明する。
そして、ゲージ対称性の下で等価なモデルのキャラクタリゼーションを含む、そのような脆弱性に対するロバスト性を保証するために、明確に定義された条件を開発する。
このような条件がテンソルネットワークアーキテクチャによって満たされていることを厳密に証明する。
その際、行列積状態に対する新しい正準形式を定義し、高次正則性を持ち、特異値分解に基づいて正準形式に残される残留ゲージを固定する。
本研究は,攻撃者がトレーニングデータセットに関する情報をモデルパラメータから抽出する確率を大幅に低下させる指標として,行列積状態が医療記録のデータセットに基づいて訓練される実例を補足する。
テンソルネットワークアーキテクチャのトレーニングに関する専門知識の増大を考えると、これらの結果は、予測の正確さと処理される情報のプライバシの確保を迫られる必要がなくなる可能性を示唆している。
関連論文リスト
- Exponential Quantum Communication Advantage in Distributed Inference and Learning [19.827903766111987]
本稿では,量子ネットワーク上で分散計算を行うフレームワークを提案する。
このフレームワーク内のモデルでは、指数的に少ない通信で勾配勾配を用いた推論と訓練を行うことができることを示す。
また、このクラスのモデルが入力の高非線形特徴を符号化できることを示し、その表現性はモデル深度とともに指数関数的に増加することを示した。
論文 参考訳（メタデータ） (2023-10-11T02:19:50Z) - Robust Graph Representation Learning via Predictive Coding [46.22695915912123]
予測符号化は、当初脳の情報処理をモデル化するために開発されたメッセージパッシングフレームワークである。
本研究では,予測符号化のメッセージパス規則に依存するモデルを構築する。
提案したモデルは,帰納的タスクと帰納的タスクの両方において,標準的なモデルに匹敵する性能を示す。
論文 参考訳（メタデータ） (2022-12-09T03:58:22Z) - Mutual information estimation for graph convolutional neural networks [0.0]
本稿では,学習中にネットワークの内部表現を追跡するアーキテクチャに依存しない手法を提案する。
グラフベースアーキテクチャで導入された帰納バイアスが、完全に接続されたニューラルネットワークに対して相互情報平面をどのように変化させるかを比較する。
論文 参考訳（メタデータ） (2022-03-31T08:30:04Z) - Quasi-orthogonality and intrinsic dimensions as measures of learning and
generalisation [55.80128181112308]
ニューラルネットワークの特徴空間の次元性と準直交性は、ネットワークの性能差別と共同して機能する可能性があることを示す。
本研究は, ネットワークの最終的な性能と, ランダムに初期化された特徴空間の特性との関係を示唆する。
論文 参考訳（メタデータ） (2022-03-30T21:47:32Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳（メタデータ） (2022-02-01T17:11:13Z) - Leveraging the structure of dynamical systems for data-driven modeling [111.45324708884813]
トレーニングセットとその構造が長期予測の品質に与える影響を考察する。
トレーニングセットのインフォームドデザインは,システムの不変性と基盤となるアトラクションの構造に基づいて,結果のモデルを大幅に改善することを示す。
論文 参考訳（メタデータ） (2021-12-15T20:09:20Z) - Locally Sparse Networks for Interpretable Predictions [7.362415721170984]
本稿では,局所的な疎度をサンプル固有のゲーティング機構を用いて学習する,局所スパースニューラルネットワークのトレーニングフレームワークを提案する。
サンプル固有の間隔は、テキスト予測ネットワークで予測され、テキスト予測ネットワークとタンデムでトレーニングされる。
本手法は,1インスタンスあたりの機能が少ないターゲット関数の予測において,最先端のモデルよりも優れていることを示す。
論文 参考訳（メタデータ） (2021-06-11T15:46:50Z) - Anomaly Detection on Attributed Networks via Contrastive Self-Supervised
Learning [50.24174211654775]
本論文では,アトリビュートネットワーク上の異常検出のためのコントラスト型自己監視学習フレームワークを提案する。
このフレームワークは、新しいタイプのコントラストインスタンスペアをサンプリングすることで、ネットワークデータからのローカル情報を完全に活用します。
高次元特性と局所構造から情報埋め込みを学習するグラフニューラルネットワークに基づくコントラスト学習モデルを提案する。
論文 参考訳（メタデータ） (2021-02-27T03:17:20Z) - Estimating informativeness of samples with Smooth Unique Information [108.25192785062367]
サンプルが最終的な重みを知らせる量と、重みによって計算される関数を知らせる量を測定します。
線形化ネットワークを用いてこれらの量の効率的な近似を行う。
本稿では,データセットの要約など,いくつかの問題に適用する。
論文 参考訳（メタデータ） (2021-01-17T10:29:29Z) - A probabilistic generative model for semi-supervised training of
coarse-grained surrogates and enforcing physical constraints through virtual
observables [3.8073142980733]
本稿では、トレーニング目的と代理モデル自体の両方において、物理的構造と情報を考慮した柔軟な確率的フレームワークを提供する。
我々は、物理から得られる等式を仮想観測可能なものとして導入し、その可能性を通じて追加情報を提供する確率論的モデルを提案する。
論文 参考訳（メタデータ） (2020-06-02T17:14:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。