論文の概要: Privacy-preserving machine learning with tensor networks
- arxiv url: http://arxiv.org/abs/2202.12319v2
- Date: Fri, 14 Jul 2023 13:04:42 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-17 17:49:31.627404
- Title: Privacy-preserving machine learning with tensor networks
- Title（参考訳）: テンソルネットワークを用いたプライバシー保護機械学習
- Authors: Alejandro Pozas-Kerstjens, Senaida Hern\'andez-Santana, Jos\'e Ram\'on
Pareja Monturiol, Marco Castrill\'on L\'opez, Giannicola Scarpa, Carlos E.
Gonz\'alez-Guill\'en, David P\'erez-Garc\'ia
- Abstract要約: テンソルネットワークアーキテクチャは、特にプライバシー保護機械学習に期待できる特性を持つことを示す。
まず、フィードフォワードニューラルネットワークに存在する新たなプライバシ脆弱性を説明し、それを合成および実世界のデータセットで説明する。
このような条件がテンソルネットワークアーキテクチャによって満たされていることを厳密に証明する。
- 参考スコア（独自算出の注目度）: 50.591267188664666
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Tensor networks, widely used for providing efficient representations of
low-energy states of local quantum many-body systems, have been recently
proposed as machine learning architectures which could present advantages with
respect to traditional ones. In this work we show that tensor network
architectures have especially prospective properties for privacy-preserving
machine learning, which is important in tasks such as the processing of medical
records. First, we describe a new privacy vulnerability that is present in
feedforward neural networks, illustrating it in synthetic and real-world
datasets. Then, we develop well-defined conditions to guarantee robustness to
such vulnerability, which involve the characterization of models equivalent
under gauge symmetry. We rigorously prove that such conditions are satisfied by
tensor-network architectures. In doing so, we define a novel canonical form for
matrix product states, which has a high degree of regularity and fixes the
residual gauge that is left in the canonical forms based on singular value
decompositions. We supplement the analytical findings with practical examples
where matrix product states are trained on datasets of medical records, which
show large reductions on the probability of an attacker extracting information
about the training dataset from the model's parameters. Given the growing
expertise in training tensor-network architectures, these results imply that
one may not have to be forced to make a choice between accuracy in prediction
and ensuring the privacy of the information processed.
- Abstract（参考訳）: 局所量子多体系の低エネルギー状態の効率的な表現に広く用いられるテンソルネットワークは、最近、従来のシステムに対して利点をもたらす機械学習アーキテクチャとして提案されている。
本稿では,テンソルネットワークアーキテクチャが,医療記録の処理などにおいて重要なプライバシ保護機械学習に特に有望な特性を持つことを示す。
まず、フィードフォワードニューラルネットワークに存在する新たなプライバシ脆弱性を説明し、それを合成および実世界のデータセットで説明する。
次に,そのような脆弱性に対するロバスト性を保証するために,ゲージ対称性の下で等価なモデルのキャラクタリゼーションを含む,明確に定義された条件を開発する。
このような条件がテンソルネットワークアーキテクチャによって満たされていることを厳密に証明する。
その際、行列積状態に対する新しい正準形式を定義し、これは高い正則性を持ち、特異値分解に基づいて正準形式に残される残差ゲージを固定する。
分析の結果を,医療記録のデータセット上でマトリックス製品状態が訓練される実例で補うとともに,モデルのパラメータからトレーニングデータセットに関する情報を抽出する攻撃者の確率が大幅に低下することを示す。
テンソルネットワークアーキテクチャのトレーニングに関する専門知識の増大を考えると、これらの結果は、予測の正確さと処理される情報のプライバシーの確保を選択せざるを得ないことを示している。
関連論文リスト
- Exponential Quantum Communication Advantage in Distributed Inference and Learning [19.827903766111987]
本稿では,量子ネットワーク上で分散計算を行うフレームワークを提案する。
このフレームワーク内のモデルでは、指数的に少ない通信で勾配勾配を用いた推論と訓練を行うことができることを示す。
また、このクラスのモデルが入力の高非線形特徴を符号化できることを示し、その表現性はモデル深度とともに指数関数的に増加することを示した。
論文 参考訳（メタデータ） (2023-10-11T02:19:50Z) - Robust Graph Representation Learning via Predictive Coding [46.22695915912123]
予測符号化は、当初脳の情報処理をモデル化するために開発されたメッセージパッシングフレームワークである。
本研究では,予測符号化のメッセージパス規則に依存するモデルを構築する。
提案したモデルは,帰納的タスクと帰納的タスクの両方において,標準的なモデルに匹敵する性能を示す。
論文 参考訳（メタデータ） (2022-12-09T03:58:22Z) - Mutual information estimation for graph convolutional neural networks [0.0]
本稿では,学習中にネットワークの内部表現を追跡するアーキテクチャに依存しない手法を提案する。
グラフベースアーキテクチャで導入された帰納バイアスが、完全に接続されたニューラルネットワークに対して相互情報平面をどのように変化させるかを比較する。
論文 参考訳（メタデータ） (2022-03-31T08:30:04Z) - Quasi-orthogonality and intrinsic dimensions as measures of learning and
generalisation [55.80128181112308]
ニューラルネットワークの特徴空間の次元性と準直交性は、ネットワークの性能差別と共同して機能する可能性があることを示す。
本研究は, ネットワークの最終的な性能と, ランダムに初期化された特徴空間の特性との関係を示唆する。
論文 参考訳（メタデータ） (2022-03-30T21:47:32Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳（メタデータ） (2022-02-01T17:11:13Z) - Leveraging the structure of dynamical systems for data-driven modeling [111.45324708884813]
トレーニングセットとその構造が長期予測の品質に与える影響を考察する。
トレーニングセットのインフォームドデザインは,システムの不変性と基盤となるアトラクションの構造に基づいて,結果のモデルを大幅に改善することを示す。
論文 参考訳（メタデータ） (2021-12-15T20:09:20Z) - Locally Sparse Networks for Interpretable Predictions [7.362415721170984]
本稿では,局所的な疎度をサンプル固有のゲーティング機構を用いて学習する,局所スパースニューラルネットワークのトレーニングフレームワークを提案する。
サンプル固有の間隔は、テキスト予測ネットワークで予測され、テキスト予測ネットワークとタンデムでトレーニングされる。
本手法は,1インスタンスあたりの機能が少ないターゲット関数の予測において,最先端のモデルよりも優れていることを示す。
論文 参考訳（メタデータ） (2021-06-11T15:46:50Z) - Anomaly Detection on Attributed Networks via Contrastive Self-Supervised
Learning [50.24174211654775]
本論文では,アトリビュートネットワーク上の異常検出のためのコントラスト型自己監視学習フレームワークを提案する。
このフレームワークは、新しいタイプのコントラストインスタンスペアをサンプリングすることで、ネットワークデータからのローカル情報を完全に活用します。
高次元特性と局所構造から情報埋め込みを学習するグラフニューラルネットワークに基づくコントラスト学習モデルを提案する。
論文 参考訳（メタデータ） (2021-02-27T03:17:20Z) - Estimating informativeness of samples with Smooth Unique Information [108.25192785062367]
サンプルが最終的な重みを知らせる量と、重みによって計算される関数を知らせる量を測定します。
線形化ネットワークを用いてこれらの量の効率的な近似を行う。
本稿では,データセットの要約など,いくつかの問題に適用する。
論文 参考訳（メタデータ） (2021-01-17T10:29:29Z) - A probabilistic generative model for semi-supervised training of
coarse-grained surrogates and enforcing physical constraints through virtual
observables [3.8073142980733]
本稿では、トレーニング目的と代理モデル自体の両方において、物理的構造と情報を考慮した柔軟な確率的フレームワークを提供する。
我々は、物理から得られる等式を仮想観測可能なものとして導入し、その可能性を通じて追加情報を提供する確率論的モデルを提案する。
論文 参考訳（メタデータ） (2020-06-02T17:14:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。