Fugu-MT 論文翻訳(概要): Can sparsity improve the privacy of neural networks?

論文の概要: Can sparsity improve the privacy of neural networks?

arxiv url: http://arxiv.org/abs/2304.07234v2
Date: Thu, 23 May 2024 08:00:59 GMT
ステータス: 処理完了
システム内更新日: 2024-05-28 00:25:27.561793
Title: Can sparsity improve the privacy of neural networks?
Title（参考訳）: スパシティはニューラルネットワークのプライバシを改善するか?
Authors: Antoine Gonon, Léon Zheng, Clément Lalanne, Quoc-Tung Le, Guillaume Lauga, Can Pouliquen,
Abstract要約: 本稿は、ネットワークのトレーニングに使用するデータのプライバシーが向上する可能性についても検討する。実験の結果,モデルの疎度,プライバシ,分類誤差との間には正の相関関係が認められた。
参考スコア（独自算出の注目度）: 3.8593595893013206
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Sparse neural networks are mainly motivated by ressource efficiency since they use fewer parameters than their dense counterparts but still reach comparable accuracies. This article empirically investigates whether sparsity could also improve the privacy of the data used to train the networks. The experiments show positive correlations between the sparsity of the model, its privacy, and its classification error. Simply comparing the privacy of two models with different sparsity levels can yield misleading conclusions on the role of sparsity, because of the additional correlation with the classification error. From this perspective, some caveats are raised about previous works that investigate sparsity and privacy.
Abstract（参考訳）: スパースニューラルネットワークは主に、高密度なパラメータよりも少ないパラメータを使用するが、いまだに同等の精度に達するため、リソース効率によって動機付けられている。本稿は、ネットワークのトレーニングに使用されるデータのプライバシーも改善できるかどうかを実証的に検討する。実験の結果,モデルの疎度,プライバシ,分類誤差との間には正の相関関係が認められた。 2つのモデルのプライバシを異なる疎度レベルと比較するだけで、分類エラーと追加の相関があるため、疎度の役割について誤解を招く結論を導き出すことができる。この観点から、スパシティとプライバシを調査する以前の研究について、いくつかの注意事項が提起されている。

関連論文リスト

Shaving Weights with Occam's Razor: Bayesian Sparsification for Neural Networks Using the Marginal Likelihood [55.95208913943408]
ニューラルネットワークのスパーシフィケーションは、計算時間とメモリコストを削減できる有望な方法である。 Sparsifiability via the Marginal chance (SpaM) a pruning framework。当社のフレームワークの有効性を,特に高頻度で実証する。
論文参考訳（メタデータ） (2024-02-25T03:48:13Z)
Blink: Link Local Differential Privacy in Graph Neural Networks via Bayesian Estimation [79.64626707978418]
分散ノード上でのリンクローカル差分プライバシーを用いてグラフニューラルネットワークをトレーニングする。当社のアプローチでは、グラフトポロジをより悪用するために、グラフのリンクと学位を別々に、プライバシ予算に費やしています。当社のアプローチは、様々なプライバシー予算の下での精度において、既存の手法よりも優れています。
論文参考訳（メタデータ） (2023-09-06T17:53:31Z)
Decorrelating neurons using persistence [29.25969187808722]
2つの正規化項は、クリッドの最小スパンニングツリーの重みから計算される。ニューロン間の相関関係を最小化することで、正規化条件よりも低い精度が得られることを示す。正規化の可微分性の証明を含むので、最初の効果的なトポロジカルな永続性に基づく正規化用語を開発することができる。
論文参考訳（メタデータ） (2023-08-09T11:09:14Z)
Bias in Pruned Vision Models: In-Depth Analysis and Countermeasures [93.17009514112702]
ニューラルネットワークのパラメータのかなりの部分集合をゼロに設定するプルーニングは、モデル圧縮の最も一般的な方法の1つである。この現象の既存の証拠にもかかわらず、ニューラルネットワークのプルーニングと誘導バイアスの関係はよく理解されていない。
論文参考訳（メタデータ） (2023-04-25T07:42:06Z)
Privacy-Preserved Neural Graph Similarity Learning [99.78599103903777]
本稿では,グラフ類似性学習のためのプライバシ保存型ニューラルグラフマッチングネットワークモデルPPGMを提案する。再構成攻撃を防ぐため、提案モデルではデバイス間でノードレベルの表現を通信しない。グラフプロパティに対する攻撃を軽減するため、両方のベクトルの情報を含む難読化機能は通信される。
論文参考訳（メタデータ） (2022-10-21T04:38:25Z)
Robustness Threats of Differential Privacy [70.818129585404]
我々は、いくつかの設定で差分プライバシーをトレーニングしたネットワークが、非プライベートバージョンに比べてさらに脆弱であることを実験的に実証した。本研究では,勾配クリッピングや雑音付加などのニューラルネットワークトレーニングの主成分が,モデルの堅牢性に与える影響について検討する。
論文参考訳（メタデータ） (2020-12-14T18:59:24Z)
Compression Boosts Differentially Private Federated Learning [0.7742297876120562]
フェデレートされた学習により、分散エンティティは、自身のデータを共有することなく、共通のモデルを協調的にトレーニングできる。悪意のあるエンティティが、捕獲された勾配から参加者のトレーニングデータに関するプライベート情報を学ぶことができるような、さまざまな推論や再構築攻撃に対して脆弱なままである。本稿では,2つのデータセットを用いて,従来の非私的フェデレート学習方式と比較して,通信コストを最大95%削減できることを示す。
論文参考訳（メタデータ） (2020-11-10T13:11:03Z)
Learning Realistic Patterns from Unrealistic Stimuli: Generalization and Data Anonymization [0.5091527753265949]
本研究は、匿名化されたデータ合成において、サードパーティがそのようなプライベートデータから恩恵を受けられるような、シンプルかつ非従来的なアプローチについて検討する。オープンおよび大規模臨床研究の睡眠モニタリングデータを用いて,(1)エンドユーザーが睡眠時無呼吸検出のためにカスタマイズされた分類モデルを作成し,有効活用できるかどうかを評価し,(2)研究参加者の身元を保護した。
論文参考訳（メタデータ） (2020-09-21T16:31:21Z)
Learning from Failure: Training Debiased Classifier from Biased Classifier [76.52804102765931]
ニューラルネットワークは、所望の知識よりも学習が簡単である場合にのみ、素早い相関に依存することを学習していることを示す。本稿では,一対のニューラルネットワークを同時にトレーニングすることで,障害に基づくデバイアス化手法を提案する。本手法は,合成データセットと実世界のデータセットの両方において,各種バイアスに対するネットワークのトレーニングを大幅に改善する。
論文参考訳（メタデータ） (2020-07-06T07:20:29Z)
Privacy-preserving Learning via Deep Net Pruning [41.80633825456656]
この論文は、ニューラルネットワークの特定の層をプルーニングすることは、その隠された層活性化に一定の量の微分プライベートノイズを加えることと等価であることを証明している。その結果、ニューラルネットワークのプルーニングは、ニューラルネットワークに微分プライベートノイズを加えるよりも、より効果的な方法であることが示された。
論文参考訳（メタデータ） (2020-03-04T03:42:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。