論文の概要: Differentially Private Multivariate Time Series Forecasting of
Aggregated Human Mobility With Deep Learning: Input or Gradient Perturbation?
- arxiv url: http://arxiv.org/abs/2205.00436v1
- Date: Sun, 1 May 2022 10:11:04 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-04 05:13:06.562221
- Title: Differentially Private Multivariate Time Series Forecasting of
Aggregated Human Mobility With Deep Learning: Input or Gradient Perturbation?
- Title（参考訳）: 深層学習による集団移動の個人的多変量時系列予測:入力か勾配摂動か?
- Authors: H\'eber H. Arcolezi, Jean-Fran\c{c}ois Couchot, Denis Renaud, Bechara
Al Bouna, Xiaokui Xiao
- Abstract要約: 本稿では,関係する個人のプライバシーを維持しつつ,多変量集約型移動度予測の問題について検討する。
最先端の形式概念である差分プライバシーは、ディープラーニングモデルをトレーニングする際の2つの異なる独立したステップにおいて、プライバシ保証として使用されている。
その結果、勾配や入力摂動下で訓練された差分プライベートなディープラーニングモデルは、非プライベートなディープラーニングモデルとほぼ同等の性能を発揮することがわかった。
- 参考スコア（独自算出の注目度）: 14.66445694852729
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper investigates the problem of forecasting multivariate aggregated
human mobility while preserving the privacy of the individuals concerned.
Differential privacy, a state-of-the-art formal notion, has been used as the
privacy guarantee in two different and independent steps when training deep
learning models. On one hand, we considered \textit{gradient perturbation},
which uses the differentially private stochastic gradient descent algorithm to
guarantee the privacy of each time series sample in the learning stage. On the
other hand, we considered \textit{input perturbation}, which adds differential
privacy guarantees in each sample of the series before applying any learning.
We compared four state-of-the-art recurrent neural networks: Long Short-Term
Memory, Gated Recurrent Unit, and their Bidirectional architectures, i.e.,
Bidirectional-LSTM and Bidirectional-GRU. Extensive experiments were conducted
with a real-world multivariate mobility dataset, which we published openly
along with this paper. As shown in the results, differentially private deep
learning models trained under gradient or input perturbation achieve nearly the
same performance as non-private deep learning models, with loss in performance
varying between $0.57\%$ to $2.8\%$. The contribution of this paper is
significant for those involved in urban planning and decision-making, providing
a solution to the human mobility multivariate forecast problem through
differentially private deep learning models.
- Abstract（参考訳）: 本稿では,個人のプライバシーを保ちつつ,多変量集約型モビリティを予測できる問題について検討する。
最先端の形式概念である差分プライバシーは、ディープラーニングモデルをトレーニングする際の2つの異なる独立したステップにおけるプライバシー保証として使用されている。
一方,学習段階における各時系列サンプルのプライバシーを確保するために,差分的にプライベートな確率勾配勾配勾配アルゴリズムを用いた「textit{gradient perturbation」を検討した。
一方、私たちは、学習を適用する前に、シリーズの各サンプルに差分プライバシー保証を追加する \textit{input perturbation} を検討しました。
4つの最先端リカレントニューラルネットワーク(long short-term memory, gated recurrent unit)と双方向アーキテクチャ(bidirectional-lstm,bidirectional-gru)を比較した。
本稿では,実世界の多変量モビリティデータセットを用いて広範な実験を行った。
その結果、勾配や入力摂動の下で訓練された差分プライベートなディープラーニングモデルは、非プライベートなディープラーニングモデルとほぼ同等のパフォーマンスを達成し、パフォーマンスの損失は0.57\%$から2.8\%$である。
本論文の貢献は,都市計画と意思決定に携わる人々にとって有意義であり,微分的深層学習モデルによる多変量予測問題に対する解決策を提供する。
関連論文リスト
- HRNet: Differentially Private Hierarchical and Multi-Resolution Network for Human Mobility Data Synthesization [19.017342515321918]
我々は,現実的な人間の移動データを合成するための新しい深層生成モデルである階層・多解ネットワーク(HRNet)を紹介した。
まず、差分プライバシーの下で人間の移動データを学習する際の重要な困難を識別する。
HRNetは、階層的なロケーションエンコーディング機構、複数解像度にわたるマルチタスク学習、プライベート事前トレーニングの3つのコンポーネントを統合している。
論文 参考訳（メタデータ） (2024-05-13T12:56:24Z) - Sparsity-Preserving Differentially Private Training of Large Embedding
Models [67.29926605156788]
DP-SGDは、差分プライバシーと勾配降下を組み合わせたトレーニングアルゴリズムである。
DP-SGDをネーティブに埋め込みモデルに適用すると、勾配の間隔が破壊され、トレーニング効率が低下する。
我々は,大規模埋め込みモデルのプライベートトレーニングにおいて,勾配間隔を保ったDP-FESTとDP-AdaFESTの2つの新しいアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-11-14T17:59:51Z) - A Novel Cross-Perturbation for Single Domain Generalization [54.612933105967606]
単一ドメインの一般化は、モデルが単一のソースドメインでトレーニングされたときに未知のドメインに一般化する能力を高めることを目的としている。
トレーニングデータの限られた多様性は、ドメイン不変の特徴の学習を妨げ、結果として一般化性能を損なう。
トレーニングデータの多様性を高めるために,CPerbを提案する。
論文 参考訳（メタデータ） (2023-08-02T03:16:12Z) - Learning signatures of decision making from many individuals playing the
same game [54.33783158658077]
我々は、個人の「行動スタイル」を符号化する表現を学習する予測フレームワークを設計する。
我々は,3本腕のバンディットタスクを行う1,000人の人間による大規模行動データセットに本手法を適用した。
論文 参考訳（メタデータ） (2023-02-21T21:41:53Z) - Differentially private partitioned variational inference [28.96767727430277]
複数のデバイスに分散している機密データから、プライバシ保護モデルを学ぶことは、ますます重要な問題である。
ベイズ分布に対する変分近似を学習するための最初の一般フレームワークである差分分割変分推論について述べる。
論文 参考訳（メタデータ） (2022-09-23T13:58:40Z) - Practical Challenges in Differentially-Private Federated Survival
Analysis of Medical Data [57.19441629270029]
本稿では,ニューラルネットワークの本質的特性を活用し,生存分析モデルの訓練過程を関連づける。
小さな医療データセットと少数のデータセンターの現実的な設定では、このノイズはモデルを収束させるのが難しくなります。
DPFed-post は,私的フェデレート学習方式に後処理の段階を追加する。
論文 参考訳（メタデータ） (2022-02-08T10:03:24Z) - Don't Generate Me: Training Differentially Private Generative Models
with Sinkhorn Divergence [73.14373832423156]
そこで我々はDP-Sinkhornを提案する。DP-Sinkhornは個人データからデータ分布を差分プライバシで学習するための新しいトランスポートベース生成手法である。
差分的にプライベートな生成モデルを訓練するための既存のアプローチとは異なり、我々は敵の目的に頼らない。
論文 参考訳（メタデータ） (2021-11-01T18:10:21Z) - Robustness Threats of Differential Privacy [70.818129585404]
我々は、いくつかの設定で差分プライバシーをトレーニングしたネットワークが、非プライベートバージョンに比べてさらに脆弱であることを実験的に実証した。
本研究では,勾配クリッピングや雑音付加などのニューラルネットワークトレーニングの主成分が,モデルの堅牢性に与える影響について検討する。
論文 参考訳（メタデータ） (2020-12-14T18:59:24Z) - Differentially Private Deep Learning with Direct Feedback Alignment [15.410557873153833]
直接フィードバックアライメント(DFA)を用いたディープニューラルネットワークのトレーニングのための最初の微分プライベート手法を提案する。
DFAは、様々なアーキテクチャにおけるバックプロップベースの差分プライベートトレーニングと比較して、精度(しばしば10-20%)が大幅に向上する。
論文 参考訳（メタデータ） (2020-10-08T00:25:22Z) - Privately Learning Markov Random Fields [44.95321417724914]
我々は、差分プライバシーの制約の下でランダムフィールド(イジングモデルを含む)を学習する問題を考察する。
私たちは、さまざまなプライバシー制約の下で、両方の問題に対してアルゴリズムと低いバウンダリを提供します。
論文 参考訳（メタデータ） (2020-02-21T18:30:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。