論文の概要: Local Differentially Private Heavy Hitter Detection in Data Streams with Bounded Memory
- arxiv url: http://arxiv.org/abs/2311.16062v1
- Date: Mon, 27 Nov 2023 18:28:15 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-18 15:42:08.069376
- Title: Local Differentially Private Heavy Hitter Detection in Data Streams with Bounded Memory
- Title(参考訳): メモリ境界を持つデータストリームにおける局所的にプライベートな重ヒッタ検出
- Authors: Xiaochen Li, Weiran Liu, Jian Lou, Yuan Hong, Lei Zhang, Zhan Qin, Kui Ren,
- Abstract要約: 本稿では,厳密な局所差分プライバシー(LDP)保護を図りながら,メモリ使用量によるTop-k$アイテム検出を実現するための新しいフレームワークHG-LDPを提案する。
提案手法が精度・プライバシ・メモリ効率のトレードオフに優れていることを示すため,合成データセットと実世界のデータセットの総合的な実験を行った。
- 参考スコア(独自算出の注目度): 31.652076018162507
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Top-$k$ frequent items detection is a fundamental task in data stream mining. Many promising solutions are proposed to improve memory efficiency while still maintaining high accuracy for detecting the Top-$k$ items. Despite the memory efficiency concern, the users could suffer from privacy loss if participating in the task without proper protection, since their contributed local data streams may continually leak sensitive individual information. However, most existing works solely focus on addressing either the memory-efficiency problem or the privacy concerns but seldom jointly, which cannot achieve a satisfactory tradeoff between memory efficiency, privacy protection, and detection accuracy. In this paper, we present a novel framework HG-LDP to achieve accurate Top-$k$ item detection at bounded memory expense, while providing rigorous local differential privacy (LDP) protection. Specifically, we identify two key challenges naturally arising in the task, which reveal that directly applying existing LDP techniques will lead to an inferior ``accuracy-privacy-memory efficiency'' tradeoff. Therefore, we instantiate three advanced schemes under the framework by designing novel LDP randomization methods, which address the hurdles caused by the large size of the item domain and by the limited space of the memory. We conduct comprehensive experiments on both synthetic and real-world datasets to show that the proposed advanced schemes achieve a superior ``accuracy-privacy-memory efficiency'' tradeoff, saving $2300\times$ memory over baseline methods when the item domain size is $41,270$. Our code is open-sourced via the link.
- Abstract(参考訳): データストリームマイニングの基本的なタスクは、アイテムの頻繁な検出である。
多くの有望なソリューションは、Top-k$アイテムを検出するための高い精度を維持しながら、メモリ効率を改善するために提案されている。
メモリ効率の懸念にもかかわらず、ユーザーは適切な保護なしにタスクに参加するとプライバシーを失う可能性がある。
しかし、既存のほとんどの研究は、メモリ効率の問題とプライバシの問題の両方に対処することにのみ焦点をあてているが、メモリ効率、プライバシ保護、検出精度の間の十分なトレードオフを達成できない、共同で行うことは滅多にない。
本稿では,厳密な局所差分プライバシ(LDP)保護を提供するとともに,メモリ使用量によるTop-k$アイテム検出を実現するための新しいフレームワークHG-LDPを提案する。
具体的には、タスクで自然に発生する2つの重要な課題を特定し、既存のLCP技術を直接適用することで、劣等な‘精度-プライバシ-メモリ効率’のトレードオフにつながることを明らかにする。
そこで我々は,項目領域の巨大化とメモリ容量の制限によるハードルに対処する,新しいLPPランダム化手法を設計することにより,この枠組みの下で3つの高度なスキームをインスタンス化する。
提案手法がより優れた‘精度-プライバシ-メモリ効率’のトレードオフを実現し,アイテムドメインサイズが41,270ドルの場合,ベースラインメソッドよりも2300\times$メモリを節約できることを示すため,合成データセットと実世界のデータセットの総合的な実験を行った。
私たちのコードはリンクを通じてオープンソース化されています。
関連論文リスト
- Private Optimal Inventory Policy Learning for Feature-based Newsvendor with Unknown Demand [13.594765018457904]
本稿では, f-differential privacy framework内で, プライバシ保護に最適な在庫ポリシーを推定するための新しいアプローチを提案する。
最適在庫推定のための畳み込み平滑化に基づくクリップ付き雑音勾配降下アルゴリズムを開発した。
提案手法は,コストを極端に増大させることなく,望ましいプライバシー保護を実現することができることを示す。
論文 参考訳(メタデータ) (2024-04-23T19:15:43Z) - Private Fine-tuning of Large Language Models with Zeroth-order
Optimization [54.24600476755372]
DP-ZO(DP-ZO)は、ゼロオーダー最適化を民営化し、トレーニングデータのプライバシを保存する、大規模言語モデルを微調整する新しい手法である。
DP-ZOは、SQuADから1000のトレーニングサンプルにOPT-66Bを微調整すると、プライバシが1,10-5)$-DPになるため、わずか1.86%のパフォーマンス低下を示す。
論文 参考訳(メタデータ) (2024-01-09T03:53:59Z) - DPZero: Private Fine-Tuning of Language Models without Backpropagation [52.96184447403505]
DPZeroは、ほぼ次元に依存しない新しいゼロオーダーアルゴリズムである。
DPZeroのメモリ効率は、6つの下流タスクでプライベートに微調整されたRoBERTaで実証される。
論文 参考訳(メタデータ) (2023-10-14T18:42:56Z) - TeD-SPAD: Temporal Distinctiveness for Self-supervised
Privacy-preservation for video Anomaly Detection [59.04634695294402]
人間の監視のないビデオ異常検出(VAD)は複雑なコンピュータビジョンタスクである。
VADのプライバシー漏洩により、モデルは人々の個人情報に関連する不必要なバイアスを拾い上げ、増幅することができる。
本稿では,視覚的プライベート情報を自己管理的に破壊する,プライバシーに配慮したビデオ異常検出フレームワークTeD-SPADを提案する。
論文 参考訳(メタデータ) (2023-08-21T22:42:55Z) - Practical Privacy-Preserving Gaussian Process Regression via Secret
Sharing [23.80837224347696]
本稿では秘密共有(SS)に基づくプライバシー保護型GPR手法を提案する。
コンフュージョン補正(confusion-correction)というアイデアを通じて,新たなSSベースの指数演算を導出し,Cholesky分解に基づくSSベースの行列逆変換アルゴリズムを構築する。
実験結果から,データプライバシ保護の前提として,提案手法が妥当な精度と効率を達成できることが示唆された。
論文 参考訳(メタデータ) (2023-06-26T08:17:51Z) - A Randomized Approach for Tight Privacy Accounting [63.67296945525791]
推定検証リリース(EVR)と呼ばれる新しい差分プライバシーパラダイムを提案する。
EVRパラダイムは、まずメカニズムのプライバシパラメータを推定し、その保証を満たすかどうかを確認し、最後にクエリ出力を解放する。
我々の実証的な評価は、新たに提案されたEVRパラダイムが、プライバシ保護機械学習のユーティリティプライバシトレードオフを改善することを示している。
論文 参考訳(メタデータ) (2023-04-17T00:38:01Z) - DP-Fast MH: Private, Fast, and Accurate Metropolis-Hastings for
Large-Scale Bayesian Inference [16.280801141284872]
差分プライバシー下での大規模ベイズ推定のためのメトロポリス・ハスティングス(MH)アルゴリズムについて検討する。
私たちは、プライバシ、スケーラビリティ、効率性の3つのトレードオフを初めて明らかにしました。
我々は,様々な実験において,アルゴリズムの有効性と効率を実証的に実証した。
論文 参考訳(メタデータ) (2023-03-10T19:14:20Z) - Production of Categorical Data Verifying Differential Privacy:
Conception and Applications to Machine Learning [0.0]
差別化プライバシは、プライバシとユーティリティのトレードオフの定量化を可能にする正式な定義である。
ローカルDP(LDP)モデルでは、ユーザはデータをサーバに送信する前に、ローカルにデータをサニタイズすることができる。
いずれの場合も、微分プライベートなMLモデルは、非プライベートなモデルとほぼ同じユーティリティメトリクスを達成できると結論付けました。
論文 参考訳(メタデータ) (2022-04-02T12:50:14Z) - Task-aware Privacy Preservation for Multi-dimensional Data [4.138783926370621]
ローカルディファレンシャルプライバシ(LDP)は、プライバシ保護のための最先端技術である。
将来的には、よりリッチなユーザデータ属性を匿名化するために、LCPを採用することができる。
課題認識型プライバシ保存問題を考慮し,多次元ユーザデータの究極のタスク性能を大幅に向上させる方法について述べる。
論文 参考訳(メタデータ) (2021-10-05T20:03:53Z) - Learning with User-Level Privacy [61.62978104304273]
ユーザレベルの差分プライバシー制約下での学習課題を,アルゴリズムを用いて解析する。
個々のサンプルのプライバシーのみを保証するのではなく、ユーザレベルのdpはユーザの貢献全体を保護します。
プライバシコストが$tau$に比例した$K$適応的に選択されたクエリのシーケンスにプライベートに答えるアルゴリズムを導き出し、私たちが検討する学習タスクを解決するためにそれを適用します。
論文 参考訳(メタデータ) (2021-02-23T18:25:13Z) - A One-Pass Private Sketch for Most Machine Learning Tasks [48.17461258268463]
差別化プライバシ(DP)は、正式な証明可能な保証を通じて、プライバシとユーティリティのトレードオフを説明する魅力的なプライバシ定義である。
本稿では,回帰,分類,密度推定など,多数の機械学習タスクをサポートするプライベートスケッチを提案する。
このスケッチは,局所性に敏感なハッシュをインデックス化して,効率的なワンパスアルゴリズムで構築したランダムな一致テーブルで構成されている。
論文 参考訳(メタデータ) (2020-06-16T17:47:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。