論文の概要: Cocoon: A System Architecture for Differentially Private Training with Correlated Noises

• arxiv url: http://arxiv.org/abs/2510.07304v1
• Date: Wed, 08 Oct 2025 17:56:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-09 16:41:20.683364
• Title: Cocoon: A System Architecture for Differentially Private Training with Correlated Noises
• Title（参考訳）: Cocoon: 相関ノイズによる個人差分訓練のためのシステムアーキテクチャ
• Authors: Donghwan Kim, Xin Gu, Jinho Baek, Timothy Lo, Younghoon Min, Kwangsik Shin, Jongryool Kim, Jongse Park, Kiwan Maeng,
• Abstract要約: DP-SGDはトレーニング毎にノイズイテレーションを追加し、トレーニングされたモデルの精度を劣化させる。 新しいアプローチの族は、慎重に設計された相関ノイズを追加し、繰り返しにわたってノイズが互いにキャンセルされるようにします。 相関雑音を用いた効率的なトレーニングのためのハードウェア・ソフトウェア共同設計フレームワークであるCocoonを提案する。
• 参考スコア（独自算出の注目度）: 18.01275303626406
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Machine learning (ML) models memorize and leak training data, causing serious privacy issues to data owners. Training algorithms with differential privacy (DP), such as DP-SGD, have been gaining attention as a solution. However, DP-SGD adds a noise at each training iteration, which degrades the accuracy of the trained model. To improve accuracy, a new family of approaches adds carefully designed correlated noises, so that noises cancel out each other across iterations. We performed an extensive characterization study of these new mechanisms, for the first time to the best of our knowledge, and show they incur non-negligible overheads when the model is large or uses large embedding tables. Motivated by the analysis, we propose Cocoon, a hardware-software co-designed framework for efficient training with correlated noises. Cocoon accelerates models with embedding tables through pre-computing and storing correlated noises in a coalesced format (Cocoon-Emb), and supports large models through a custom near-memory processing device (Cocoon-NMP). On a real system with an FPGA-based NMP device prototype, Cocoon improves the performance by 2.33-10.82x(Cocoon-Emb) and 1.55-3.06x (Cocoon-NMP).
• Abstract（参考訳）: 機械学習(ML)モデルはトレーニングデータを記憶し、リークし、データ所有者に深刻なプライバシー問題を引き起こす。 DP-SGDのような差分プライバシ(DP)を持つトレーニングアルゴリズムは、ソリューションとして注目されている。 しかし、DP-SGDはトレーニングイテレーション毎にノイズを追加し、トレーニングされたモデルの精度を低下させる。 精度を向上させるために、新しい一連のアプローチは慎重に設計された相関ノイズを追加し、繰り返しにわたってノイズが互いにキャンセルされるようにした。 モデルが大きい場合, あるいは大型の埋め込みテーブルを使用する場合, それらが無視できないオーバーヘッドを生じさせることを示す。 提案するCocoonは,相関雑音を用いた効率的な学習のためのハードウェア・ソフトウェア共同設計フレームワークである。 Cocoonは、Cocoon-Emb (Cocoon-Emb) で相関ノイズを事前に計算し保存することで、テーブルを埋め込んでモデルを加速し、Cocoon-NMP (Cocoon-NMP) によって大きなモデルをサポートする。 FPGAベースのNMPデバイスプロトタイプを持つ実システムでは、Cocoonは2.33-10.82x(Cocoon-Emb)と1.55-3.06x(Cocoon-NMP)の性能を改善する。

関連論文リスト

• Private Training & Data Generation by Clustering Embeddings [74.00687214400021]
  差分プライバシー(DP)は、個々のデータを保護するための堅牢なフレームワークを提供する。 本稿では,DP合成画像埋め込み生成のための新しい原理的手法を提案する。 経験的に、合成的に生成された埋め込みに基づいて訓練された単純な2層ニューラルネットワークは、最先端(SOTA)分類の精度を達成する。
  論文  参考訳（メタデータ） (2025-06-20T00:17:14Z)
• Privacy without Noisy Gradients: Slicing Mechanism for Generative Model Training [10.229653770070202]
  差分プライバシ(DP)を持つ生成モデルを訓練するには、通常、勾配更新にノイズを注入するか、判別器の訓練手順を適用する必要がある。 プライベートデータのランダムな低次元投影にノイズを注入するスライシングプライバシ機構について考察する。 本稿では,この分散性を考慮したカーネルベース推定器を提案し,対角訓練の必要性を回避した。
  論文  参考訳（メタデータ） (2024-10-25T19:32:58Z)
• Impact of Noisy Supervision in Foundation Model Learning [91.56591923244943]
  本論文は、事前学習データセットにおけるノイズの性質を包括的に理解し分析する最初の研究である。 雑音の悪影響を緩和し、一般化を改善するため、特徴空間に適応するチューニング法(NMTune)を提案する。
  論文  参考訳（メタデータ） (2024-03-11T16:22:41Z)
• Sparsity-Preserving Differentially Private Training of Large Embedding Models [67.29926605156788]
  DP-SGDは、差分プライバシーと勾配降下を組み合わせたトレーニングアルゴリズムである。 DP-SGDをネーティブに埋め込みモデルに適用すると、勾配の間隔が破壊され、トレーニング効率が低下する。 我々は,大規模埋め込みモデルのプライベートトレーニングにおいて,勾配間隔を保ったDP-FESTとDP-AdaFESTの2つの新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-11-14T17:59:51Z)
• Stochastic Coded Federated Learning: Theoretical Analysis and Incentive Mechanism Design [18.675244280002428]
  我々は、コード化されたコンピューティング技術を活用する新しいFLフレームワーク、コード付きフェデレーションラーニング(SCFL)を提案する。 SCFLでは、各エッジデバイスがプライバシを保存するコード化されたデータセットをサーバにアップロードする。 SCFLは、与えられた時間内でより良いモデルを学び、ベースライン方式よりも優れたプライバシーとパフォーマンスのトレードオフを実現する。
  論文  参考訳（メタデータ） (2022-11-08T09:58:36Z)
• In-situ animal behavior classification using knowledge distillation and fixed-point quantization [6.649514998517633]
  我々は、教師モデルとして残差ニューラルネットワーク(ResNet)として知られる、深く複雑な畳み込みニューラルネットワークを採用している。 我々は,開発したKDモデルについて,汎用の首輪および耳栓装置の組込みシステム上で,定量化および定量化の両バージョンを実装した。
  論文  参考訳（メタデータ） (2022-09-09T06:07:17Z)
• An Efficient DP-SGD Mechanism for Large Scale NLP Models [28.180412581994485]
  自然言語理解(NLU)モデルを訓練するために使用されるデータは、住所や電話番号などのプライベート情報を含むことができる。 基礎となるモデルは、トレーニングデータに含まれるプライベート情報を公開しないことが望ましい。 プライバシ保護モデルを構築するメカニズムとして,DP-SGD(Fariially Private Gradient Descent)が提案されている。
  論文  参考訳（メタデータ） (2021-07-14T15:23:27Z)
• DeepGMR: Learning Latent Gaussian Mixture Models for Registration [113.74060941036664]
  ポイントクラウドの登録は、3Dコンピュータビジョン、グラフィックス、ロボット工学の基本的な問題である。 本稿では,最初の学習ベース登録法であるDeep Gaussian Mixture Registration(DeepGMR)を紹介する。 提案手法は,最先端の幾何学的および学習的登録手法と比較して,良好な性能を示す。
  論文  参考訳（メタデータ） (2020-08-20T17:25:16Z)
• Improving Deep Learning with Differential Privacy using Gradient Encoding and Denoising [36.935465903971014]
  本稿では,差分プライバシー保証を伴う深層学習モデルの学習を目的とした。 我々の鍵となる手法は勾配をエンコードしてより小さなベクトル空間にマッピングすることである。 我々のメカニズムは最先端のDPSGDよりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-07-22T16:33:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。