論文の概要: Leveraging Randomness in Model and Data Partitioning for Privacy Amplification

• arxiv url: http://arxiv.org/abs/2503.03043v1
• Date: Tue, 04 Mar 2025 22:49:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-06 17:18:40.702563
• Title: Leveraging Randomness in Model and Data Partitioning for Privacy Amplification
• Title（参考訳）: プライバシ・アンプリフィケーションのためのモデルとデータ分割におけるランダム性の活用
• Authors: Andy Dong, Wei-Ning Chen, Ayfer Ozgur,
• Abstract要約: トレーニングプロセスにおける固有のランダム性は、プライバシーの増幅にどのように活用できるかを考察する。 この中には、(1)データパーティショニング、(2)サンプルがトレーニングイテレーションのサブセットのみに参加し、(2)モデルパーティショニング、(2)サンプルがモデルのパラメータのサブセットだけを更新する。 以上の結果から、複雑な方法でデータと相互作用する訓練プロセスのランダム性は、重要なプライバシーの増幅のために体系的に活用できることが示唆された。
• 参考スコア（独自算出の注目度）: 8.52745154080651
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study how inherent randomness in the training process -- where each sample (or client in federated learning) contributes only to a randomly selected portion of training -- can be leveraged for privacy amplification. This includes (1) data partitioning, where a sample participates in only a subset of training iterations, and (2) model partitioning, where a sample updates only a subset of the model parameters. We apply our framework to model parallelism in federated learning, where each client updates a randomly selected subnetwork to reduce memory and computational overhead, and show that existing methods, e.g. model splitting or dropout, provide a significant privacy amplification gain not captured by previous privacy analysis techniques. Additionally, we introduce Balanced Iteration Subsampling, a new data partitioning method where each sample (or client) participates in a fixed number of training iterations. We show that this method yields stronger privacy amplification than Poisson (i.i.d.) sampling of data (or clients). Our results demonstrate that randomness in the training process, which is structured rather than i.i.d. and interacts with data in complex ways, can be systematically leveraged for significant privacy amplification.
• Abstract（参考訳）: トレーニングプロセスでは,各サンプル(あるいはフェデレート学習のクライアント)がランダムに選択されたトレーニングの一部にのみ貢献する,固有のランダム性が,プライバシの増幅にどのように活用できるかを検討する。 この中には、(1)データパーティショニング、(2)サンプルがトレーニングイテレーションのサブセットのみに参加し、(2)モデルパーティショニング、(2)サンプルがモデルのパラメータのサブセットだけを更新する。 各クライアントがランダムに選択したサブネットワークを更新し、メモリと計算オーバーヘッドを削減し、既存のメソッドである例えばモデルの分割やドロップアウトが、従来のプライバシ分析技術では捉えられなかった重要なプライバシ向上をもたらすことを示す。 さらに、各サンプル(またはクライアント)が一定数のトレーニングイテレーションに参加する新しいデータパーティショニング手法であるBa balanced Iteration Subsamplingを導入します。 この手法は,Poisson (d.d.) のデータサンプリング(あるいはクライアント)よりも強いプライバシー増幅をもたらすことを示す。 以上の結果から、複雑な方法でデータと対話する訓練プロセスのランダム性は、重要なプライバシーの増幅のために体系的に活用できることが示唆された。

関連論文リスト

• Probabilistic Federated Prompt-Tuning with Non-IID and Imbalanced Data [35.47385526394076]
  微調整事前学習モデルは、適度なデータで複雑なタスクを解決する機械学習の一般的なアプローチである。 事前訓練されたモデル全体を微調整することは、ローカルデータ分布が多様に歪んだフェデレーションデータシナリオでは効果がない。 提案手法は,フェデレーション学習を分散集合モデリングタスクに変換し,事前学習したモデルを世界規模で微調整するための多様なプロンプトを集約する。
  論文  参考訳（メタデータ） (2025-02-27T04:31:34Z)
• Test-Time Alignment via Hypothesis Reweighting [56.71167047381817]
  大規模な事前訓練されたモデルは、しばしば未指定のタスクで苦労する。 テストタイムのユーザ意図にモデルを整合させるという課題に対処する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-12-11T23:02:26Z)
• Balanced Data Sampling for Language Model Training with Clustering [96.46042695333655]
  本稿では,学習データのテキスト分布のバランスをとるためにClusterClip Smplingを提案する。 大規模な実験は、ClusterClip Smplingの有効性を検証する。
  論文  参考訳（メタデータ） (2024-02-22T13:20:53Z)
• Personalized Privacy Amplification via Importance Sampling [3.0636509793595548]
  本稿では,個別化されたプライバシ分析に着目し,重要サンプリングのプライバシ特性について検討する。 重要なサンプリングでは、プライバシはユーティリティとよく一致しているが、サンプルサイズとは相容れないことが分かっています。 本稿では,プライバシと効率のトレードオフを最適化する手法と,コアセット形式の実用性保証に基づく手法を提案する。
  論文  参考訳（メタデータ） (2023-07-05T17:09:10Z)
• FedSampling: A Better Sampling Strategy for Federated Learning [81.85411484302952]
  フェデレートラーニング(FL)は、プライバシを保存する方法で分散化されたデータからモデルを学習するための重要なテクニックである。 既存のFLメソッドは通常、各ラウンドでローカルモデル学習のために一様にクライアントをサンプリングする。 フェデレート学習のための新しいデータ一様サンプリング戦略(FedSampling)を提案する。
  論文  参考訳（メタデータ） (2023-06-25T13:38:51Z)
• AdaSelection: Accelerating Deep Learning Training through Data Subsampling [27.46630703428186]
  適応型サブサンプリング手法であるAdaSelectionを導入し,各ミニバッチ内の最も情報性の高いサブサンプルを同定する。 業界標準のベースラインと比較すると、AdaSelectionは一貫して優れたパフォーマンスを示している。
  論文  参考訳（メタデータ） (2023-06-19T07:01:28Z)
• Client-specific Property Inference against Secure Aggregation in Federated Learning [52.8564467292226]
  フェデレートラーニングは、さまざまな参加者の間で共通のモデルを協調的に訓練するための、広く使われているパラダイムとなっている。 多くの攻撃は、メンバーシップ、資産、または参加者データの完全な再構築のような機密情報を推測することは依然として可能であることを示した。 単純な線形モデルでは、集約されたモデル更新からクライアント固有のプロパティを効果的にキャプチャできることが示される。
  論文  参考訳（メタデータ） (2023-03-07T14:11:01Z)
• Learning from aggregated data with a maximum entropy model [73.63512438583375]
  我々は,観測されていない特徴分布を最大エントロピー仮説で近似することにより,ロジスティック回帰と類似した新しいモデルが,集約データからのみ学習されることを示す。 我々は、この方法で学習したモデルが、完全な非凝集データでトレーニングされたロジスティックモデルに匹敵するパフォーマンスを達成することができるという、いくつかの公開データセットに関する実証的な証拠を提示する。
  論文  参考訳（メタデータ） (2022-10-05T09:17:27Z)
• Privacy Amplification via Shuffled Check-Ins [2.3333090554192615]
  シャッフルチェックインと呼ばれる分散計算のためのプロトコルについて検討する。 信頼できるシャフラー以上の信頼の前提を必要とせずに、強力なプライバシー保証を実現する。 シャッフルされたチェックインは、プライバシーの強化によって、厳格なプライバシー保証を実現する。
  論文  参考訳（メタデータ） (2022-06-07T09:55:15Z)
• Renyi Differential Privacy of the Subsampled Shuffle Model in Distributed Learning [7.197592390105457]
  クライアントは、プライバシを必要とするサーバとのインタラクションを通じて、学習モデルを反復的に構築する分散学習フレームワークで、プライバシを研究する。 最適化とフェデレートラーニング(FL)パラダイムによって動機付けられ、各ラウンドで少数のデータサンプルがランダムにサブサンプリングされた場合に焦点を当てる。 より強力なローカルプライバシ保証を得るために,各クライアントがローカルディファレンシャル・プライベート(LDP)機構を用いて応答をランダム化するシャッフルプライバシ・モデルを用いてこれを検証した。
  論文  参考訳（メタデータ） (2021-07-19T11:43:24Z)
• One for More: Selecting Generalizable Samples for Generalizable ReID Model [92.40951770273972]
  本稿では,選択したサンプルを損失関数として一般化する1対3の学習目標を提案する。 提案した1対3のサンプルは,ReIDトレーニングフレームワークにシームレスに統合できる。
  論文  参考訳（メタデータ） (2020-12-10T06:37:09Z)
• Privacy Amplification via Random Check-Ins [38.72327434015975]
  Differentially Private Gradient Descent (DP-SGD) は、多くのアプリケーションにおいて、機密データを学習するための基本的な構成要素となっている。 本稿では,DP-SGD のような反復的手法を,多くのデバイス(クライアント)に分散したフェデレーションラーニング(FL)の設定において実施することに焦点を当てる。 当社の主なコントリビューションは,各クライアントがローカルかつ独立に行うランダムな参加決定にのみ依存する,Emphrandom Check-in分散プロトコルです。
  論文  参考訳（メタデータ） (2020-07-13T18:14:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。