論文の概要: Hush! Protecting Secrets During Model Training: An Indistinguishability Approach

• arxiv url: http://arxiv.org/abs/2506.00201v1
• Date: Fri, 30 May 2025 20:14:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-12 06:03:31.97204
• Title: Hush! Protecting Secrets During Model Training: An Indistinguishability Approach
• Title（参考訳）: モデルトレーニング中の秘密を守る - 識別不可能なアプローチ
• Authors: Arun Ganesh, Brendan McMahan, Milad Nasr, Thomas Steinke, Abhradeep Thakurta,
• Abstract要約: そこで本研究では,DP を標的にするのではなく,秘密再構築後の確率を対象とする秘密保護の代替的定義を提案する。 提案アルゴリズムは,DP-SGDを全データセット上で実行した場合のベースラインを大幅に上回ることを示す。
• 参考スコア（独自算出の注目度）: 23.160738171654454
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We consider the problem of secret protection, in which a business or organization wishes to train a model on their own data, while attempting to not leak secrets potentially contained in that data via the model. The standard method for training models to avoid memorization of secret information is via differential privacy (DP). However, DP requires a large loss in utility or a large dataset to achieve its strict privacy definition, which may be unnecessary in our setting where the data curator and data owner are the same entity. We propose an alternate definition of secret protection that instead of targeting DP, instead targets a bound on the posterior probability of secret reconstruction. We then propose and empirically evaluate an algorithm for model training with this secret protection definition. Our algorithm solves a linear program to assign weights to examples based on the desired per-secret protections, and then performs Poisson sampling using these weights. We show our algorithm significantly outperforms the baseline of running DP-SGD on the whole dataset.
• Abstract（参考訳）: 企業や組織が自身のデータ上でモデルをトレーニングしたい場合,そのデータに含まれる可能性のある機密情報を,そのモデルを通じて漏洩しないようにする,秘密保護の問題について検討する。 秘密情報の記憶を避けるためのトレーニングモデルの標準的な方法は、差分プライバシー(DP)である。 しかしDPは、データキュレーターとデータ所有者が同じエンティティである設定では不要な、厳格なプライバシー定義を達成するために、ユーティリティや大きなデータセットに大きな損失を必要とします。 そこで本研究では,DP を標的にするのではなく,秘密再構築後の確率を対象とする秘密保護の代替的定義を提案する。 次に,この秘密保護定義を用いたモデルトレーニングのアルゴリズムを提案し,実証的に評価する。 提案アルゴリズムは,要求される秘密保護に基づいて重みを例に割り当てる線形プログラムを解くとともに,これらの重みを用いたポアソンサンプリングを行う。 提案アルゴリズムは,DP-SGDを全データセット上で実行した場合のベースラインを大幅に上回ることを示す。

関連論文リスト

• Pseudo-Probability Unlearning: Towards Efficient and Privacy-Preserving Machine Unlearning [59.29849532966454]
  本稿では,PseudoProbability Unlearning (PPU)を提案する。 提案手法は,最先端の手法に比べて20%以上の誤りを忘れる改善を実現している。
  論文  参考訳（メタデータ） (2024-11-04T21:27:06Z)
• Differential Privacy Regularization: Protecting Training Data Through Loss Function Regularization [49.1574468325115]
  ニューラルネットワークに基づく機械学習モデルのトレーニングには、機密情報を含む大きなデータセットが必要である。 差分的にプライベートなSGD [DP-SGD] は、新しいモデルをトレーニングするために標準勾配降下アルゴリズム(SGD)を変更する必要がある。 より効率的な方法で同じ目標を達成するための新しい正規化戦略が提案されている。
  論文  参考訳（メタデータ） (2024-09-25T17:59:32Z)
• LLM-based Privacy Data Augmentation Guided by Knowledge Distillation with a Distribution Tutor for Medical Text Classification [67.92145284679623]
  ノイズの多いプライベートディストリビューションをモデル化し,プライバシコストの低いサンプル生成を制御するDPベースのチュータを提案する。 理論的には、モデルのプライバシ保護を分析し、モデルを実証的に検証する。
  論文  参考訳（メタデータ） (2024-02-26T11:52:55Z)
• Closed-Form Bounds for DP-SGD against Record-level Inference [18.85865832127335]
  我々はDP-SGDアルゴリズムに焦点をあて、単純な閉形式境界を導出する。 我々は、最先端技術にマッチする会員推定のバウンダリを得る。 属性推論に対する新しいデータ依存型バウンダリを提案する。
  論文  参考訳（メタデータ） (2024-02-22T09:26:16Z)
• Private Fine-tuning of Large Language Models with Zeroth-order Optimization [51.19403058739522]
  差分的プライベート勾配降下(DP-SGD)により、モデルはプライバシ保護の方法でトレーニングできる。 DP-ZO(DP-ZO)は,ゼロオーダー最適化手法を民営化することで,大規模言語モデルのためのプライベートな微調整フレームワークである。
  論文  参考訳（メタデータ） (2024-01-09T03:53:59Z)
• Probing the Transition to Dataset-Level Privacy in ML Models Using an Output-Specific and Data-Resolved Privacy Profile [23.05994842923702]
  差分プライバシーメカニズムを用いてデータセットでトレーニングされたモデルが、近隣のデータセットでトレーニングされた結果の分布によってカバーされる範囲を定量化するプライバシー指標について検討する。 プライバシプロファイルは、近隣のディストリビューションで発生する不明瞭性への観察された遷移を、$epsilon$の減少として調査するために使用できることを示す。
  論文  参考訳（メタデータ） (2023-06-27T20:39:07Z)
• CrowdGuard: Federated Backdoor Detection in Federated Learning [39.58317527488534]
  本稿では,フェデレートラーニングにおけるバックドア攻撃を効果的に軽減する新しい防御機構であるCrowdGuardを提案する。 CrowdGuardでは、サーバロケーションのスタック化されたクラスタリングスキームを使用して、クライアントからのフィードバックに対するレジリエンスを高めている。 評価結果は、CrowdGuardがさまざまなシナリオで100%正の正の正の正の負の負の負の値を達成することを示す。
  論文  参考訳（メタデータ） (2022-10-14T11:27:49Z)
• Just Fine-tune Twice: Selective Differential Privacy for Large Language Models [69.66654761324702]
  本稿では,大規模なトランスフォーマーベース言語モデルのためのSDPを実現するための,シンプルで効果的なジャストファイントゥンツースプライバシ機構を提案する。 実験により, カナリア挿入攻撃に対して頑健でありながら, 高い性能が得られた。
  論文  参考訳（メタデータ） (2022-04-15T22:36:55Z)
• Secure PAC Bayesian Regression via Real Shamir Secret Sharing [2.578242050187029]
  本稿では,最近記述された「実数秘密共有」技術を利用した線形モデル学習プロトコルを提案する。 我々は、複数のパーティが異なるデータインスタンスを保持し、データのプライバシを放棄する意思のない状況を考える。 本稿では,セキュアな逆法とセキュアなガウス除去法という2つの方法を提案する。
  論文  参考訳（メタデータ） (2021-09-23T08:15:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。