論文の概要: Towards TEE-Certified DP: Verifiable Differentially Private Training on Legacy GPUs

• arxiv url: http://arxiv.org/abs/2609.20532v1
• Date: Thu, 17 Sep 2026 15:06:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:54.333272
• Title: Towards TEE-Certified DP: Verifiable Differentially Private Training on Legacy GPUs
• Title（参考訳）: TEE-Certified DPに向けて - レガシーGPUの個別プライベートトレーニング検証
• Abstract要約: 本稿では,CPU側TEEと信頼できないGPUを用いたDPトレーニングのためのフレームワークを提案する。 本フレームワークはDPからの完全偏差を高い確率で検出する。 通常のGPUベースのDPトレーニングに比べ、オーバーヘッドはわずかだが、要求されたDP実行からの悪意のある逸脱を効果的に制限する。
• 参考スコア（独自算出の注目度）: 19.147993893260445
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Wide adoption of machine learning has created growing policy and regulatory demand for protecting sensitive training data, with differential privacy (DP) emerging as a key mechanism. Yet a less-studied problem is how to certify the faithful execution of DP during training: an external verifier should be able to check that a released model was trained with proper DP protection, without accessing the private training data. Existing cryptographic approaches, such as zero-knowledge proofs, provide strong guarantees but often incur prohibitive overhead, in some cases by orders of magnitude. Trusted Execution Environments (TEEs) offer a more efficient alternative, but the multi-GPU TEE support needed for training and fine-tuning large language models remains limited to recent platforms and is absent or inefficient on legacy GPUs. To address this, we propose a practical framework for verifiable DP training using CPU-side TEEs together with untrusted GPUs. Our design addresses a fundamental efficiency-security tension: training entirely inside a CPU TEE is too slow, while unrestricted GPU offloading can allow malicious deviations from DP. We therefore offload expensive gradient computation to GPUs, while using the CPU TEE to efficiently verify the correct enforcement of DP on gradients through probabilistic checking. Our framework detects frequent full deviations from DP with high probability; for the utility-oriented forged-gradient attacks evaluated in this work, sparse deviations provide limited utility benefit and show no measurable additional membership leakage. Experiments further show that our approach nearly achieves a ``free lunch'': it incurs only modest overhead compared with standard GPU-based DP training, while effectively constraining malicious deviations from the claimed DP execution.
• Abstract（参考訳）: 機械学習の広範な採用は、機密性の高いトレーニングデータを保護するためのポリシーと規制の要求を増大させ、重要なメカニズムとして差分プライバシー(DP)が出現した。 外部検証器は、プライベートなトレーニングデータにアクセスすることなく、リリースされたモデルが適切なDP保護でトレーニングされたことを確認できるべきである。 ゼロ知識証明のような既存の暗号手法は、強い保証を提供するが、時には桁違いの順序で、しばしば禁止的なオーバーヘッドをもたらす。 Trusted Execution Environments (TEEs)は、より効率的な代替手段を提供するが、トレーニングと微調整に必要とされるマルチGPU TEEサポートは、最近のプラットフォームに限られており、レガシーGPUでは欠落している。 そこで本稿では,CPU側TEEと信頼できないGPUを用いたDPトレーニングの実践的フレームワークを提案する。 CPU TEE内でのトレーニングは遅すぎるが、制限なしのGPUオフロードは、DPから悪意のある逸脱を可能にする。 そこで我々は、CPU TEEを用いて、確率的チェックによる勾配に対するDPの正しい適用を効率よく検証しながら、高価な勾配計算をGPUにオフロードする。 本研究で評価したユーティリティ指向のフォーゲッド・グラディエント・アタックに対して,スパース・アダクションは有効性に限界があり,また,追加のメンバシップリークは生じない。 実験の結果,従来のGPUベースのDPトレーニングに比べてわずかにオーバーヘッドを発生させるだけでなく,要求されたDP実行からの悪意的な逸脱を効果的に抑制できることがわかった。

関連論文リスト

• DP-OPD: Differentially Private On-Policy Distillation for Language Models [15.952882124096975]
  本稿では,DP-SGDのみを通じて,生徒のプライバシを強制する合成自由フレームワークを提案する。 DP-OPDは、継続トークン上の一般知識蒸留を通じてこのアイデアをインスタンス化する。
  論文  参考訳（メタデータ） (2026-04-06T06:18:03Z)
• Secure Distributed Learning for CAVs: Defending Against Gradient Leakage with Leveled Homomorphic Encryption [0.0]
  ホモモルフィック暗号化(HE)は、差分プライバシー(DP)とセキュアマルチパーティ計算(SMPC)に代わる有望な代替手段を提供する 資源制約のある環境において,フェデレートラーニング(FL)に最も適したHE方式の評価を行った。 我々は、モデル精度を維持しながら、Gradients (DLG)攻撃からのDeep Leakageを効果的に軽減するHEベースのFLパイプラインを開発した。
  論文  参考訳（メタデータ） (2025-06-09T16:12:18Z)
• Characterization of GPU TEE Overheads in Distributed Data Parallel ML Training [7.236249885667945]
  信頼できるコンピューティング(CC)または信頼できる実行エンクレーブ(TEE)は、クラウドでセキュアなコンピューティングを実現するための最も一般的なアプローチである。 NVIDIAによるGPU TEEの導入により、モデルウェイトやデータをクラウドプロバイダにリークすることなく、マシンラーニング(ML)モデルをトレーニングすることが可能になった。 本稿では,GPU TEEを用いた分散データ並列(DDP)MLトレーニングの実行に伴う性能オーバーヘッドについて,詳細な解析を行った。
  論文  参考訳（メタデータ） (2025-01-20T22:23:50Z)
• Pre-training Differentially Private Models with Limited Public Data [54.943023722114134]
  ディファレンシャルプライバシ(DP)は、モデルに提供されるセキュリティの度合いを測定するための重要な手法である。 DPはまだ、最初の事前訓練段階で使用されるデータのかなりの部分を保護することができない。 公共データの10%しか利用しない新しいDP継続事前学習戦略を開発した。 ImageNet-21kのDP精度は41.5%、非DP精度は55.7%、下流タスクのPlaces365とiNaturalist-2021では60.0%である。
  論文  参考訳（メタデータ） (2024-02-28T23:26:27Z)
• Selectivity Drives Productivity: Efficient Dataset Pruning for Enhanced Transfer Learning [66.20311762506702]
  データセットプルーニング(DP)は、データ効率を改善する効果的な方法として登場した。 本稿では,ラベルマッピングと特徴マッピングという2つの新しいDP手法を提案する。 ダウンストリーム性能を犠牲にすることなく、ソースデータクラスを最大40%まで刈り取ることができることを示す。
  論文  参考訳（メタデータ） (2023-10-13T00:07:49Z)
• Large Scale Transfer Learning for Differentially Private Image Classification [51.10365553035979]
  Differential Privacy(DP)は、個別のサンプルレベルのプライバシで機械学習モデルをトレーニングするための正式なフレームワークを提供する。 DP-SGDを用いたプライベートトレーニングは、個々のサンプル勾配にノイズを注入することで漏れを防ぐ。 この結果は非常に魅力的であるが,DP-SGDを用いた大規模モデルのトレーニングの計算コストは,非プライベートトレーニングよりもかなり高い。
  論文  参考訳（メタデータ） (2022-05-06T01:22:20Z)
• DP-InstaHide: Provably Defusing Poisoning and Backdoor Attacks with Differentially Private Data Augmentations [54.960853673256]
  混合や無作為な付加ノイズなどの強いデータ拡張は、わずかな精度のトレードオフに耐えながら、毒の攻撃を無効にする。 DP-InstaHideの厳密な分析によると、ミキサップは確かにプライバシー上の利点があり、kウェイミキサップによるトレーニングは、単純DPメカニズムよりも少なくともk倍強いDP保証が得られる。
  論文  参考訳（メタデータ） (2021-03-02T23:07:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。