論文の概要: Differentially Private Mixing of Public Datasets Improves Private Learning

• arxiv url: http://arxiv.org/abs/2610.06636v1
• Date: Mon, 05 Oct 2026 16:25:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-09 00:04:07.510101
• Title: Differentially Private Mixing of Public Datasets Improves Private Learning
• Title（参考訳）: パブリックデータセットの異なるプライベートな混合は、プライベートラーニングを改善する
• Abstract要約: いくつかの公開データセットの混在をプライベートに学習し、与えられた機密性の高い下流タスクを事前訓練する最初のパイプラインを紹介します。 我々は,X線分類のためのNIHデータセットと言語モデリングのためのENRONメールデータセットを用いて実験を行った。 NIH ChestX-ray14データセットの疾患に対する事前トレーニングのために,X線データセットの調整した混合物を見つける方法を適用することで,プライバシ予算全体で最大0.037のマクロAUCを改善した。
• 参考スコア（独自算出の注目度）: 30.98623814881334
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Many machine learning applications involve sensitive data and therefore require training under differential privacy (DP). However, DP training often degrades model utility. In some cases, first pre-training the model on "public" data before finetuning with DP on the sensitive data can reduce the drop in utility. However, the success of this depends on how relevant the selected public dataset is to the sensitive data. We introduce the first pipeline that privately learns the mixture of several public datasets to pretrain on for a given sensitive downstream task. Our key insight is that we can privately find the best mixture of multiple public datasets by privately learning a low-dimensional linear model. We tested our method on the NIH dataset for X-ray classification and the ENRON email dataset for language modeling. Applying our method to find tailored mixtures of X-ray datasets to pretrain on for diseases in the NIH ChestX-ray14 dataset, we improved macro AUC by up to 0.037 across privacy budgets compared to the baselines, with gains as large as +22.8% relative AUC on Cardiomegaly at $ε=1$. For DP training on the ENRON dataset, pre-training on our mixture of The Common Pile (a collection of public-domain text datasets) decreased test perplexity by 16% relative to the baseline mixtures.
• Abstract（参考訳）: 多くの機械学習アプリケーションは機密データを必要とするため、差分プライバシー(DP)の下でのトレーニングが必要である。 しかし、DPトレーニングはモデルユーティリティを劣化させることが多い。 機密データ上でDPを微調整する前に、まず「パブリック」データ上でモデルを事前訓練することで、実用性の低下を低減できる場合もある。 しかし、この成功は、選択されたパブリックデータセットが機密データとどの程度関係があるかに依存する。 いくつかの公開データセットの混在をプライベートに学習し、与えられた機密性の高い下流タスクを事前訓練する最初のパイプラインを紹介します。 私たちの重要な洞察は、低次元の線形モデルをプライベートに学習することで、複数の公開データセットの最良の混合をプライベートに見つけることができるということです。 我々は,X線分類のためのNIHデータセットと言語モデリングのためのENRONメールデータセットを用いて実験を行った。 NIH ChestX-ray14データセットの疾患に対する事前トレーニングのために、X線データセットの調整済み混合物を見つける方法を適用することで、ベースラインと比較して、プライバシ予算で最大0.037のマクロAUCを改善し、Cardiomegaly上の相対的なAUCの+22.8%が$ε=1$である。 ENRONデータセット上でのDPトレーニングでは、The Common Pile(パブリックドメインのテキストデータセットのコレクション)の混合による事前トレーニングにより、ベースラインの混合と比較してテストの難易度が16%減少した。

関連論文リスト

• High-Dimensional Asymptotics and Dataset Selection for Private Transfer Learning [33.61175529565959]
  複数の異種源を用いた高次元回帰によるデータセット選択の問題をモデル化する。 当社は、ラベルのみに、または機能とラベルを共同で、$$$0の差分プライバシーに関して、プライバシを保証する。 これは、理論上は、プライベートトランスファーラーニングの基盤となる。
  論文  参考訳（メタデータ） (2026-10-01T23:19:42Z)
• Private Training & Data Generation by Clustering Embeddings [74.00687214400021]
  差分プライバシー(DP)は、個々のデータを保護するための堅牢なフレームワークを提供する。 本稿では,DP合成画像埋め込み生成のための新しい原理的手法を提案する。 経験的に、合成的に生成された埋め込みに基づいて訓練された単純な2層ニューラルネットワークは、最先端(SOTA)分類の精度を達成する。
  論文  参考訳（メタデータ） (2025-06-20T00:17:14Z)
• CLIMB: CLustering-based Iterative Data Mixture Bootstrapping for Language Model Pre-training [63.07024608399447]
  本稿では,事前学習環境でデータ混合物を発見し,評価し,精製する自動フレームワークを提案する。 ClimbLabは、20のクラスタを研究用グラウンドとして、フィルタされた1.2トリリオントーケンコーパスであり、ClimbMixはコンパクトだが強力な400ビリオントーケンデータセットである。
  論文  参考訳（メタデータ） (2025-04-17T17:58:13Z)
• Prompt Public Large Language Models to Synthesize Data for Private On-device Applications [5.713077600587505]
  本稿では,DP と FL でトレーニングしたデバイス上での言語モデルにおいて,公開データに基づいてトレーニングした大規模言語モデル (LLM) が事前学習データの質を向上する方法について検討する。 合成データセットに事前学習したモデルでは, 単語予測精度が19.0%, 22.8%向上した。 実験では, プライベートデータにアクセスしなくても, プライベートデータに近いデータを合成する上でのLCMの強みを実証した。
  論文  参考訳（メタデータ） (2024-04-05T19:14:14Z)
• Mixed Differential Privacy in Computer Vision [133.68363478737058]
  AdaMixは、プライベートとパブリックの両方の画像データを使用して、ディープニューラルネットワーク分類器をトレーニングするための適応型微分プライベートアルゴリズムである。 プライベートデータを無視する数ショットあるいはゼロショットの学習ベースラインは、大規模なプライベートデータセットの微調整よりも優れています。
  論文  参考訳（メタデータ） (2022-03-22T06:15:43Z)
• NeuroMixGDP: A Neural Collapse-Inspired Random Mixup for Private Data Release [11.42197907876942]
  プライバシを保存するデータリリースアルゴリズムは、ユーザのプライバシを保護する能力に注目を集めている。 生データの混成は、データ拡張の新しい方法を提供し、有用性を改善するのに役立つ。 本稿では, 単純な構造を活かし, ノイズの多い混合機能をリリースするために, ニューラル・コラプス機能を混在させる手法を提案する。
  論文  参考訳（メタデータ） (2022-02-14T03:01:05Z)
• Practical Challenges in Differentially-Private Federated Survival Analysis of Medical Data [57.19441629270029]
  本稿では,ニューラルネットワークの本質的特性を活用し,生存分析モデルの訓練過程を関連づける。 小さな医療データセットと少数のデータセンターの現実的な設定では、このノイズはモデルを収束させるのが難しくなります。 DPFed-post は,私的フェデレート学習方式に後処理の段階を追加する。
  論文  参考訳（メタデータ） (2022-02-08T10:03:24Z)
• Don't Generate Me: Training Differentially Private Generative Models with Sinkhorn Divergence [73.14373832423156]
  そこで我々はDP-Sinkhornを提案する。DP-Sinkhornは個人データからデータ分布を差分プライバシで学習するための新しいトランスポートベース生成手法である。 差分的にプライベートな生成モデルを訓練するための既存のアプローチとは異なり、我々は敵の目的に頼らない。
  論文  参考訳（メタデータ） (2021-11-01T18:10:21Z)
• Omni-supervised Facial Expression Recognition via Distilled Data [120.11782405714234]
  ネットワークトレーニングにおいて,信頼度の高いサンプルを多量のラベルのないデータで活用するためのオムニ教師付き学習を提案する。 我々は,新しいデータセットが学習したFERモデルの能力を大幅に向上させることができることを実験的に検証した。 そこで本研究では,生成したデータセットを複数のクラスワイド画像に圧縮するために,データセット蒸留戦略を適用することを提案する。
  論文  参考訳（メタデータ） (2020-05-18T09:36:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。