論文の概要: Reconstructing Training Data from Diverse ML Models by Ensemble Inversion

• arxiv url: http://arxiv.org/abs/2111.03702v1
• Date: Fri, 5 Nov 2021 18:59:01 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-09 13:47:16.399060
• Title: Reconstructing Training Data from Diverse ML Models by Ensemble Inversion
• Title（参考訳）: エンサンブルインバージョンによるMLモデルの学習データ再構成
• Authors: Qian Wang, Daniel Kurz
• Abstract要約: モデルインバージョン(MI)は、学習された機械学習(ML)モデルへのアクセスを敵が悪用するものであり、研究の注目を集めている。 本研究では,訓練されたモデルのアンサンブルに制約されたジェネレータを訓練することにより,元のトレーニングデータの分布を推定するアンサンブル変換手法を提案する。 データセットを使わずに高品質な結果が得られ、想定されるトレーニングデータに類似した補助データセットを利用することで、結果がどう改善されるかを示す。
• 参考スコア（独自算出の注目度）: 8.414622657659168
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Model Inversion (MI), in which an adversary abuses access to a trained Machine Learning (ML) model attempting to infer sensitive information about its original training data, has attracted increasing research attention. During MI, the trained model under attack (MUA) is usually frozen and used to guide the training of a generator, such as a Generative Adversarial Network (GAN), to reconstruct the distribution of the original training data of that model. This might cause leakage of original training samples, and if successful, the privacy of dataset subjects will be at risk if the training data contains Personally Identifiable Information (PII). Therefore, an in-depth investigation of the potentials of MI techniques is crucial for the development of corresponding defense techniques. High-quality reconstruction of training data based on a single model is challenging. However, existing MI literature does not explore targeting multiple models jointly, which may provide additional information and diverse perspectives to the adversary. We propose the ensemble inversion technique that estimates the distribution of original training data by training a generator constrained by an ensemble (or set) of trained models with shared subjects or entities. This technique leads to noticeable improvements of the quality of the generated samples with distinguishable features of the dataset entities compared to MI of a single ML model. We achieve high quality results without any dataset and show how utilizing an auxiliary dataset that's similar to the presumed training data improves the results. The impact of model diversity in the ensemble is thoroughly investigated and additional constraints are utilized to encourage sharp predictions and high activations for the reconstructed samples, leading to more accurate reconstruction of training images.
• Abstract（参考訳）: model inversion (mi)は、敵がトレーニングされた機械学習(ml)モデルにアクセスし、元のトレーニングデータに関する機密情報を推測しようとするもので、研究の注目を集めている。 MIの間、訓練されたモデルアンダーアタック(MUA)は通常凍結され、ジェネレーティブ・アドバイサル・ネットワーク(GAN)のようなジェネレータのトレーニングを誘導し、そのモデルのオリジナルのトレーニングデータの分布を再構築するために使用される。 これが元のトレーニングサンプルの漏洩を引き起こす可能性があり、もし成功すれば、トレーニングデータが個人識別情報(pii)を含んでいる場合、データセットの被験者のプライバシが危険にさらされる。 したがって、mi技術の可能性を深く調査することが、対応する防御技術の開発に不可欠である。 単一モデルに基づくトレーニングデータの高品質な再構築は困難である。 しかし、既存のmi文学では、複数のモデルをターゲットにした研究は行わず、敵にさらなる情報と多様な視点を提供する可能性がある。 本稿では,訓練モデルのアンサンブル(または集合)によって制約される生成器を共有対象または実体で訓練することにより,オリジナルトレーニングデータの分布を推定するアンサンブルインバージョン手法を提案する。 この技術は、単一のMLモデルのMIと比較して、データセットエンティティの区別可能な特徴を持つ生成されたサンプルの品質を顕著に向上させる。 我々は,データセットを使わずに高品質な結果を得るとともに,推定されたトレーニングデータと類似した補助データセットの活用によって結果が改善されることを示す。 アンサンブルにおけるモデルの多様性の影響を徹底的に調査し、再構成されたサンプルに対する鋭い予測と高い活性化を促すために追加の制約を活用し、より正確なトレーニング画像の再構成に繋がる。

関連論文リスト

• Network Inversion for Training-Like Data Reconstruction [3.004632712148892]
  本稿では,学習モデルからトレーニングライクなデータを再構成するネットワーク・インバージョン・ベース・アプローチであるトレーニングライクなデータ再構成(TLDR)を提案する。 提案手法を検証するため,複数の標準視覚分類データセットを用いて経験的評価を行った。
  論文  参考訳（メタデータ） (2024-10-22T10:42:08Z)
• Forewarned is Forearmed: Leveraging LLMs for Data Synthesis through Failure-Inducing Exploration [90.41908331897639]
  大規模言語モデル(LLM)は、多種多様な高品質なタスク特化データのトレーニングの恩恵を受けている。 本稿では,効果的なトレーニングサンプルを自動生成する新しい手法であるReverseGenを提案する。
  論文  参考訳（メタデータ） (2024-10-22T06:43:28Z)
• Distilled Datamodel with Reverse Gradient Matching [74.75248610868685]
  オフライントレーニングとオンライン評価段階を含む,データ影響評価のための効率的なフレームワークを提案する。 提案手法は, 直接再学習法と比較して, プロセスの大幅な高速化を図りながら, 同等のモデル行動評価を実現する。
  論文  参考訳（メタデータ） (2024-04-22T09:16:14Z)
• Federated Learning with Projected Trajectory Regularization [65.6266768678291]
  フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。 連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。 本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-22T02:12:08Z)
• Fantastic Gains and Where to Find Them: On the Existence and Prospect of General Knowledge Transfer between Any Pretrained Model [74.62272538148245]
  事前訓練されたモデルの任意のペアリングに対して、一方のモデルは他方では利用できない重要なデータコンテキストを抽出する。 このような「補的」な知識を,性能劣化を伴わずに,あるモデルから別のモデルへ伝達できるかどうかを検討する。
  論文  参考訳（メタデータ） (2023-10-26T17:59:46Z)
• Boosting Model Inversion Attacks with Adversarial Examples [26.904051413441316]
  ブラックボックス設定において、より高い攻撃精度を達成できる学習ベースモデル反転攻撃のための新しい訓練パラダイムを提案する。 まず,攻撃モデルの学習過程を,意味的損失関数を追加して規則化する。 第2に、学習データに逆例を注入し、クラス関連部の多様性を高める。
  論文  参考訳（メタデータ） (2023-06-24T13:40:58Z)
• Training Data Attribution for Diffusion Models [1.1733780065300188]
  そこで本研究では,アンサンブルを用いて学習データが拡散モデルの出力にどのように影響するかを明らかにする新しい手法を提案する。 我々のアプローチでは、エンコードされたアンサンブル内の個々のモデルは、影響のあるトレーニング例の識別を可能にするために、訓練データ全体の分割を慎重に設計した上で訓練される。 得られたモデルアンサンブルは、トレーニングデータの影響の効率的なアブレーションを可能にし、トレーニングデータがモデル出力に与える影響を評価する。
  論文  参考訳（メタデータ） (2023-06-03T18:36:12Z)
• Representation Transfer Learning via Multiple Pre-trained models for Linear Regression [3.5788754401889014]
  サンプルが少ないデータ領域(ターゲット)で線形回帰モデルを学習する問題を考察する。 学習を支援するために、私たちは、潜在的に異なるデータドメインでトレーニングされた事前訓練された回帰モデルセットを提供しています。 対象モデルを構築するための表現伝達に基づく学習手法を提案する。
  論文  参考訳（メタデータ） (2023-05-25T19:35:24Z)
• Imputing Knowledge Tracing Data with Subject-Based Training via LSTM Variational Autoencoders Frameworks [6.24828623162058]
  我々は,行数分割の代わりに,学生IDによるデータ分割とインプットを行うために,主観的学習手法を採用した。 我々は既存の2つの深い生成フレームワーク、すなわち変分オートエンコーダ(VAE)と変分オートエンコーダ(LVAE)を活用している。 LSTM-VAE と LSTM-LVAE から生成したデータにより,元のモデルの性能を約50%向上できることを示す。
  論文  参考訳（メタデータ） (2023-02-24T21:56:03Z)
• Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
  微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。 これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。 パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
  論文  参考訳（メタデータ） (2022-12-19T20:46:43Z)
• Knowledge-Enriched Distributional Model Inversion Attacks [49.43828150561947]
  モデルインバージョン(MI)攻撃は、モデルパラメータからトレーニングデータを再構成することを目的としている。 本稿では,パブリックデータからプライベートモデルに対する攻撃を行うのに役立つ知識を抽出する,新しい反転型GANを提案する。 実験の結果,これらの手法を組み合わせることで,最先端MI攻撃の成功率を150%向上させることができることがわかった。
  論文  参考訳（メタデータ） (2020-10-08T16:20:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。