論文の概要: Reconstructing Training Data From Real World Models Trained with Transfer Learning

• arxiv url: http://arxiv.org/abs/2407.15845v1
• Date: Mon, 22 Jul 2024 17:59:10 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-23 13:41:12.835338
• Title: Reconstructing Training Data From Real World Models Trained with Transfer Learning
• Title（参考訳）: 伝達学習による実世界モデルからの学習データ再構成
• Authors: Yakir Oz, Gilad Yehudai, Gal Vardi, Itai Antebi, Michal Irani, Niv Haim,
• Abstract要約: 本稿では,高解像度画像上で訓練されたモデルに対して,現実的な設定でデータ再構成を可能にする新しい手法を提案する。 本手法は実世界のシナリオに対してarXiv:2206.07758の再構成方式を適用する。 そこで本研究では,数千の候補からの良好な復元を識別するためのクラスタリングに基づく新しい手法を提案する。
• 参考スコア（独自算出の注目度）: 29.028185455223785
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Current methods for reconstructing training data from trained classifiers are restricted to very small models, limited training set sizes, and low-resolution images. Such restrictions hinder their applicability to real-world scenarios. In this paper, we present a novel approach enabling data reconstruction in realistic settings for models trained on high-resolution images. Our method adapts the reconstruction scheme of arXiv:2206.07758 to real-world scenarios -- specifically, targeting models trained via transfer learning over image embeddings of large pre-trained models like DINO-ViT and CLIP. Our work employs data reconstruction in the embedding space rather than in the image space, showcasing its applicability beyond visual data. Moreover, we introduce a novel clustering-based method to identify good reconstructions from thousands of candidates. This significantly improves on previous works that relied on knowledge of the training set to identify good reconstructed images. Our findings shed light on a potential privacy risk for data leakage from models trained using transfer learning.
• Abstract（参考訳）: 訓練された分類器からトレーニングデータを再構成する現在の方法は、非常に小さなモデル、限られたトレーニングセットサイズ、低解像度の画像に限られている。 このような制限は、現実のシナリオへの適用を妨げます。 本稿では,高解像度画像上で訓練されたモデルに対して,現実的な設定でデータ再構成を可能にする新しいアプローチを提案する。 具体的には、DINO-ViTやCLIPといった大規模トレーニング済みモデルのイメージ埋め込みを通じて、トランスファーラーニングによってトレーニングされたモデルをターゲットとして、実世界のシナリオにarXiv:2206.07758の再構築スキームを適用する。 我々の研究は、画像空間ではなく埋め込み空間にデータ再構成を導入し、視覚データを超えた適用性を示している。 さらに,数千の候補からの良好な復元を識別するクラスタリングに基づく新しい手法を提案する。 これは、優れた再構成画像を特定するためのトレーニングセットの知識に依存した以前の作品に大きく改善される。 我々の発見は、トランスファー学習を用いてトレーニングされたモデルからのデータ漏洩の潜在的なプライバシーリスクを浮き彫りにした。

関連論文リスト

• Training Data Reconstruction: Privacy due to Uncertainty? [36.941445388011154]
  我々は、$x$のランダムな初期化が、実際のトレーニングデータセットの一部でなく、有効なトレーニングサンプルに類似した再構築につながることを示す。 アフィン層と一隠れ層を用いた実験により, 自然画像の再構成を行うと, 相手側では, 再構成された画像が実際にトレーニングサンプルの一部であったかどうかを判別できないことが示唆された。
  論文  参考訳（メタデータ） (2024-12-11T17:00:29Z)
• FoundIR: Unleashing Million-scale Training Data to Advance Foundation Models for Image Restoration [66.61201445650323]
  既存の手法は現実のシナリオにおける一般化ボトルネックに悩まされる。 既存のトレーニングデータに対して,2つの大きなメリットがある,100万規模のデータセットをコントリビュートしています。 実世界のシナリオにおいて,より広範囲の復元作業に対処するために,ロバストなモデルFoundIRを提案する。
  論文  参考訳（メタデータ） (2024-12-02T12:08:40Z)
• Reinforcing Pre-trained Models Using Counterfactual Images [54.26310919385808]
  本稿では,言語誘導型生成対実画像を用いた分類モデル強化のための新しいフレームワークを提案する。 逆ファクト画像データセットを用いてモデルをテストすることにより、モデルの弱点を同定する。 我々は、分類モデルを微調整し強化するために、デファクトイメージを拡張データセットとして採用する。
  論文  参考訳（メタデータ） (2024-06-19T08:07:14Z)
• Bounding Reconstruction Attack Success of Adversaries Without Data Priors [53.41619942066895]
  機械学習(ML)モデルに対する再構成攻撃は、機密データの漏洩の強いリスクをもたらす。 本研究では,現実的な対角的環境下での再建成功に関する公式な上限を提供する。
  論文  参考訳（メタデータ） (2024-02-20T09:52:30Z)
• RefinedFields: Radiance Fields Refinement for Unconstrained Scenes [7.421845364041002]
  我々はRefinedFieldsを提案し、私たちの知識を最大限活用するために、事前学習されたモデルを活用して、フィールド内シーンモデリングを改善する最初の方法を提案する。 我々は、最適化誘導によりK-Planes表現を洗練するために、事前訓練されたネットワークを利用する。 本研究では,本手法が合成データや実際の観光写真コレクションに与える影響を検証し,広範な実験を行った。
  論文  参考訳（メタデータ） (2023-12-01T14:59:43Z)
• Instant Continual Learning of Neural Radiance Fields [78.08008474313809]
  ニューラルレイディアンス場(NeRF)は,新規な視点合成と3次元シーン再構成の有効な方法として出現している。 本稿では,リプレイに基づく手法とハイブリッドな明示的シーン表現を併用したNeRFの連続学習フレームワークを提案する。 提案手法は, 連続的な環境下での学習において, 従来手法よりも高い精度で再現性能を向上すると同時に, 桁違いの高速化を図っている。
  論文  参考訳（メタデータ） (2023-09-04T21:01:55Z)
• Understanding Reconstruction Attacks with the Neural Tangent Kernel and Dataset Distillation [110.61853418925219]
  我々は、データセット再構築攻撃のより強力なバージョンを構築し、無限の幅で設定されたエンペントリアルトレーニングを確実に回復する方法を示す。 理論的にも経験的にも再構成された画像は、データセットの「外部」に傾向を示す。 これらのリコンストラクション攻撃は, テクストデータセット蒸留において, 再構成画像上で再トレーニングを行い, 高い予測精度を得ることができる。
  論文  参考訳（メタデータ） (2023-02-02T21:41:59Z)
• Reconstructing Training Data with Informed Adversaries [30.138217209991826]
  機械学習モデルへのアクセスを考えると、敵はモデルのトレーニングデータを再構築できるだろうか? 本研究は、この疑問を、学習データポイントの全てを知っている強力な情報提供者のレンズから研究する。 この厳密な脅威モデルにおいて、残りのデータポイントを再構築することは可能であることを示す。
  論文  参考訳（メタデータ） (2022-01-13T09:19:25Z)
• A general approach to bridge the reality-gap [0.0]
  これを回避するための一般的なアプローチは、大量のラベル付きデータを持つ既存の類似したデータセットを活用することである。 本稿では,任意の画像を正規分布へ変換する一般変換学習を提案する。 この変換は教師なしのシステムで訓練され、データの増大を利用して画像の非標準的な例を生成する。
  論文  参考訳（メタデータ） (2020-09-03T18:19:28Z)
• Adversarially-Trained Deep Nets Transfer Better: Illustration on Image Classification [53.735029033681435]
  トランスファーラーニングは、訓練済みのディープニューラルネットワークを画像認識タスクに新しいドメインに適用するための強力な方法論である。 本研究では,非逆学習モデルよりも逆学習モデルの方が優れていることを示す。
  論文  参考訳（メタデータ） (2020-07-11T22:48:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。