論文の概要: Do SSL Models Have D\'ej\`a Vu? A Case of Unintended Memorization in Self-supervised Learning

• arxiv url: http://arxiv.org/abs/2304.13850v3
• Date: Wed, 13 Dec 2023 03:31:18 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-14 21:06:08.129606
• Title: Do SSL Models Have D\'ej\`a Vu? A Case of Unintended Memorization in Self-supervised Learning
• Title（参考訳）: SSLモデルはD\'ej\`a Vuを持っているか? 自己指導型学習における意図しない記憶の1例
• Authors: Casey Meehan, Florian Bordes, Pascal Vincent, Kamalika Chaudhuri, Chuan Guo
• Abstract要約: 自己教師付き学習(SSL)アルゴリズムは、自然画像の様々な部分を相互に関連付けることを学ぶことによって、有用な画像表現を生成することができる。 SSLモデルは、意味的に意味のある関連を学習するのではなく、個別のトレーニングサンプルの特定の部分を意図せずに記憶することができる。 背景のみを含む訓練画像の訓練モデルと収穫量を考えると,前景オブジェクトを高精度に推測できることを示す。
• 参考スコア（独自算出の注目度）: 47.46863155263094
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Self-supervised learning (SSL) algorithms can produce useful image representations by learning to associate different parts of natural images with one another. However, when taken to the extreme, SSL models can unintendedly memorize specific parts in individual training samples rather than learning semantically meaningful associations. In this work, we perform a systematic study of the unintended memorization of image-specific information in SSL models -- which we refer to as d\'ej\`a vu memorization. Concretely, we show that given the trained model and a crop of a training image containing only the background (e.g., water, sky, grass), it is possible to infer the foreground object with high accuracy or even visually reconstruct it. Furthermore, we show that d\'ej\`a vu memorization is common to different SSL algorithms, is exacerbated by certain design choices, and cannot be detected by conventional techniques for evaluating representation quality. Our study of d\'ej\`a vu memorization reveals previously unknown privacy risks in SSL models, as well as suggests potential practical mitigation strategies. Code is available at https://github.com/facebookresearch/DejaVu.
• Abstract（参考訳）: 自己教師付き学習(ssl)アルゴリズムは、自然画像の異なる部分を互いに関連付けるように学習することで有用な画像表現を生成することができる。 しかし、極端な場合、SSLモデルは意味論的に意味のある関連を学習するのではなく、個々のトレーニングサンプルの特定の部分を意図せずに記憶することができる。 本研究では,SSL モデルにおける画像固有情報の意図しない記憶に関する体系的研究を行い,これを d\'ej\`a vu 記憶と呼ぶ。 具体的には、背景(水、空、草など)のみを含む訓練画像の訓練モデルと作物を考慮すれば、前景オブジェクトを高精度に推測したり、視覚的に再構成したりすることが可能であることを示す。 さらに,d\'ej\`a vuの記憶は異なるsslアルゴリズムに共通であり,特定の設計選択によって悪化し,従来の表現品質評価手法では検出できないことを示す。 d\'ej\`a vuメモリ化に関する我々の研究は、SSLモデルでこれまで未知のプライバシリスクを明らかにし、潜在的な実用的な緩和戦略を示唆している。 コードはhttps://github.com/facebookresearch/DejaVu.comで入手できる。

関連論文リスト

• Towards Adversarial Robustness And Backdoor Mitigation in SSL [0.562479170374811]
  Self-Supervised Learning (SSL)は、ラベルのないデータから表現を学習する際の大きな可能性を示している。 SSLメソッドは、最近、バックドア攻撃に対して脆弱であることが示されている。 この作業はSSLのバックドア攻撃に対する防御に対処することを目的としている。
  論文  参考訳（メタデータ） (2024-03-23T19:21:31Z)
• Déjà Vu Memorization in Vision-Language Models [39.51189095703773]
  視覚言語モデル(VLM)における記憶量測定のための新しい手法を提案する。 モデルでは、相関や画像キャプションから推測できる範囲を超えて、トレーニング画像中の個々のオブジェクトに関する情報が実際に保持されていることを示す。 サンプルおよび集団レベルでのd'eja vuメモリ化を評価し,最大5000万枚の画像キャプチャーペアで訓練したOpenCLIPにとって重要であることを示す。
  論文  参考訳（メタデータ） (2024-02-03T09:55:35Z)
• Zero-Shot Learning by Harnessing Adversarial Samples [52.09717785644816]
  本稿では,HAS(Harnessing Adversarial Samples)によるZSL(Zero-Shot Learning)アプローチを提案する。 HASは3つの重要な側面を考慮に入れた敵の訓練を通じてZSLを前進させる。 本稿では,ZSLと一般化ゼロショット学習(GZSL)の両シナリオにおいて,敵対的サンプルアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2023-08-01T06:19:13Z)
• HIRL: A General Framework for Hierarchical Image Representation Learning [54.12773508883117]
  階層型画像表現学習(HIRL)のための一般的なフレームワークを提案する。 このフレームワークは、各画像の複数の意味表現を学習することを目的としており、これらの表現は、細粒度から粗粒度まで画像意味をエンコードするように構成されている。 確率的因子化に基づいて、HIRLはオフザシェルフ画像SSLアプローチにより最もきめ細かいセマンティクスを学習し、新しいセマンティクスパス識別方式により複数の粗いセマンティクスを学習する。
  論文  参考訳（メタデータ） (2022-05-26T05:13:26Z)
• Unified Contrastive Learning in Image-Text-Label Space [130.31947133453406]
  Unified Contrastive Learning (UniCL)は、意味的に豊かだが差別的な表現を学習する効果的な方法である。 UniCLスタンドアローンは、3つの画像分類データセットにまたがる教師あり学習手法に対抗して、純粋な画像ラベルデータに関する優れた学習者である。
  論文  参考訳（メタデータ） (2022-04-07T17:34:51Z)
• Generalized Zero Shot Learning For Medical Image Classification [5.6512908295414]
  多くの実世界の医療画像分類設定では、可能なすべての病気の分類のサンプルにアクセスできない。 自己教師付き学習(SSL)を用いた一般化ゼロショット学習(GZSL)手法を提案する。 本手法では, 自然画像では利用できないが, 医用画像では利用できない属性ベクトルは不要である。
  論文  参考訳（メタデータ） (2022-04-04T09:30:08Z)
• High Fidelity Visualization of What Your Self-Supervised Representation Knows About [22.982471878833362]
  本研究では,条件拡散に基づく生成モデル(RCDM)を用いて,自己教師付きモデルを用いて学習した表現を可視化する。 このモデルの生成品質は、条件付けとして使われる表現に忠実でありながら、最先端の生成モデルとどのように同等かを示す。
  論文  参考訳（メタデータ） (2021-12-16T19:23:33Z)
• Constrained Mean Shift for Representation Learning [17.652439157554877]
  我々は,新たな知識を活用できる非コントラスト表現学習法を開発した。 本研究の主な目的は,近傍の探索空間を制約することで平均シフトアルゴリズムを一般化することである。 本研究では,モダリティ間の雑音制約を利用して,自己教師付きビデオモデルのトレーニングを行うことが可能であることを示す。
  論文  参考訳（メタデータ） (2021-10-19T23:14:23Z)
• Information Bottleneck Constrained Latent Bidirectional Embedding for Zero-Shot Learning [59.58381904522967]
  本稿では,密な視覚-意味的結合制約を持つ埋め込み型生成モデルを提案する。 視覚空間と意味空間の両方の埋め込みパラメトリック分布を校正する統合潜在空間を学習する。 本手法は, 画像のラベルを生成することにより, トランスダクティブZSL設定に容易に拡張できる。
  論文  参考訳（メタデータ） (2020-09-16T03:54:12Z)
• Self-supervised Visual Attribute Learning for Fashion Compatibility [71.73414832639698]
  トレーニング中にラベルを必要とせずに、色やテクスチャを意識した機能を学ぶことができるSSLフレームワークを提案する。 当社のアプローチは,事前の作業で無視される異なる概念を捉えるために設計された3つの自己教師型タスクから構成される。 当社のアプローチは,異なるデータセット上で高いパフォーマンスを達成しながら,ひとつのデータセットでトレーニングできることを実証して,トランスファーラーニングに使用することができることを示す。
  論文  参考訳（メタデータ） (2020-08-01T21:53:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。