論文の概要: Membership Inference Attack Against Masked Image Modeling

• arxiv url: http://arxiv.org/abs/2408.06825v1
• Date: Tue, 13 Aug 2024 11:34:28 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-14 17:46:21.962482
• Title: Membership Inference Attack Against Masked Image Modeling
• Title（参考訳）: マスク画像モデリングに対するメンバーシップ推論攻撃
• Authors: Zheng Li, Xinlei He, Ning Yu, Yang Zhang,
• Abstract要約: Masked Image Modeling (MIM)は、視覚認識のための自己教師付き学習(SSL)の領域で大きな成功を収めた。 本研究では、MIMの事前学習データプライバシーを研究することで、異なる角度を採る。 MIMにより事前訓練された画像エンコーダに対する最初のメンバシップ推論攻撃を提案する。
• 参考スコア（独自算出の注目度）: 29.699606401861818
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Masked Image Modeling (MIM) has achieved significant success in the realm of self-supervised learning (SSL) for visual recognition. The image encoder pre-trained through MIM, involving the masking and subsequent reconstruction of input images, attains state-of-the-art performance in various downstream vision tasks. However, most existing works focus on improving the performance of MIM.In this work, we take a different angle by studying the pre-training data privacy of MIM. Specifically, we propose the first membership inference attack against image encoders pre-trained by MIM, which aims to determine whether an image is part of the MIM pre-training dataset. The key design is to simulate the pre-training paradigm of MIM, i.e., image masking and subsequent reconstruction, and then obtain reconstruction errors. These reconstruction errors can serve as membership signals for achieving attack goals, as the encoder is more capable of reconstructing the input image in its training set with lower errors. Extensive evaluations are conducted on three model architectures and three benchmark datasets. Empirical results show that our attack outperforms baseline methods. Additionally, we undertake intricate ablation studies to analyze multiple factors that could influence the performance of the attack.
• Abstract（参考訳）: Masked Image Modeling (MIM)は、視覚認識のための自己教師付き学習(SSL)の領域で大きな成功を収めた。 MIMを介して事前訓練された画像エンコーダは、様々な下流視覚タスクにおいて、マスキングとその後の入力画像の再構成を含む最先端の性能を達成する。 しかし,既存の研究の多くはMIMの性能向上に重点を置いており,本研究ではMIMの事前学習データプライバシの研究によって異なる角度を採っている。 具体的には,MIMが事前学習した画像エンコーダに対する最初のメンバシップ推論攻撃を提案する。 鍵となる設計は、MIMの事前学習パラダイム、すなわち画像マスキングとその後の再構成をシミュレートし、再構成エラーを取得することである。 これらの再構成エラーは、エンコーダがより低いエラーでトレーニングセットの入力イメージを再構成できるため、攻撃目標を達成するためのメンバシップ信号として機能する。 大規模な評価は3つのモデルアーキテクチャと3つのベンチマークデータセットで実施される。 実験の結果,攻撃はベースライン法よりも優れていた。 さらに,攻撃性能に影響を及ぼす可能性のある複数の要因を分析するために,複雑なアブレーション研究を行っている。

関連論文リスト

• AEMIM: Adversarial Examples Meet Masked Image Modeling [12.072673694665934]
  本稿では,新たな再構成対象として,敵対例をマスク画像モデリングに組み込むことを提案する。 特に、原画像に対応する敵の例を再構成する、新しい補助的前文タスクを導入する。 また,MIM事前学習において,より適切な対戦例を構築するために,革新的な敵攻撃を考案する。
  論文  参考訳（メタデータ） (2024-07-16T09:39:13Z)
• MM1: Methods, Analysis & Insights from Multimodal LLM Pre-training [103.72844619581811]
  MLLM(Performant Multimodal Large Language Models)を構築する。 特に,さまざまなアーキテクチャコンポーネントとデータ選択の重要性について検討する。 本稿では,画像キャプチャ,インターリーブ画像テキスト,テキストのみのデータを組み合わせた大規模マルチモーダル事前学習について述べる。
  論文  参考訳（メタデータ） (2024-03-14T17:51:32Z)
• VQAttack: Transferable Adversarial Attacks on Visual Question Answering via Pre-trained Models [58.21452697997078]
  本稿では,画像とテキストの摂動を設計モジュールで生成できる新しいVQAttackモデルを提案する。 5つの検証モデルを持つ2つのVQAデータセットの実験結果は、提案したVQAttackの有効性を示す。
  論文  参考訳（メタデータ） (2024-02-16T21:17:42Z)
• PixMIM: Rethinking Pixel Reconstruction in Masked Image Modeling [83.67628239775878]
  Masked Image Modeling (MIM) は Masked Autoencoders (MAE) と BEiT の出現によって有望な進歩を遂げた。 本稿では,画素再構成の観点からMIMの基本解析を行う。 我々は,2つの戦略を包含する極めて単純で効果的な方法,weelmethodを提案する。
  論文  参考訳（メタデータ） (2023-03-04T13:38:51Z)
• Attentive Symmetric Autoencoder for Brain MRI Segmentation [56.02577247523737]
  視覚変換器(ViT)をベースとした3次元脳MRIセグメンテーションタスクのための新しいアテンテーティブシンメトリオートエンコーダを提案する。 事前学習の段階では、提案するオートエンコーダがより注意を払って、勾配測定値に従って情報パッチを再構築する。 実験の結果,提案手法は最先端の自己教師付き学習法や医用画像分割モデルよりも優れていた。
  論文  参考訳（メタデータ） (2022-09-19T09:43:19Z)
• MimCo: Masked Image Modeling Pre-training with Contrastive Teacher [14.413674270588023]
  Masked Image Modeling (MIM) は自己教師型学習 (SSL) において多くの注目を集めている。 可視化は、学習された表現は、特に対照的な学習事前学習に基づく表現に比べて分離しにくいことを示している。 そこで本研究では,MIMと2段階事前学習によるコントラスト学習を組み合わせた,新しい,フレキシブルな事前学習フレームワークMimCoを提案する。
  論文  参考訳（メタデータ） (2022-09-07T10:59:05Z)
• Improvements to Self-Supervised Representation Learning for Masked Image Modeling [0.0]
  本稿では,マスク画像モデリング(MIM)パラダイムの改良について検討する。 MIMパラダイムにより、入力画像のマスキングとマスク部分のアンマスク部分の予測により、モデルが画像の主オブジェクトの特徴を学習することができる。 我々は新しいモデルであるContrastive Masked AutoEncoders (CMAE)を提案する。
  論文  参考訳（メタデータ） (2022-05-21T09:45:50Z)
• Beyond Masking: Demystifying Token-Based Pre-Training for Vision Transformers [122.01591448013977]
  Masked Image Modeling (MIM) は下流タスクにおいて有望な結果を示した。 本稿では,欠落した内容を回復して学習する効果的な方法があるかどうかを考察する。 我々は、トークンベースのビジョントランスフォーマーの事前トレーニングに関するいくつかの設計原則を要約する。 この設計は、余分な計算コストを伴わない一連の下流認識タスクにおいて、MIMよりも優れた性能を実現する。
  論文  参考訳（メタデータ） (2022-03-27T14:23:29Z)
• Masked Autoencoders Are Scalable Vision Learners [60.97703494764904]
  Masked Autoencoders (MAE) は、コンピュータビジョンのためのスケーラブルな自己教師型学習システムである。 我々は入力画像のランダムなパッチを隠蔽し、欠落したピクセルを再構成する。 これら2つの設計を結合することで,大規模モデルを効率的かつ効率的にトレーニングすることが可能になります。
  論文  参考訳（メタデータ） (2021-11-11T18:46:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。