論文の概要: Demonstration of an Adversarial Attack Against a Multimodal Vision Language Model for Pathology Imaging

• arxiv url: http://arxiv.org/abs/2401.02565v3
• Date: Tue, 7 May 2024 18:14:42 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-09 18:31:11.839023
• Title: Demonstration of an Adversarial Attack Against a Multimodal Vision Language Model for Pathology Imaging
• Title（参考訳）: 画像診断のためのマルチモーダル視覚言語モデルに対する敵対的攻撃の実証
• Authors: Poojitha Thota, Jai Prakash Veerla, Partha Sai Guttikonda, Mohammad S. Nasr, Shirin Nilizadeh, Jacob M. Luber,
• Abstract要約: 本研究では,視覚言語基盤モデルであるPLIPモデルの脆弱性を標的攻撃下で調査する。 我々は、意図的に誤分類を誘発するために、PGD(Projected Gradient Descent)の逆方向摂動攻撃を用いる。 この研究は、AIモデルの信頼性を確保するための堅牢な防御の必要性を強調している。
• 参考スコア（独自算出の注目度）: 1.279856000554626
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: In the context of medical artificial intelligence, this study explores the vulnerabilities of the Pathology Language-Image Pretraining (PLIP) model, a Vision Language Foundation model, under targeted attacks. Leveraging the Kather Colon dataset with 7,180 H&E images across nine tissue types, our investigation employs Projected Gradient Descent (PGD) adversarial perturbation attacks to induce misclassifications intentionally. The outcomes reveal a 100% success rate in manipulating PLIP's predictions, underscoring its susceptibility to adversarial perturbations. The qualitative analysis of adversarial examples delves into the interpretability challenges, shedding light on nuanced changes in predictions induced by adversarial manipulations. These findings contribute crucial insights into the interpretability, domain adaptation, and trustworthiness of Vision Language Models in medical imaging. The study emphasizes the pressing need for robust defenses to ensure the reliability of AI models. The source codes for this experiment can be found at https://github.com/jaiprakash1824/VLM_Adv_Attack.
• Abstract（参考訳）: 本研究は,医療人工知能の文脈において,標的となる攻撃の下で,ビジョン言語財団モデルであるPLIPモデルの脆弱性について検討する。 そこで本研究では,9種類の組織に7,180個のH&E画像を用いたKather Colonデータセットを応用し,突発性逆行性摂動障害(PGD)を用いて誤分類を意図的に誘発する。 これらの結果はPLIPの予測を操作する上で100%の成功率を示し、敵の摂動に対する感受性を裏付けるものである。 敵の例の質的分析は、敵の操作によって引き起こされる予測の微妙な変化に光を当て、解釈可能性の課題を掘り下げる。 これらの知見は, 医用画像における視覚言語モデルの解釈可能性, ドメイン適応性, 信頼性に関する重要な知見に寄与する。 この研究は、AIモデルの信頼性を確保するための堅牢な防御の必要性を強調している。 この実験のソースコードはhttps://github.com/jaiprakash1824/VLM_Adv_Attackにある。

関連論文リスト

• MirrorCheck: Efficient Adversarial Defense for Vision-Language Models [55.73581212134293]
  本稿では,視覚言語モデルにおける対角的サンプル検出のための,新しい,しかしエレガントなアプローチを提案する。 本手法は,テキスト・トゥ・イメージ(T2I)モデルを用いて,ターゲットVLMが生成したキャプションに基づいて画像を生成する。 異なるデータセットで実施した経験的評価により,本手法の有効性が検証された。
  論文  参考訳（メタデータ） (2024-06-13T15:55:04Z)
• Adversarial-Robust Transfer Learning for Medical Imaging via Domain Assimilation [17.46080957271494]
  医用画像が公開されていないため、現代のアルゴリズムは、大量の自然画像に基づいて事前訓練されたモデルに依存するようになった。 自然画像と医療画像の間に重要なエムドメインの相違があり、AIモデルは敵の攻撃に対するエムの脆弱性を高める。 本稿では,テクスチャと色適応を伝達学習に導入する Em ドメイン同化手法を提案する。
  論文  参考訳（メタデータ） (2024-02-25T06:39:15Z)
• Application Of Vision-Language Models For Assessing Osteoarthritis Disease Severity [0.43431539537721414]
  変形性関節症(OA)は、正確な診断方法を必要とする世界的な健康上の課題である。 OAアセスメントのための既存のディープラーニングモデルは、単一タスクシステムである。 本研究では,X線画像とそれに対応するレポートを用いて,視覚言語処理モデルを用いてOA重大度を予測する。
  論文  参考訳（メタデータ） (2024-01-12T02:43:58Z)
• SA-Attack: Improving Adversarial Transferability of Vision-Language Pre-training Models via Self-Augmentation [56.622250514119294]
  ホワイトボックスの敵攻撃とは対照的に、転送攻撃は現実世界のシナリオをより反映している。 本稿では,SA-Attackと呼ばれる自己拡張型転送攻撃手法を提案する。
  論文  参考訳（メタデータ） (2023-12-08T09:08:50Z)
• A Survey on Transferability of Adversarial Examples across Deep Neural Networks [53.04734042366312]
  逆の例では、機械学習モデルを操作して誤った予測を行うことができます。 敵の例の転送可能性により、ターゲットモデルの詳細な知識を回避できるブラックボックス攻撃が可能となる。 本研究は, 対角移動可能性の展望を考察した。
  論文  参考訳（メタデータ） (2023-10-26T17:45:26Z)
• Robust and Interpretable Medical Image Classifiers via Concept Bottleneck Models [49.95603725998561]
  本稿では,自然言語の概念を用いた堅牢で解釈可能な医用画像分類器を構築するための新しいパラダイムを提案する。 具体的には、まず臨床概念をGPT-4から検索し、次に視覚言語モデルを用いて潜在画像の特徴を明示的な概念に変換する。
  論文  参考訳（メタデータ） (2023-10-04T21:57:09Z)
• Self-Ensembling Vision Transformer (SEViT) for Robust Medical Image Classification [4.843654097048771]
  ビジョントランスフォーマー(ViT)は、医療画像における様々なコンピュータビジョンタスクのために、畳み込みニューラルネットワーク(CNN)を置き換えるために競合している。 近年の研究では、ViTsはそのような攻撃の影響を受けやすく、攻撃下での大幅な性能劣化が報告されている。 本稿では,対戦型攻撃の存在下でのViTの堅牢性を高めるための,新たな自己認識手法を提案する。
  論文  参考訳（メタデータ） (2022-08-04T19:02:24Z)
• Proactive Pseudo-Intervention: Causally Informed Contrastive Learning For Interpretable Vision Models [103.64435911083432]
  PPI(Proactive Pseudo-Intervention)と呼ばれる新しい対照的な学習戦略を提案する。 PPIは、因果関係のない画像の特徴を保護するために積極的に介入する。 また,重要な画像画素を識別するための,因果的に通知された新たなサリエンスマッピングモジュールを考案し,モデル解釈の容易性を示す。
  論文  参考訳（メタデータ） (2020-12-06T20:30:26Z)
• On the Transferability of Adversarial Attacksagainst Neural Text Classifier [121.6758865857686]
  テキスト分類モデルの逆例の転送可能性について検討する。 本稿では,ほとんどすべての既存モデルを騙すために,敵の例を誘導できるモデル群を見つける遺伝的アルゴリズムを提案する。 これらの逆例からモデル診断に使用できる単語置換規則を導出する。
  論文  参考訳（メタデータ） (2020-11-17T10:45:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。