論文の概要: Robust image classification with multi-modal large language models

• arxiv url: http://arxiv.org/abs/2412.10353v1
• Date: Fri, 13 Dec 2024 18:49:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-16 15:04:09.777605
• Title: Robust image classification with multi-modal large language models
• Title（参考訳）: マルチモーダル大言語モデルを用いたロバスト画像分類
• Authors: Francesco Villani, Igor Maljkovic, Dario Lazzaro, Angelo Sotgiu, Antonio Emanuele Cinà, Fabio Roli,
• Abstract要約: 逆の例では、ディープニューラルネットワークが不正確な予測を高い信頼性で行う可能性がある。 これらの脆弱性を軽減するために、事前にモデルを強化するために、敵の訓練と検出に基づく防御が提案されている。 本稿では,これらの防衛を多モード情報と組み合わせ,補完する新しい防衛手法であるMulti-Shieldを提案する。
• 参考スコア（独自算出の注目度）: 4.709926629434273
• License:
• Abstract: Deep Neural Networks are vulnerable to adversarial examples, i.e., carefully crafted input samples that can cause models to make incorrect predictions with high confidence. To mitigate these vulnerabilities, adversarial training and detection-based defenses have been proposed to strengthen models in advance. However, most of these approaches focus on a single data modality, overlooking the relationships between visual patterns and textual descriptions of the input. In this paper, we propose a novel defense, Multi-Shield, designed to combine and complement these defenses with multi-modal information to further enhance their robustness. Multi-Shield leverages multi-modal large language models to detect adversarial examples and abstain from uncertain classifications when there is no alignment between textual and visual representations of the input. Extensive evaluations on CIFAR-10 and ImageNet datasets, using robust and non-robust image classification models, demonstrate that Multi-Shield can be easily integrated to detect and reject adversarial examples, outperforming the original defenses.
• Abstract（参考訳）: ディープニューラルネットワークは、敵の例、すなわち、モデルに不正確な予測を高い信頼性で起こさせる可能性のある、慎重に構築された入力サンプルに対して脆弱である。 これらの脆弱性を軽減するために、事前にモデルを強化するために、敵の訓練と検出に基づく防御が提案されている。 しかし、これらのアプローチのほとんどは単一のデータモダリティに焦点を合わせ、視覚パターンと入力のテキスト記述の関係を見渡す。 本稿では,これらの防衛とマルチモーダル情報を組み合わせて,その堅牢性をさらに向上する新しい防衛手法であるMulti-Shieldを提案する。 Multi-Shieldはマルチモーダルな大言語モデルを利用して、入力のテキスト表現と視覚表現の整合性がない場合に、敵の例を検出し、不確実な分類から排除する。 CIFAR-10とImageNetデータセットの大規模な評価は、ロバストな画像分類モデルと非ロバストな画像分類モデルを用いて、Multi-Shieldが容易に統合され、敵の例を検出し、拒否することができ、元の防御よりも優れていたことを実証している。

関連論文リスト

• Robust-LLaVA: On the Effectiveness of Large-Scale Robust Image Encoders for Multi-modal Large Language Models [26.656858396343726]
  MLLM(Multi-modal Large Language Models)は、視覚言語タスクにおいて優れているが、視覚的逆境の摂動に弱いままである。 既存の手法では、ImageNet-scaleデータ上でCLIPビジョンエンコーダに制約付き逆調整を適用することにより、これらのリスクを軽減する方法が提案されている。 本稿では,大規模データに対して逆向きに事前学習された既存の視覚分類モデルを活用する方法を提案する。
  論文  参考訳（メタデータ） (2025-02-03T17:59:45Z)
• A Robust Adversarial Ensemble with Causal (Feature Interaction) Interpretations for Image Classification [9.945272787814941]
  本稿では,識別的特徴と生成的モデルを組み合わせた深層アンサンブルモデルを提案する。 提案手法は,特徴抽出のためのボトムレベル事前学習型識別ネットワークと,逆入力分布をモデル化したトップレベル生成型分類ネットワークを統合する。
  論文  参考訳（メタデータ） (2024-12-28T05:06:20Z)
• Protecting Feed-Forward Networks from Adversarial Attacks Using Predictive Coding [0.20718016474717196]
  逆の例は、機械学習(ML)モデルが誤りを犯すように設計された、修正された入力イメージである。 本研究では,敵防衛のための補助的なステップとして,予測符号化ネットワーク(PCnet)を用いた実用的で効果的な手法を提案する。
  論文  参考訳（メタデータ） (2024-10-31T21:38:05Z)
• Unsupervised Model Diagnosis [49.36194740479798]
  本稿では,ユーザガイドを使わずに,意味論的対実的説明を生成するために,Unsupervised Model Diagnosis (UMO)を提案する。 提案手法は意味論における変化を特定し可視化し,その変化を広範囲なテキストソースの属性と照合する。
  論文  参考訳（メタデータ） (2024-10-08T17:59:03Z)
• Adversarial Robustification via Text-to-Image Diffusion Models [56.37291240867549]
  アドリラルロバスト性は、ニューラルネットワークをエンコードする難しい性質として伝統的に信じられてきた。 データを使わずに敵の堅牢性を実現するために,スケーラブルでモデルに依存しないソリューションを開発した。
  論文  参考訳（メタデータ） (2024-07-26T10:49:14Z)
• MirrorCheck: Efficient Adversarial Defense for Vision-Language Models [55.73581212134293]
  本稿では,視覚言語モデルにおける対角的サンプル検出のための,新しい,しかしエレガントなアプローチを提案する。 本手法は,テキスト・トゥ・イメージ(T2I)モデルを用いて,ターゲットVLMが生成したキャプションに基づいて画像を生成する。 異なるデータセットで実施した経験的評価により,本手法の有効性が検証された。
  論文  参考訳（メタデータ） (2024-06-13T15:55:04Z)
• Revisiting the Adversarial Robustness of Vision Language Models: a Multimodal Perspective [42.04728834962863]
  CLIPのような事前訓練された視覚言語モデル(VLM)は、様々な下流タスクにまたがる例外的な一般化を示している。 近年の研究では、テキストベースおよびマルチモーダル攻撃に対する防御がほとんど未調査のままであり、敵攻撃に対する脆弱性が明らかにされている。 本研究は,画像,テキスト,マルチモーダル入力を標的とした攻撃に対して,VLMの対角的堅牢性を改善するための最初の総合的研究である。
  論文  参考訳（メタデータ） (2024-04-30T06:34:21Z)
• Towards General Visual-Linguistic Face Forgery Detection [95.73987327101143]
  ディープフェイクは現実的な顔操作であり、セキュリティ、プライバシー、信頼に深刻な脅威をもたらす可能性がある。 既存の方法は、このタスクを、デジタルラベルまたはマスク信号を使用して検出モデルをトレーニングするバイナリ分類として扱う。 本稿では, 微粒な文レベルのプロンプトをアノテーションとして用いた, VLFFD (Visual-Linguistic Face Forgery Detection) という新しいパラダイムを提案する。
  論文  参考訳（メタデータ） (2023-07-31T10:22:33Z)
• Exploiting Multi-Object Relationships for Detecting Adversarial Attacks in Complex Scenes [51.65308857232767]
  ディープニューラルネットワーク(DNN)をデプロイするビジョンシステムは、敵の例に弱いことが知られている。 近年の研究では、入力データの固有成分のチェックは、敵攻撃を検出するための有望な方法であることが示された。 言語モデルを用いてコンテキスト整合性チェックを行う新しい手法を開発した。
  論文  参考訳（メタデータ） (2021-08-19T00:52:10Z)
• Stylized Adversarial Defense [105.88250594033053]
  逆行訓練は摂動パターンを生成し、モデルを堅牢化するためのトレーニングセットにそれらを含む。 我々は、より強力な敵を作るために、機能空間から追加情報を活用することを提案する。 我々の対人訓練アプローチは、最先端の防御と比べて強い堅牢性を示している。
  論文  参考訳（メタデータ） (2020-07-29T08:38:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。