論文の概要: Comparative Analysis of Inference-Time Defense Methods for Multimodal Large Language Models

• arxiv url: http://arxiv.org/abs/2606.10904v1
• Date: Tue, 09 Jun 2026 14:13:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-11 16:42:38.04631
• Title: Comparative Analysis of Inference-Time Defense Methods for Multimodal Large Language Models
• Title（参考訳）: マルチモーダル大言語モデルにおける推論時防御法の比較解析
• Authors: Bulat Nutfullin, Vladimir Evgrafov, Dmitry Namiot,
• Abstract要約: MLLM(Multimodal large language model)は、安全上重要なアプリケーションに実装されている。 新しい脆弱性クラスごとにモデルをリトレーニングするのは、実用には高すぎる。 3時間防衛法とその組み合わせに関する比較実験的な評価を報告する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multimodal large language models (MLLMs) now appear in safety-critical applications, but the visual channel leaves them open to adversarial attacks that predominantly text-oriented safety alignment addresses only in part. Retraining a model for each new vulnerability class is usually too expensive to be practical. We report a comparative empirical evaluation of three inference-time defense methods and their combinations, run on eight models from the InternVL and Qwen-VL families across seven safety benchmarks that span four attack classes and total 9,000 evaluation samples. Every figure below comes from the same unified proxy classifier. Five findings emerge from the evaluation. First, within the evaluated models and benchmarks, no single defense dominates across all settings: what works depends on the model's baseline safety and on the attack type. Second, combining defenses directly drives benign-query over-refusal to 97-100% across all eight evaluated models, and SmoothVLM on its own reaches 99.2-100%. Third, a simple safety prompt keeps utility largely intact (0.0-18.2% over-refusal across all eight models, five of them below 7%, although two exceeded 15%) while still yielding moderate safety gains. Fourth, different attack classes expose different weaknesses across the evaluated setup, which is why multi-benchmark evaluation matters. Fifth, in a preliminary whitebox test on two models (n=20), text-level defenses suppressed a PGD visual attack that had succeeded without any defense: the defenses act at the output stage, where gradient optimization has limited direct leverage in the tested configuration. Read together, these results argue for adaptive defense selection rather than a single fixed defense configuration.
• Abstract（参考訳）: MLLM(Multimodal large language model)は現在、安全クリティカルなアプリケーションに現れているが、視覚チャネルは、主にテキスト指向の安全アライメントアドレスである敵攻撃に開放されている。 新しい脆弱性クラスごとにモデルをリトレーニングするのは、実用には高すぎる。 InternVLファミリーとQwen-VLファミリーから4つの攻撃クラスと9000の総合的な評価サンプルを対象とする7つの安全ベンチマークにおいて,3つの推論時防御手法とその組み合わせを比較検討した。 下記の図はすべて、同じ統一されたプロキシ分類器から得られます。 評価から5つの結果が得られた。 まず、評価されたモデルとベンチマーク内では、モデルの基本安全性と攻撃タイプによって、すべての設定で単一の防御が支配されることはない。 第2に、防御を組み合わすことで、8つの評価されたモデルすべてにおいて、ベニグナリーのオーバーリファインを97-100%まで直接駆動し、SmoothVLM自体が99.2-100%に達した。 第3に、単純な安全プロンプトは実用性を大きく維持する(全8機種で0.0-18.2%のオーバーリフレル、うち5台は7%以下、うち2台は15%以上)が、それでも適度な安全向上をもたらす。 第4に、異なる攻撃クラスは、評価されたセットアップ全体で異なる弱点を露呈する。 5番目は、2つのモデル(n=20)の予備的なホワイトボックステストにおいて、テキストレベルのディフェンスはPGD視覚攻撃を抑え、ディフェンスは出力段階で作用する。 これらの結果は、単一の固定された防御構成ではなく、適応的な防御選択を主張する。

関連論文リスト

• Are Frontier LLMs Ready for Cybersecurity? Evidence for Vertical Foundation Models from Dual-Mode Vulnerability Benchmarks [0.3303672705634661]
  デュアルモードベンチマークにより,フロンティアLSMがサイバーセキュリティの準備ができているかを評価する。 我々は6つのフロンティアモデル(GPT-5.4、Codex5.3、Claude Opus4.6、Sonnet4.6、Gemini3.1Pro、Gemini3Flash)と4つのテストパラダイムにまたがる2つのドメイン特化モデルをテストする。
  論文  参考訳（メタデータ） (2026-05-22T05:24:43Z)
• Deliberative Alignment is Deep, but Uncertainty Remains: Inference time safety improvement in reasoning via attribution of unsafe behavior to base model [50.29667251847595]
  モデルサイズが大きく,安全性が向上しているにもかかわらず,教師と生徒の言語モデルの間にはアライメントギャップがあることが示される。 本稿では,不安全な動作を潜在空間のベースLLMに還元するBoNサンプリング手法を提案する。 特に7つの教師モデルと6つの生徒モデルが異なるクラスとサイズで、平均攻撃成功率(ASR)はDANで28.2%、WildJailbreakで31.3%、StrongREJECTベンチマークで35.4%低下した。
  論文  参考訳（メタデータ） (2026-04-01T02:42:41Z)
• Evaluating the Robustness of Large Language Model Safety Guardrails Against Adversarial Attacks [0.0]
  大言語モデル(LLM)の安全ガードレールモデルは有害なコンテンツ生成に対する主要な防御機構として出現している。 この調査は、21の攻撃カテゴリにわたる1,445のテストプロンプトで、Meta、Google、IBM、NVIDIA、Alibaba、Allen AIから利用可能な10のガードレールモデルを評価した。
  論文  参考訳（メタデータ） (2025-11-27T03:01:09Z)
• Safeguarding Efficacy in Large Language Models: Evaluating Resistance to Human-Written and Algorithmic Adversarial Prompts [0.0]
  本稿では,敵対的攻撃ベクトルに対する大規模言語モデル(LLM)の体系的セキュリティ評価について述べる。 我々はPhi-2, Llama-2-7B-Chat, GPT-3.5-Turbo, GPT-4の4つの異なる攻撃カテゴリ(人書きプロンプト, AutoDAN, Greedy Coordinate Gradient (GCG), Tree-of-Attacks-with-pruning (TAP))を評価した。
  論文  参考訳（メタデータ） (2025-10-12T21:48:34Z)
• Evaluating the Robustness of the "Ensemble Everything Everywhere" Defense [90.7494670101357]
  あらゆるものをアンサンブルすることは、敵の例に対する防御である。 この防御は敵の攻撃に対して堅牢ではないことを示す。 次に、標準的なアダプティブアタック技術を用いて、防御の堅牢な精度を低下させる。
  論文  参考訳（メタデータ） (2024-11-22T10:17:32Z)
• MultiRobustBench: Benchmarking Robustness Against Multiple Attacks [86.70417016955459]
  機械学習(ML)モデルに対するマルチアタックを検討するための,最初の統一フレームワークを提案する。 我々のフレームワークは、テストタイムの敵について異なるレベルの学習者の知識をモデル化することができる。 9種類の攻撃に対して16種類の防御モデルの有効性を評価した。
  論文  参考訳（メタデータ） (2023-02-21T20:26:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。