論文の概要: Comparative Analysis of Inference-Time Defense Methods for Multimodal Large Language Models

• arxiv url: http://arxiv.org/abs/2606.10904v1
• Date: Tue, 09 Jun 2026 14:13:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-11 16:42:38.04631
• Title: Comparative Analysis of Inference-Time Defense Methods for Multimodal Large Language Models
• Title（参考訳）: マルチモーダル大言語モデルにおける推論時防御法の比較解析
• Abstract要約: MLLM(Multimodal large language model)は、安全上重要なアプリケーションに実装されている。 新しい脆弱性クラスごとにモデルをリトレーニングするのは、実用には高すぎる。 3時間防衛法とその組み合わせに関する比較実験的な評価を報告する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multimodal large language models (MLLMs) now appear in safety-critical applications, but the visual channel leaves them open to adversarial attacks that predominantly text-oriented safety alignment addresses only in part. Retraining a model for each new vulnerability class is usually too expensive to be practical. We report a comparative empirical evaluation of three inference-time defense methods and their combinations, run on eight models from the InternVL and Qwen-VL families across seven safety benchmarks that span four attack classes and total 9,000 evaluation samples. Every figure below comes from the same unified proxy classifier. Five findings emerge from the evaluation. First, within the evaluated models and benchmarks, no single defense dominates across all settings: what works depends on the model's baseline safety and on the attack type. Second, combining defenses directly drives benign-query over-refusal to 97-100% across all eight evaluated models, and SmoothVLM on its own reaches 99.2-100%. Third, a simple safety prompt keeps utility largely intact (0.0-18.2% over-refusal across all eight models, five of them below 7%, although two exceeded 15%) while still yielding moderate safety gains. Fourth, different attack classes expose different weaknesses across the evaluated setup, which is why multi-benchmark evaluation matters. Fifth, in a preliminary whitebox test on two models (n=20), text-level defenses suppressed a PGD visual attack that had succeeded without any defense: the defenses act at the output stage, where gradient optimization has limited direct leverage in the tested configuration. Read together, these results argue for adaptive defense selection rather than a single fixed defense configuration.
• Abstract（参考訳）: MLLM(Multimodal large language model)は現在、安全クリティカルなアプリケーションに現れているが、視覚チャネルは、主にテキスト指向の安全アライメントアドレスである敵攻撃に開放されている。 新しい脆弱性クラスごとにモデルをリトレーニングするのは、実用には高すぎる。 InternVLファミリーとQwen-VLファミリーから4つの攻撃クラスと9000の総合的な評価サンプルを対象とする7つの安全ベンチマークにおいて,3つの推論時防御手法とその組み合わせを比較検討した。 下記の図はすべて、同じ統一されたプロキシ分類器から得られます。 評価から5つの結果が得られた。 まず、評価されたモデルとベンチマーク内では、モデルの基本安全性と攻撃タイプによって、すべての設定で単一の防御が支配されることはない。 第2に、防御を組み合わすことで、8つの評価されたモデルすべてにおいて、ベニグナリーのオーバーリファインを97-100%まで直接駆動し、SmoothVLM自体が99.2-100%に達した。 第3に、単純な安全プロンプトは実用性を大きく維持する(全8機種で0.0-18.2%のオーバーリフレル、うち5台は7%以下、うち2台は15%以上)が、それでも適度な安全向上をもたらす。 第4に、異なる攻撃クラスは、評価されたセットアップ全体で異なる弱点を露呈する。 5番目は、2つのモデル(n=20)の予備的なホワイトボックステストにおいて、テキストレベルのディフェンスはPGD視覚攻撃を抑え、ディフェンスは出力段階で作用する。 これらの結果は、単一の固定された防御構成ではなく、適応的な防御選択を主張する。

関連論文リスト

• Evaluating Prompting-Based Defenses Against Domain-Camouflaged Injection Attacks [0.0]
  ドメイン・カモフラージュ・インジェクション(Domain-camouflaged Injection)攻撃(Domain-camouflaged Injection)は、検索されたコンテンツに、ドメインに適した語彙を使って悪意のある命令を埋め込む。 ドメイン・カモフラージ・インジェクションに対する5つのプロンプト・ベース・ディフェンスの評価を行った。 エージェント処理の前に検索したコンテンツをパラフレーズで表現することは、このベンチマークで最も一貫して効果的な防御である。
  論文  参考訳（メタデータ） (2026-06-16T22:51:02Z)
• Automated jailbreak attack targeting multiple defense strategies [11.710908982928594]
  大規模言語モデル(LLM)は、幅広いタスクにまたがる顕著な機能を示している。 しかし、敵の攻撃による攻撃を受けやすいため、その安全性は依然として重要な懸念事項である。 防衛指向の観点から設計した対戦型テストフレームワークUNIATTACKを提案する。
  論文  参考訳（メタデータ） (2026-06-15T14:09:37Z)
• Are Frontier LLMs Ready for Cybersecurity? Evidence for Vertical Foundation Models from Dual-Mode Vulnerability Benchmarks [0.3303672705634661]
  デュアルモードベンチマークにより,フロンティアLSMがサイバーセキュリティの準備ができているかを評価する。 我々は6つのフロンティアモデル(GPT-5.4、Codex5.3、Claude Opus4.6、Sonnet4.6、Gemini3.1Pro、Gemini3Flash)と4つのテストパラダイムにまたがる2つのドメイン特化モデルをテストする。
  論文  参考訳（メタデータ） (2026-05-22T05:24:43Z)
• Claw-Eval: Toward Trustworthy Evaluation of Autonomous Agents [66.97968363332465]
  エージェントベンチマークの3つのギャップに対処するエンドツーエンド評価スイートであるClaw-Evalを紹介した。 Claw-Evalは3つのグループにまたがる9つのカテゴリにまたがる300の人間検証タスクで構成されている。 すべてのエージェントアクションは、3つの独立したエビデンスチャネルを通じて記録される。
  論文  参考訳（メタデータ） (2026-04-07T17:43:18Z)
• Deliberative Alignment is Deep, but Uncertainty Remains: Inference time safety improvement in reasoning via attribution of unsafe behavior to base model [50.29667251847595]
  モデルサイズが大きく,安全性が向上しているにもかかわらず,教師と生徒の言語モデルの間にはアライメントギャップがあることが示される。 本稿では,不安全な動作を潜在空間のベースLLMに還元するBoNサンプリング手法を提案する。 特に7つの教師モデルと6つの生徒モデルが異なるクラスとサイズで、平均攻撃成功率(ASR)はDANで28.2%、WildJailbreakで31.3%、StrongREJECTベンチマークで35.4%低下した。
  論文  参考訳（メタデータ） (2026-04-01T02:42:41Z)
• Evaluating the Robustness of Large Language Model Safety Guardrails Against Adversarial Attacks [0.0]
  大言語モデル(LLM)の安全ガードレールモデルは有害なコンテンツ生成に対する主要な防御機構として出現している。 この調査は、21の攻撃カテゴリにわたる1,445のテストプロンプトで、Meta、Google、IBM、NVIDIA、Alibaba、Allen AIから利用可能な10のガードレールモデルを評価した。
  論文  参考訳（メタデータ） (2025-11-27T03:01:09Z)
• Safeguarding Efficacy in Large Language Models: Evaluating Resistance to Human-Written and Algorithmic Adversarial Prompts [0.0]
  本稿では,敵対的攻撃ベクトルに対する大規模言語モデル(LLM)の体系的セキュリティ評価について述べる。 我々はPhi-2, Llama-2-7B-Chat, GPT-3.5-Turbo, GPT-4の4つの異なる攻撃カテゴリ(人書きプロンプト, AutoDAN, Greedy Coordinate Gradient (GCG), Tree-of-Attacks-with-pruning (TAP))を評価した。
  論文  参考訳（メタデータ） (2025-10-12T21:48:34Z)
• Evaluating the Robustness of the "Ensemble Everything Everywhere" Defense [90.7494670101357]
  あらゆるものをアンサンブルすることは、敵の例に対する防御である。 この防御は敵の攻撃に対して堅牢ではないことを示す。 次に、標準的なアダプティブアタック技術を用いて、防御の堅牢な精度を低下させる。
  論文  参考訳（メタデータ） (2024-11-22T10:17:32Z)
• TAPT: Test-Time Adversarial Prompt Tuning for Robust Inference in Vision-Language Models [53.91006249339802]
  視覚的対人攻撃に対するCLIPの推論ロバスト性を高めるため, TAPT(Test-Time Adversarial Prompt Tuning)と呼ばれる新しい防御手法を提案する。 TAPTは、CLIPの推論プロセスを堅牢化するために、防御的バイモーダル(テキストと視覚)のプロンプトを学習するテストタイムディフェンス手法である。 我々は、ImageNetなど10のゼロショットデータセットを含む11のベンチマークデータセットに対するTAPTの有効性を評価する。
  論文  参考訳（メタデータ） (2024-11-20T08:58:59Z)
• MultiRobustBench: Benchmarking Robustness Against Multiple Attacks [86.70417016955459]
  機械学習(ML)モデルに対するマルチアタックを検討するための,最初の統一フレームワークを提案する。 我々のフレームワークは、テストタイムの敵について異なるレベルの学習者の知識をモデル化することができる。 9種類の攻撃に対して16種類の防御モデルの有効性を評価した。
  論文  参考訳（メタデータ） (2023-02-21T20:26:39Z)
• Reliable evaluation of adversarial robustness with an ensemble of diverse parameter-free attacks [65.20660287833537]
  本稿では,最適段差の大きさと目的関数の問題による障害を克服するPGD攻撃の2つの拡張を提案する。 そして、我々の新しい攻撃と2つの補完的な既存の攻撃を組み合わせることで、パラメータフリーで、計算に手頃な価格で、ユーザに依存しない攻撃のアンサンブルを形成し、敵の堅牢性をテストする。
  論文  参考訳（メタデータ） (2020-03-03T18:15:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。