論文の概要: Steering Away from Harm: An Adaptive Approach to Defending Vision Language Model Against Jailbreaks

• arxiv url: http://arxiv.org/abs/2411.16721v2
• Date: Fri, 29 Nov 2024 03:17:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-03 16:56:14.856678
• Title: Steering Away from Harm: An Adaptive Approach to Defending Vision Language Model Against Jailbreaks
• Title（参考訳）: Harmからのステアリング: 脱獄に対するビジョン言語モデルを守るための適応的アプローチ
• Authors: Han Wang, Gang Wang, Huan Zhang,
• Abstract要約: 視覚言語モデル(VLM)は、敵の攻撃にさらされると意図しない有害なコンテンツを生成できる。 既存の防御(例えば、入力前処理、敵の訓練、応答評価に基づく手法)は、実世界の展開には実用的ではないことが多い。 本稿では,VLM攻撃に対する対向的特徴方向からモデルを誘導し,効果的かつ効果的な防御法であるASTRAを提案する。
• 参考スコア（独自算出の注目度）: 16.508109544083496
• License:
• Abstract: Vision Language Models (VLMs) can produce unintended and harmful content when exposed to adversarial attacks, particularly because their vision capabilities create new vulnerabilities. Existing defenses, such as input preprocessing, adversarial training, and response evaluation-based methods, are often impractical for real-world deployment due to their high costs. To address this challenge, we propose ASTRA, an efficient and effective defense by adaptively steering models away from adversarial feature directions to resist VLM attacks. Our key procedures involve finding transferable steering vectors representing the direction of harmful response and applying adaptive activation steering to remove these directions at inference time. To create effective steering vectors, we randomly ablate the visual tokens from the adversarial images and identify those most strongly associated with jailbreaks. These tokens are then used to construct steering vectors. During inference, we perform the adaptive steering method that involves the projection between the steering vectors and calibrated activation, resulting in little performance drops on benign inputs while strongly avoiding harmful outputs under adversarial inputs. Extensive experiments across multiple models and baselines demonstrate our state-of-the-art performance and high efficiency in mitigating jailbreak risks. Additionally, ASTRA exhibits good transferability, defending against both unseen attacks at design time (i.e., structured-based attacks) and adversarial images from diverse distributions.
• Abstract（参考訳）: 視覚言語モデル(VLM)は、特に視覚能力が新たな脆弱性を生み出すため、敵の攻撃に晒されたときに意図しない有害なコンテンツを生成できる。 既存の防衛(例えば、入力前処理、敵の訓練、応答評価に基づく手法)は、高コストのため現実の配備には実用的ではないことが多い。 この課題に対処するため,本研究では,VLM攻撃に対する対向的特徴方向からモデルを誘導し,効率よく効果的に防御できるASTRAを提案する。 我々の重要な手順は、有害応答の方向を表す移動可能なステアリングベクトルの発見と、これらの方向を推論時に除去するために適応的なアクティベーションステアリングを適用することである。 効果的なステアリングベクターを作成するために、敵画像から視覚トークンをランダムにアブレーションし、ジェイルブレイクに最も強く関連するものを識別する。 これらのトークンは、ステアリングベクトルを構築するために使用される。 推定中は, ステアリングベクトルとキャリブレーションされたアクティベーションの間を投影するアダプティブ・ステアリング法により, ベニグインプットの性能低下が少なく, 逆入力下での有害な出力を強く回避する。 複数のモデルとベースラインにわたる大規模な実験は、ジェイルブレイクのリスクを軽減する上で、最先端のパフォーマンスと高い効率を示す。 さらに、ASTRAは、設計時に見えない攻撃(すなわち、構造化された攻撃)と多様な分布からの敵画像の両方に対して、優れた転送性を示す。

関連論文リスト

• Improving Alignment and Robustness with Circuit Breakers [40.4558948850276]
  本稿では,「サーキットブレーカー」による有害な出力に応答するモデルを中断する手法を提案する。 トレーニングの拒絶と敵のトレーニングの代替として、サーキットブレーキングは有害なアウトプットの原因となる表現を直接制御する。 我々は、我々のアプローチをAIエージェントに拡張し、攻撃されているときの有害な行動の率を大幅に低下させることを実証する。
  論文  参考訳（メタデータ） (2024-06-06T17:57:04Z)
• Towards Transferable Attacks Against Vision-LLMs in Autonomous Driving with Typography [21.632703081999036]
  Vision-Large-Language-Models (Vision-LLMs)は、自律走行(AD)システムに統合されつつある。 我々は,ビジョンLLMの意思決定能力に頼って,ADシステムに対するタイポグラフィー攻撃を活用することを提案する。
  論文  参考訳（メタデータ） (2024-05-23T04:52:02Z)
• VL-Trojan: Multimodal Instruction Backdoor Attacks against Autoregressive Visual Language Models [65.23688155159398]
  VLM(Autoregressive Visual Language Models)は、マルチモーダルなコンテキストにおいて、驚くべき数ショットの学習機能を示す。 近年,マルチモーダル・インストラクション・チューニングが提案されている。 敵は、指示や画像に埋め込まれたトリガーで有毒なサンプルを注入することで、バックドアを埋め込むことができる。 本稿では,マルチモーダルなバックドア攻撃,すなわちVL-Trojanを提案する。
  論文  参考訳（メタデータ） (2024-02-21T14:54:30Z)
• InferAligner: Inference-Time Alignment for Harmlessness through Cross-Model Guidance [56.184255657175335]
  我々は,無害アライメントのためのクロスモデルガイダンスを利用する新しい推論時間アライメント手法であるtextbfInferAligner を開発した。 実験結果から,本手法はファイナンス,医学,数学の分野特化モデルに極めて効果的に適用可能であることが示された。 これは有害な命令とジェイルブレイク攻撃の両方のアタック成功率(ASR)を著しく低下させ、下流タスクではほとんど変化のないパフォーマンスを維持している。
  論文  参考訳（メタデータ） (2024-01-20T10:41:03Z)
• Pre-trained Trojan Attacks for Visual Recognition [106.13792185398863]
  PVM(Pre-trained Vision Model)は、下流タスクを微調整する際、例外的なパフォーマンスのため、主要なコンポーネントとなっている。 本稿では,PVMにバックドアを埋め込んだトロイの木馬攻撃を提案する。 バックドア攻撃の成功において、クロスタスクアクティベーションとショートカット接続がもたらす課題を強調します。
  論文  参考訳（メタデータ） (2023-12-23T05:51:40Z)
• SA-Attack: Improving Adversarial Transferability of Vision-Language Pre-training Models via Self-Augmentation [56.622250514119294]
  ホワイトボックスの敵攻撃とは対照的に、転送攻撃は現実世界のシナリオをより反映している。 本稿では,SA-Attackと呼ばれる自己拡張型転送攻撃手法を提案する。
  論文  参考訳（メタデータ） (2023-12-08T09:08:50Z)
• BadCLIP: Dual-Embedding Guided Backdoor Attack on Multimodal Contrastive Learning [85.2564206440109]
  本報告では,防衛後においてもバックドア攻撃が有効であり続けるという現実的なシナリオにおける脅威を明らかにする。 バックドア検出や細調整防御のモデル化に抵抗性のあるemphtoolnsアタックを導入する。
  論文  参考訳（メタデータ） (2023-11-20T02:21:49Z)
• Trojan Activation Attack: Red-Teaming Large Language Models using Activation Steering for Safety-Alignment [31.24530091590395]
  本研究では,大規模言語モデルの活性化層にトロイの木馬ステアリングベクトルを注入する,Trojan Activation Attack (TA2) と呼ばれる攻撃シナリオについて検討する。 実験の結果,TA2は高効率であり,攻撃効率のオーバーヘッドがほとんどあるいは全くないことがわかった。
  論文  参考訳（メタデータ） (2023-11-15T23:07:40Z)
• Exploring Adversarial Robustness of Multi-Sensor Perception Systems in Self Driving [87.3492357041748]
  本稿では,敵物体をホスト車両の上に配置することで,マルチセンサ検出の実用的感受性を示す。 実験の結果, 攻撃が成功した原因は主に画像の特徴が損なわれやすいことが判明した。 よりロバストなマルチモーダル知覚システムに向けて,特徴分断を伴う敵対的訓練が,このような攻撃に対するロバスト性を大幅に高めることを示す。
  論文  参考訳（メタデータ） (2021-01-17T21:15:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。