論文の概要: Unfair Alignment: Examining Safety Alignment Across Vision Encoder Layers in Vision-Language Models

• arxiv url: http://arxiv.org/abs/2411.04291v1
• Date: Wed, 06 Nov 2024 22:19:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-08 19:40:10.103397
• Title: Unfair Alignment: Examining Safety Alignment Across Vision Encoder Layers in Vision-Language Models
• Title（参考訳）: アンフェアアライメント:視覚言語モデルにおける視覚エンコーダ層間の安全アライメントの検討
• Authors: Saketh Bachu, Erfan Shayegani, Trishna Chakraborty, Rohit Lal, Arindam Dutta, Chengyu Song, Yue Dong, Nael Abu-Ghazaleh, Amit K. Roy-Chowdhury,
• Abstract要約: VLMの視覚エンコーダの層間における安全性の不公平な分布を明らかにする。 この脆弱性は、モデルが安全性トレーニングを一般化できないことに起因する。 LLaVA-1.5とLlama 3.2の実験では、攻撃の成功率と層間の毒性スコアに違いが見られる。
• 参考スコア（独自算出の注目度）: 24.669936197548427
• License:
• Abstract: Vision-language models (VLMs) have improved significantly in multi-modal tasks, but their more complex architecture makes their safety alignment more challenging than the alignment of large language models (LLMs). In this paper, we reveal an unfair distribution of safety across the layers of VLM's vision encoder, with earlier and middle layers being disproportionately vulnerable to malicious inputs compared to the more robust final layers. This 'cross-layer' vulnerability stems from the model's inability to generalize its safety training from the default architectural settings used during training to unseen or out-of-distribution scenarios, leaving certain layers exposed. We conduct a comprehensive analysis by projecting activations from various intermediate layers and demonstrate that these layers are more likely to generate harmful outputs when exposed to malicious inputs. Our experiments with LLaVA-1.5 and Llama 3.2 show discrepancies in attack success rates and toxicity scores across layers, indicating that current safety alignment strategies focused on a single default layer are insufficient.
• Abstract（参考訳）: 視覚言語モデル(VLM)は、マルチモーダルタスクにおいて大幅に改善されているが、そのより複雑なアーキテクチャにより、大きな言語モデル(LLM)のアライメントよりも安全性のアライメントが困難になっている。 本稿では,VLMの視覚エンコーダの層間における安全性の不正な分布を明らかにする。 この"クロスレイヤ"脆弱性は、トレーニング中に使用されるデフォルトのアーキテクチャ設定から、特定のレイヤが露出したまま、見つからない、あるいは配布外のシナリオまで、モデルが安全トレーニングを一般化できないことに起因する。 様々な中間層から活性化を投影することで包括的解析を行い、悪意のある入力に曝されると有害な出力が発生する可能性がより高いことを示す。 LLaVA-1.5 と Llama 3.2 を用いて行った実験では,攻撃成功率と層間毒性スコアの相違が示され,単一のデフォルト層に焦点を絞った現在の安全アライメント戦略が不十分であることが示唆された。

関連論文リスト

• Understanding and Rectifying Safety Perception Distortion in VLMs [19.239094089025095]
  視覚言語モデル(VLM)は、視覚モダリティを統合した後、有害な要求やジェイルブレイク攻撃の影響を受けやすいものとなる。 マルチモーダル入力は、テキストのみの入力に比べて、モダリティによって誘導されるアクティベーションシフトを"サファー"方向に導入する。 本研究では、モダリティによるアクティベーションシフトを分解・校正し、モダリティの安全性への影響を低減させる訓練自由な手法であるShiftDCを提案する。
  論文  参考訳（メタデータ） (2025-02-18T18:06:48Z)
• Robust-LLaVA: On the Effectiveness of Large-Scale Robust Image Encoders for Multi-modal Large Language Models [26.656858396343726]
  MLLM(Multi-modal Large Language Models)は、視覚言語タスクにおいて優れているが、視覚的逆境の摂動に弱いままである。 既存の手法では、ImageNet-scaleデータ上でCLIPビジョンエンコーダに制約付き逆調整を適用することにより、これらのリスクを軽減する方法が提案されている。 本稿では,大規模データに対して逆向きに事前学習された既存の視覚分類モデルを活用する方法を提案する。
  論文  参考訳（メタデータ） (2025-02-03T17:59:45Z)
• Internal Activation Revision: Safeguarding Vision Language Models Without Parameter Update [8.739132798784777]
  視覚言語モデル(VLM)は、強いマルチモーダル能力を示すが、有害なコンテンツを生成する可能性が高い。 本稿では,世代ごとのアクティベーションを効率的に修正するテクスブファイナル・アクティベーション・リビジョン・アプローチを提案する。 我々のフレームワークはレイヤーレベルとヘッドレベルの両方のリビジョンを組み込んでおり、モデルの生成を様々なレベルの粒度で制御する。
  論文  参考訳（メタデータ） (2025-01-24T06:17:22Z)
• Exploring Visual Vulnerabilities via Multi-Loss Adversarial Search for Jailbreaking Vision-Language Models [92.79804303337522]
  VLM(Vision-Language Models)は、安全アライメントの問題に対して脆弱である。 本稿では、シナリオ認識画像生成を利用したセマンティックアライメントのための新しいジェイルブレイクフレームワークであるMLAIを紹介する。 大規模な実験はMLAIの重大な影響を示し、MiniGPT-4で77.75%、LLaVA-2で82.80%の攻撃成功率を達成した。
  論文  参考訳（メタデータ） (2024-11-27T02:40:29Z)
• Safety Layers in Aligned Large Language Models: The Key to LLM Security [43.805905164456846]
  整列 LLM の内部パラメータは、微調整攻撃を受けた場合のセキュリティ劣化に対して脆弱である。 我々の研究は、パラメータレベルでのLLMの整列化におけるセキュリティのメカニズムを明らかにし、モデルの中央に小さな連続した層を識別する。 そこで本稿では, 安全部分調整(SPPFT)方式を提案する。
  論文  参考訳（メタデータ） (2024-08-30T04:35:59Z)
• How Many Unicorns Are in This Image? A Safety Evaluation Benchmark for Vision LLMs [55.91371032213854]
  本研究は視覚的推論におけるビジョンLLM(VLLM)の可能性に焦点を当てる。 本稿では、アウト・オブ・ディストリビューション(OOD)の一般化と敵の堅牢性の両方をカバーする包括的安全性評価スイートを紹介する。
  論文  参考訳（メタデータ） (2023-11-27T18:59:42Z)
• Visual Adversarial Examples Jailbreak Aligned Large Language Models [66.53468356460365]
  視覚入力の連続的かつ高次元的な性質は、敵対的攻撃に対する弱いリンクであることを示す。 我々は、視力統合されたLLMの安全ガードレールを回避するために、視覚的敵の例を利用する。 本研究は,マルチモダリティの追求に伴う敵のエスカレーションリスクを浮き彫りにする。
  論文  参考訳（メタデータ） (2023-06-22T22:13:03Z)
• On Evaluating Adversarial Robustness of Large Vision-Language Models [64.66104342002882]
  大規模視覚言語モデル(VLM)のロバスト性を,最も現実的で高リスクな環境で評価する。 特に,CLIP や BLIP などの事前学習モデルに対して,まず攻撃対象のサンプルを作成する。 これらのVLM上のブラックボックスクエリは、ターゲットの回避の効果をさらに向上させることができる。
  論文  参考訳（メタデータ） (2023-05-26T13:49:44Z)
• Exploring Robustness of Unsupervised Domain Adaptation in Semantic Segmentation [74.05906222376608]
  クリーンな画像とそれらの逆の例との一致を、出力空間における対照的な損失によって最大化する、逆向きの自己スーパービジョンUDA(ASSUDA)を提案する。 i) セマンティックセグメンテーションにおけるUDA手法のロバスト性は未解明のままであり, (ii) 一般的に自己スーパービジョン(回転やジグソーなど) は分類や認識などのイメージタスクに有効であるが, セグメンテーションタスクの識別的表現を学習する重要な監視信号の提供には失敗している。
  論文  参考訳（メタデータ） (2021-05-23T01:50:44Z)
• Understanding and Diagnosing Vulnerability under Adversarial Attacks [62.661498155101654]
  ディープニューラルネットワーク(DNN)は敵の攻撃に弱いことが知られている。 本稿では,潜在変数の分類に使用される特徴を説明するために,新しい解釈可能性手法であるInterpretGANを提案する。 また、各層がもたらす脆弱性を定量化する最初の診断方法も設計する。
  論文  参考訳（メタデータ） (2020-07-17T01:56:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。