論文の概要: HiddenDetect: Detecting Jailbreak Attacks against Large Vision-Language Models via Monitoring Hidden States

• arxiv url: http://arxiv.org/abs/2502.14744v1
• Date: Thu, 20 Feb 2025 17:14:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-21 14:27:50.604687
• Title: HiddenDetect: Detecting Jailbreak Attacks against Large Vision-Language Models via Monitoring Hidden States
• Title（参考訳）: HiddenDetect:隠れ状態のモニタリングによる大規模視覚言語モデルに対する脱獄攻撃の検出
• Authors: Yilei Jiang, Xinyan Gao, Tianshuo Peng, Yingshui Tan, Xiaoyong Zhu, Bo Zheng, Xiangyu Yue,
• Abstract要約: 本研究は,LVLMが内的アクティベーションにおける安全性関連信号を本質的にエンコードしているかどうかを考察する。 その結果,LVLMは安全でないプロンプトを処理する際に,異なる活性化パターンを示すことが明らかとなった。 HiddenDetectは、内部モデルのアクティベーションを活用して安全性を高める、新しいチューニング不要のフレームワークである。
• 参考スコア（独自算出の注目度）: 17.601328965546617
• License:
• Abstract: The integration of additional modalities increases the susceptibility of large vision-language models (LVLMs) to safety risks, such as jailbreak attacks, compared to their language-only counterparts. While existing research primarily focuses on post-hoc alignment techniques, the underlying safety mechanisms within LVLMs remain largely unexplored. In this work , we investigate whether LVLMs inherently encode safety-relevant signals within their internal activations during inference. Our findings reveal that LVLMs exhibit distinct activation patterns when processing unsafe prompts, which can be leveraged to detect and mitigate adversarial inputs without requiring extensive fine-tuning. Building on this insight, we introduce HiddenDetect, a novel tuning-free framework that harnesses internal model activations to enhance safety. Experimental results show that {HiddenDetect} surpasses state-of-the-art methods in detecting jailbreak attacks against LVLMs. By utilizing intrinsic safety-aware patterns, our method provides an efficient and scalable solution for strengthening LVLM robustness against multimodal threats. Our code will be released publicly at https://github.com/leigest519/HiddenDetect.
• Abstract（参考訳）: 追加のモダリティの統合は、大きな視覚言語モデル(LVLM)の、ジェイルブレイク攻撃のような安全リスクへの感受性を、言語のみのモデルと比べて高める。 既存の研究は主にポストホックアライメント技術に焦点が当てられているが、LVLMの基本的な安全性メカニズムはほとんど解明されていない。 本研究は,LVLMが内的アクティベーションにおける安全性関連信号を本質的にエンコードしているかどうかを考察する。 以上の結果から,LVLMは安全でないプロンプトの処理において,広範囲な微調整を必要とせず,対向入力の検出・緩和に活用できることが判明した。 この知見に基づいてHiddenDetectを紹介します。HiddenDetectは、内部モデルのアクティベーションを活用して安全性を高める、新しいチューニング不要のフレームワークです。 実験の結果,HiddenDetect は LVLM に対するjailbreak 攻撃の検出において最先端の手法を超越していることがわかった。 本手法は, 本手法により, マルチモーダル脅威に対するLVLMロバスト性を強化するための, 効率的かつスケーラブルなソリューションを提供する。 私たちのコードはhttps://github.com/leigest519/HiddenDetect.comで公開されます。

関連論文リスト

• Attention Tracker: Detecting Prompt Injection Attacks in LLMs [62.247841717696765]
  大型言語モデル (LLM) は様々なドメインに革命をもたらしたが、インジェクション攻撃に弱いままである。 そこで本研究では,特定の注意点が本来の指示から注入指示へと焦点を移す,注意散逸効果の概念を紹介した。 本研究では,アテンション・トラッカーを提案する。アテンション・トラッカーは,インジェクション・アタックを検出するために,インストラクション上の注意パターンを追跡する訓練不要な検出手法である。
  論文  参考訳（メタデータ） (2024-11-01T04:05:59Z)
• Harnessing Task Overload for Scalable Jailbreak Attacks on Large Language Models [8.024771725860127]
  大きな言語モデル(LLM)は、安全メカニズムをバイパスするジェイルブレイク攻撃に対して脆弱なままである。 我々は, LLMの安全性ポリシーの活性化を前提として, 計算資源を占有する新しい拡張性のあるジェイルブレイク攻撃を導入する。
  論文  参考訳（メタデータ） (2024-10-05T15:10:01Z)
• Jailbreak Antidote: Runtime Safety-Utility Balance via Sparse Representation Adjustment in Large Language Models [8.024771725860127]
  ジェイルブレイク攻撃は、大きな言語モデルを操作して有害なコンテンツを生成する。 Jailbreak Antidoteは、モデルの内部状態のスパースサブセットを操作することで、安全優先のリアルタイム調整を可能にする。 解析の結果,LLMの安全性関連情報はわずかに分散していることがわかった。
  論文  参考訳（メタデータ） (2024-10-03T08:34:17Z)
• CoCA: Regaining Safety-awareness of Multimodal Large Language Models with Constitutional Calibration [90.36429361299807]
  マルチモーダルな大言語モデル (MLLM) は、視覚的な入力を含む会話への関与において顕著な成功を収めている。 視覚的モダリティの統合は、MLLMが悪意のある視覚的入力に影響を受けやすいという、ユニークな脆弱性を導入している。 本稿では,出力分布を校正することでMLLMの安全性を向上するCoCA技術を紹介する。
  論文  参考訳（メタデータ） (2024-09-17T17:14:41Z)
• SCANS: Mitigating the Exaggerated Safety for LLMs via Safety-Conscious Activation Steering [56.92068213969036]
  悪意のある命令から脅威を守るために、LLM(Large Language Models)には安全アライメントが不可欠である。 近年の研究では、過大な安全性の問題により、安全性に配慮したLCMは、良質な問い合わせを拒否する傾向にあることが明らかになっている。 過大な安全性の懸念を和らげるために,SCANS法を提案する。
  論文  参考訳（メタデータ） (2024-08-21T10:01:34Z)
• A Survey of Attacks on Large Vision-Language Models: Resources, Advances, and Future Trends [78.3201480023907]
  LVLM(Large Vision-Language Models)は、多モーダルな理解と推論タスクにまたがる顕著な能力を示す。 LVLMの脆弱性は比較的過小評価されており、日々の使用において潜在的なセキュリティリスクを生じさせる。 本稿では,既存のLVLM攻撃の様々な形態について概説する。
  論文  参考訳（メタデータ） (2024-07-10T06:57:58Z)
• BEEAR: Embedding-based Adversarial Removal of Safety Backdoors in Instruction-tuned Language Models [57.5404308854535]
  大型言語モデル(LLM)における安全バックドア攻撃は、正常な相互作用中の検出を回避しながら、安全でない振る舞いをステルス的に引き起こすことができる。 モデル埋め込み空間において,バックドアトリガーが比較的均一なドリフトを引き起こすという知見を活かした緩和手法であるBEEARを提案する。 両レベル最適化手法は、不要な振る舞いを誘発する普遍的な埋め込み摂動を特定し、モデルパラメータを調整し、これらの摂動に対する安全な振舞いを強化する。
  論文  参考訳（メタデータ） (2024-06-24T19:29:47Z)
• Defending Large Language Models Against Attacks With Residual Stream Activation Analysis [0.0]
  大規模言語モデル(LLM)は敵の脅威に対して脆弱である。 本稿では, LLM へのホワイトボックスアクセスを前提とした, 革新的な防御戦略を提案する。 そこで本研究では,アタックプロンプト分類のための残差ストリームの固有なアクティベーションパターンを解析するための新しい手法を適用した。
  論文  参考訳（メタデータ） (2024-06-05T13:06:33Z)
• Fine-Tuning, Quantization, and LLMs: Navigating Unintended Outcomes [0.0]
  大規模言語モデル(LLM)は、チャットボットやオートタスク補完エージェントなど、さまざまな領域で広く採用されている。 これらのモデルは、ジェイルブレイク、プロンプトインジェクション、プライバシリーク攻撃などの安全性上の脆弱性の影響を受けやすい。 本研究では,これらの変更がLLMの安全性に与える影響について検討する。
  論文  参考訳（メタデータ） (2024-04-05T20:31:45Z)
• Learning to Poison Large Language Models During Instruction Tuning [12.521338629194503]
  この研究は、命令チューニングプロセスを利用するのに適した新しいデータ中毒攻撃を設計することで、LLM(Large Language Models)のさらなるセキュリティリスクを特定する。 本稿では,逆方向誘導学習(GBTL)アルゴリズムを提案する。 In-context Learning(ICL)とContinuous Learning(CL)の2つの防衛戦略を提案する。
  論文  参考訳（メタデータ） (2024-02-21T01:30:03Z)
• Visual Adversarial Examples Jailbreak Aligned Large Language Models [66.53468356460365]
  視覚入力の連続的かつ高次元的な性質は、敵対的攻撃に対する弱いリンクであることを示す。 我々は、視力統合されたLLMの安全ガードレールを回避するために、視覚的敵の例を利用する。 本研究は,マルチモダリティの追求に伴う敵のエスカレーションリスクを浮き彫りにする。
  論文  参考訳（メタデータ） (2023-06-22T22:13:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。