論文の概要: How Robust is Google's Bard to Adversarial Image Attacks?
- arxiv url: http://arxiv.org/abs/2309.11751v2
- Date: Sat, 14 Oct 2023 12:56:13 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-17 22:58:19.225907
- Title: How Robust is Google's Bard to Adversarial Image Attacks?
- Title(参考訳): グーグルの「画像攻撃」はどんなものか?
- Authors: Yinpeng Dong, Huanran Chen, Jiawei Chen, Zhengwei Fang, Xiao Yang,
Yichi Zhang, Yu Tian, Hang Su, Jun Zhu
- Abstract要約: テキストや他のモダリティ(特に視覚)を統合するマルチモーダル大規模言語モデル(MLLM)は、様々なマルチモーダルタスクにおいて前例のない性能を達成している。
しかし、ビジョンモデルの非解決対向ロバスト性問題により、MLLMはより厳しい安全性とセキュリティリスクを負う可能性がある。
商用MLLMの脆弱性をよりよく理解するために,GoogleのBardの対角的堅牢性について検討する。
- 参考スコア(独自算出の注目度): 45.92999116520135
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Multimodal Large Language Models (MLLMs) that integrate text and other
modalities (especially vision) have achieved unprecedented performance in
various multimodal tasks. However, due to the unsolved adversarial robustness
problem of vision models, MLLMs can have more severe safety and security risks
by introducing the vision inputs. In this work, we study the adversarial
robustness of Google's Bard, a competitive chatbot to ChatGPT that released its
multimodal capability recently, to better understand the vulnerabilities of
commercial MLLMs. By attacking white-box surrogate vision encoders or MLLMs,
the generated adversarial examples can mislead Bard to output wrong image
descriptions with a 22% success rate based solely on the transferability. We
show that the adversarial examples can also attack other MLLMs, e.g., a 26%
attack success rate against Bing Chat and a 86% attack success rate against
ERNIE bot. Moreover, we identify two defense mechanisms of Bard, including face
detection and toxicity detection of images. We design corresponding attacks to
evade these defenses, demonstrating that the current defenses of Bard are also
vulnerable. We hope this work can deepen our understanding on the robustness of
MLLMs and facilitate future research on defenses. Our code is available at
https://github.com/thu-ml/Attack-Bard.
Update: GPT-4V is available at October 2023. We further evaluate its
robustness under the same set of adversarial examples, achieving a 45% attack
success rate.
- Abstract(参考訳): テキストや他のモダリティ(特に視覚)を統合するマルチモーダル大規模言語モデル(MLLM)は、様々なマルチモーダルタスクにおいて前例のない性能を達成している。
しかし、視覚モデルの非解決対向ロバスト性問題により、MLLMは視覚入力を導入することにより、より厳しい安全性とセキュリティリスクを持つことができる。
本研究では,ChatGPTの競合チャットボットであるGoogleのBardの対角的堅牢性について検討し,そのマルチモーダル機能を最近リリースし,商用MLLMの脆弱性の理解を深めた。
ホワイトボックス・サロゲート・ビジョンエンコーダ(MLLM)を攻撃することにより、生成した敵の例は、トランスファービリティのみに基づいて、間違った画像記述を22%の成功率で出力することを誤解させる可能性がある。
例えば、Bing Chatに対する攻撃成功率26%、ERNIEボットに対する攻撃成功率86%などである。
さらに,画像の顔検出と毒性検出を含むBardの2つの防御機構を同定した。
我々は、これらの防御を回避するために対応する攻撃をデザインし、bardの現在の防御も脆弱であることを実証する。
本研究がMLLMの堅牢性に対する理解を深め、今後の防衛研究を促進することを願っている。
私たちのコードはhttps://github.com/thu-ml/Attack-Bard.comで利用可能です。
アップデート: GPT-4Vは2023年10月発売。
また,攻撃成功率の45%を達成し,敵の同一事例群でその頑健さを更に評価した。
関連論文リスト
- AdaShield: Safeguarding Multimodal Large Language Models from Structure-based Attack via Adaptive Shield Prompting [54.931241667414184]
textbfAdaptive textbfShield Promptingを提案する。これは、MLLMを構造ベースのジェイルブレイク攻撃から守るための防御プロンプトで入力をプリペイドする。
我々の手法は、構造に基づくジェイルブレイク攻撃に対するMLLMの堅牢性を一貫して改善することができる。
論文 参考訳(メタデータ) (2024-03-14T15:57:13Z) - ImgTrojan: Jailbreaking Vision-Language Models with ONE Image [40.55590043993117]
視覚言語モデル(VLM)に対する新しいジェイルブレイク攻撃を提案する。
トレーニングデータに有毒な(画像、テキスト)データペアを含めるシナリオが想定されます。
原文のキャプションを悪意のあるジェイルブレイクプロンプトに置き換えることにより、この手法は毒画像を用いてジェイルブレイク攻撃を行うことができる。
論文 参考訳(メタデータ) (2024-03-05T12:21:57Z) - BadCLIP: Dual-Embedding Guided Backdoor Attack on Multimodal Contrastive
Learning [85.2564206440109]
本報告では,防衛後においてもバックドア攻撃が有効であり続けるという現実的なシナリオにおける脅威を明らかにする。
バックドア検出や細調整防御のモデル化に抵抗性のあるemphtoolnsアタックを導入する。
論文 参考訳(メタデータ) (2023-11-20T02:21:49Z) - SmoothLLM: Defending Large Language Models Against Jailbreaking Attacks [99.23352758320945]
SmoothLLMは,大規模言語モデル(LLM)に対するジェイルブレーキング攻撃を軽減するために設計された,最初のアルゴリズムである。
敵が生成したプロンプトが文字レベルの変化に対して脆弱であることから、我々の防衛はまず、与えられた入力プロンプトの複数のコピーをランダムに摂動し、対応する予測を集約し、敵の入力を検出する。
論文 参考訳(メタデータ) (2023-10-05T17:01:53Z) - Jailbreaker in Jail: Moving Target Defense for Large Language Models [4.426665953648274]
大規模言語モデル(LLM)は敵攻撃に対して脆弱である。
LLMは非倫理的な答えを提示することで「無害」に失敗するか、意味のある答えを拒むことで「有害」に失敗する。
有効性と無害性を両立させるため,移動目標防御(MTD)強化LLMシステムを設計した。
論文 参考訳(メタデータ) (2023-10-03T20:32:04Z) - Baseline Defenses for Adversarial Attacks Against Aligned Language
Models [109.75753454188705]
最近の研究は、テキストのモデレーションが防御をバイパスするジェイルブレイクのプロンプトを生み出すことを示している。
検出(複雑度に基づく)、入力前処理(言い換えと再帰化)、対人訓練の3種類の防衛について検討する。
テキストに対する既存の離散化の弱点と比較的高いコストの最適化が組み合わさって、標準適応攻撃をより困難にしていることがわかった。
論文 参考訳(メタデータ) (2023-09-01T17:59:44Z) - Universal and Transferable Adversarial Attacks on Aligned Language
Models [118.41733208825278]
本稿では,アライメント言語モデルに反抗的な振る舞いを生じさせる,シンプルで効果的な攻撃手法を提案する。
驚いたことに、我々のアプローチによって生じる敵のプロンプトは、かなり伝達可能である。
論文 参考訳(メタデータ) (2023-07-27T17:49:12Z) - Arms Race in Adversarial Malware Detection: A Survey [33.8941961394801]
悪意あるソフトウェア(マルウェア)は、機械学習(ML)技術に対処しなければならない主要なサイバー脅威である。
MLは敵例として知られる攻撃に対して脆弱である。
ディフェンダーの機能セットを知ることは、転送攻撃の成功に不可欠である。
敵の訓練の有効性は、最も強力な攻撃を識別するディフェンダーの能力に依存する。
論文 参考訳(メタデータ) (2020-05-24T07:20:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。