論文の概要: Unveiling the Safety of GPT-4o: An Empirical Study using Jailbreak Attacks

• arxiv url: http://arxiv.org/abs/2406.06302v2
• Date: Wed, 3 Jul 2024 00:51:21 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-04 19:24:59.173449
• Title: Unveiling the Safety of GPT-4o: An Empirical Study using Jailbreak Attacks
• Title（参考訳）: GPT-4oの安全性の確保--ジェイルブレイク攻撃を用いた実証的研究
• Authors: Zonghao Ying, Aishan Liu, Xianglong Liu, Dacheng Tao,
• Abstract要約: 本稿では,GPT-4oのジェイルブレイク攻撃に対する厳密な評価を行う。 新たに導入されたオーディオモダリティは、GPT-4oに対するジェイルブレイク攻撃のための新しい攻撃ベクトルを開く。 既存のブラックボックスマルチモーダル・ジェイルブレイク攻撃は、GPT-4oとGPT-4Vに対してほとんど効果がない。
• 参考スコア（独自算出の注目度）: 65.84623493488633
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The recent release of GPT-4o has garnered widespread attention due to its powerful general capabilities. While its impressive performance is widely acknowledged, its safety aspects have not been sufficiently explored. Given the potential societal impact of risky content generated by advanced generative AI such as GPT-4o, it is crucial to rigorously evaluate its safety. In response to this question, this paper for the first time conducts a rigorous evaluation of GPT-4o against jailbreak attacks. Specifically, this paper adopts a series of multi-modal and uni-modal jailbreak attacks on 4 commonly used benchmarks encompassing three modalities (ie, text, speech, and image), which involves the optimization of over 4,000 initial text queries and the analysis and statistical evaluation of nearly 8,000+ response on GPT-4o. Our extensive experiments reveal several novel observations: (1) In contrast to the previous version (such as GPT-4V), GPT-4o has enhanced safety in the context of text modality jailbreak; (2) The newly introduced audio modality opens up new attack vectors for jailbreak attacks on GPT-4o; (3) Existing black-box multimodal jailbreak attack methods are largely ineffective against GPT-4o and GPT-4V. These findings provide critical insights into the safety implications of GPT-4o and underscore the need for robust alignment guardrails in large models. Our code is available at \url{https://github.com/NY1024/Jailbreak_GPT4o}.
• Abstract（参考訳）: GPT-4oの最近のリリースは、その強力な汎用能力のために広く注目を集めている。 その印象的な性能は広く認められているが、その安全性の側面は十分に調査されていない。 GPT-4oのような高度な生成AIが生み出すリスクのあるコンテンツの潜在的社会的影響を考えると、その安全性を厳格に評価することが重要である。 そこで本研究では,初めてGPT-4oのジェイルブレイク攻撃に対する厳密な評価を行った。 具体的には、4000以上の初期テキストクエリの最適化とGPT-4oにおける8,000以上の応答の解析と統計的評価を含む3つのモダリティ(ie, text, speech, image)を含む4つの一般的なベンチマークに対して、一連のマルチモーダルおよびユニモーダル・ジェイルブレイク攻撃を採用する。 1) GPT-4oはテキスト・モダリティ・ジェイルブレイクの文脈で安全性を高め、(2) GPT-4oに対するジェイルブレイク攻撃の新たな攻撃ベクトルを開放し、(3) 既存のブラックボックス・マルチモーダル・ジェイルブレイク攻撃法はGPT-4oやGPT-4Vに対してほとんど効果がない。 これらの知見は, GPT-4oの安全性に関する重要な知見を与え, 大型モデルにおけるロバストアライメントガードレールの必要性を浮き彫りにした。 我々のコードは \url{https://github.com/NY1024/Jailbreak_GPT4o} で利用可能です。

関連論文リスト

• GPT-4o System Card [211.87336862081963]
  GPT-4oは自動回帰オムニモデルであり、テキスト、オーディオ、画像、ビデオの組み合わせを入力として受け入れる。 テキスト、ビジョン、オーディオでエンドツーエンドにトレーニングされており、すべての入力と出力は同じニューラルネットワークで処理される。 GPT-4は、英語とコードのテキスト上でのTurboのパフォーマンスと一致し、非英語のテキストでは大幅に改善された。
  論文  参考訳（メタデータ） (2024-10-25T17:43:01Z)
• Can Large Language Models Automatically Jailbreak GPT-4V? [64.04997365446468]
  本稿では,迅速な最適化にインスパイアされた革新的な自動ジェイルブレイク技術であるAutoJailbreakを紹介する。 実験の結果,AutoJailbreakは従来の手法をはるかに上回り,95.3%を超えるアタック成功率(ASR)を達成した。 この研究は、GPT-4Vのセキュリティ強化に光を当て、LCMがGPT-4Vの完全性向上に活用される可能性を強調している。
  論文  参考訳（メタデータ） (2024-07-23T17:50:45Z)
• Voice Jailbreak Attacks Against GPT-4o [27.505874745648498]
  GPT-4oの音声モードに対するジェイルブレイク攻撃を初めて系統的に測定した。 本稿では,GPT-4oを人間化した新しいボイスジェイルブレイク攻撃であるVoiceJailbreakを提案する。
  論文  参考訳（メタデータ） (2024-05-29T14:07:44Z)
• EasyJailbreak: A Unified Framework for Jailbreaking Large Language Models [53.87416566981008]
  本稿では,大規模言語モデル(LLM)に対するジェイルブレイク攻撃の構築と評価を容易にする統合フレームワークであるEasyJailbreakを紹介する。 Selector、Mutator、Constraint、Evaluatorの4つのコンポーネントを使ってJailbreak攻撃を構築する。 10の異なるLSMで検証した結果、さまざまなジェイルブレイク攻撃で平均60%の侵入確率で重大な脆弱性が判明した。
  論文  参考訳（メタデータ） (2024-03-18T18:39:53Z)
• GPT-4 and Safety Case Generation: An Exploratory Analysis [2.3361634876233817]
  本稿では,大言語モデル (LLM) と会話インタフェース (ChatGPT) を用いた安全事例の生成について検討する。 我々の第一の目的は、GPT-4の既存の知識基盤を掘り下げることであり、ゴール構造化表記法(GSN)の理解に焦点を当てることである。 我々は,GPT-4を用いた4つの実験を行い,システムとアプリケーション領域内の安全ケースを生成する能力を評価した。
  論文  参考訳（メタデータ） (2023-12-09T22:28:48Z)
• Jailbreaking GPT-4V via Self-Adversarial Attacks with System Prompts [64.60375604495883]
  GPT-4Vでは,システムに侵入する脆弱性が発見された。 GPT-4を自身に対するレッド・チーム・ツールとして活用することで、盗難システムプロンプトを利用した脱獄プロンプトの可能性を探索することを目指している。 また,システムプロンプトの変更による脱獄攻撃に対する防御効果も評価した。
  論文  参考訳（メタデータ） (2023-11-15T17:17:39Z)
• DecodingTrust: A Comprehensive Assessment of Trustworthiness in GPT Models [92.6951708781736]
  本稿では,GPT-4とGPT-3.5に着目した大規模言語モデルの総合的信頼性評価を提案する。 GPTモデルは、有害で偏りのある出力を生成し、個人情報を漏らすために、容易に誤解され得る。 我々の研究は、GPTモデルの総合的な信頼性評価を示し、信頼性のギャップに光を当てている。
  論文  参考訳（メタデータ） (2023-06-20T17:24:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。