論文の概要: Jailbreaking is Best Solved by Definition

• arxiv url: http://arxiv.org/abs/2403.14725v1
• Date: Wed, 20 Mar 2024 21:53:56 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-25 21:21:55.267505
• Title: Jailbreaking is Best Solved by Definition
• Title（参考訳）: ジェイルブレイクは定義によって解決される
• Authors: Taeyoun Kim, Suhas Kotha, Aditi Raghunathan,
• Abstract要約: 言語モデルに対する「ジェイルブレイク」攻撃の台頭は、望ましくない応答の出力を防ぐための防衛策の急増につながった。 i) 安全でない出力を構成するものの定義と, (ii) 入力処理や微調整などの手法による定義の実施である。
• 参考スコア（独自算出の注目度）: 12.09165658395643
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The rise of "jailbreak" attacks on language models has led to a flurry of defenses aimed at preventing the output of undesirable responses. In this work, we critically examine the two stages of the defense pipeline: (i) the definition of what constitutes unsafe outputs, and (ii) the enforcement of the definition via methods such as input processing or fine-tuning. We cast severe doubt on the efficacy of existing enforcement mechanisms by showing that they fail to defend even for a simple definition of unsafe outputs--outputs that contain the word "purple". In contrast, post-processing outputs is perfectly robust for such a definition. Drawing on our results, we present our position that the real challenge in defending jailbreaks lies in obtaining a good definition of unsafe responses: without a good definition, no enforcement strategy can succeed, but with a good definition, output processing already serves as a robust baseline albeit with inference-time overheads.
• Abstract（参考訳）: 言語モデルに対する「ジェイルブレイク」攻撃の台頭は、望ましくない応答の出力を防ぐための防衛策の急増につながった。 本研究では,防衛パイプラインの2つの段階について批判的に検討する。 一 安全でない出力を構成するものの定義、及び 二 入力処理又は微調整等の方法による定義の施行 我々は、安全でないアウトプットの単純な定義でさえも守れないことを示すことで、既存の執行機構の有効性に深刻な疑念を抱いた。 対照的に、後処理の出力はそのような定義に対して完全に堅牢である。 良い定義がなければ、執行戦略は成功できないが、よい定義では、出力処理は推論時のオーバーヘッドを伴うにもかかわらず、すでに堅牢なベースラインとして機能している。

関連論文リスト

• The VLLM Safety Paradox: Dual Ease in Jailbreak Attack and Defense [56.32083100401117]
  本稿では,視覚大言語モデル (VLLM) がジェイルブレイク攻撃のリスクが高い理由を考察する。 既存の防御機構は、テキストバウンド・プルーデンスの問題に悩まされる。 ジェイルブレイクの2つの代表的な評価手法は、しばしばチャンス合意を示す。
  論文  参考訳（メタデータ） (2024-11-13T07:57:19Z)
• Root Defence Strategies: Ensuring Safety of LLM at the Decoding Level [10.658844160259104]
  大規模言語モデル (LLM) は様々な産業で大きな有用性を示している。 LLMが進むにつれて、不正または悪意のある命令プロンプトによって有害な出力のリスクが増大する。 本稿では, LLMが有害な出力を認識する能力について検討し, 従来のトークンの危険性を評価する能力を明らかにし, 定量化する。
  論文  参考訳（メタデータ） (2024-10-09T12:09:30Z)
• ETA: Evaluating Then Aligning Safety of Vision Language Models at Inference Time [12.160713548659457]
  対向的な視覚入力は、容易にVLM防御機構をバイパスすることができる。 本稿では,入力された視覚的内容と出力応答を評価する2相推論時間アライメントフレームワークを提案する。 実験の結果, ETAは無害性, 有用性, 効率の点で, ベースライン法よりも優れていた。
  論文  参考訳（メタデータ） (2024-10-09T07:21:43Z)
• HSF: Defending against Jailbreak Attacks with Hidden State Filtering [14.031010511732008]
  隠れ状態フィルタ(HSF)に基づくジェイルブレイク攻撃防御戦略を提案する。 HSFは、推論プロセスが始まる前に、モデルが相手の入力をプリエンプティブに識別し、拒否することを可能にする。 不正なユーザクエリに対する応答を最小限に抑えながら、Jailbreak攻撃の成功率を大幅に低下させる。
  論文  参考訳（メタデータ） (2024-08-31T06:50:07Z)
• Large language model validity via enhanced conformal prediction methods [4.081098869497239]
  我々は,大規模言語モデル(LLM)の出力に対する妥当性を保証するための新しい共形推論手法を開発した。 我々は、Gibs et al. (2023) の条件等式手順を一般化し、出力の実用性を維持するために必要なときに、より弱い保証を適応的に発行する。 バイオグラフィーと医学的質問応答データセットに対するアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2024-06-14T04:46:39Z)
• AutoJailbreak: Exploring Jailbreak Attacks and Defenses through a Dependency Lens [83.08119913279488]
  本稿では,ジェイルブレイク攻撃と防衛技術における依存関係の体系的解析について述べる。 包括的な、自動化された、論理的な3つのフレームワークを提案します。 このアンサンブル・ジェイルブレイク・アタックと防衛の枠組みは,既存の研究を著しく上回る結果となった。
  論文  参考訳（メタデータ） (2024-06-06T07:24:41Z)
• Rethinking How to Evaluate Language Model Jailbreak [16.301224741410312]
  言語モデルジェイルブレイクを評価するために, 3つの指標, 保護違反, 情報性, 相対真理性を提案する。 3つの悪意のある意図的データセットと3つのジェイルブレイクシステムから生成されたベンチマークデータセットで、我々の測定値を評価する。
  論文  参考訳（メタデータ） (2024-04-09T15:54:16Z)
• Weak-to-Strong Jailbreaking on Large Language Models [96.50953637783581]
  大規模言語モデル(LLM)は、ジェイルブレイク攻撃に対して脆弱である。 既存のジェイルブレイク法は計算コストがかかる。 我々は、弱々しく強固な脱獄攻撃を提案する。
  論文  参考訳（メタデータ） (2024-01-30T18:48:37Z)
• AutoDAN: Generating Stealthy Jailbreak Prompts on Aligned Large Language Models [54.95912006700379]
  本稿では,大規模言語モデルに対する新たなジェイルブレイク攻撃であるAutoDANを紹介する。 AutoDANは、慎重に設計された階層型遺伝的アルゴリズムによって、ステルスなジェイルブレイクプロンプトを自動的に生成できる。
  論文  参考訳（メタデータ） (2023-10-03T19:44:37Z)
• Certifying LLM Safety against Adversarial Prompting [75.19953634352258]
  大規模言語モデル(LLM)は、入力プロンプトに悪意のあるトークンを追加する敵攻撃に対して脆弱である。 我々は,認証された安全保証とともに,敵のプロンプトを防御する最初の枠組みである消去・チェックを導入する。
  論文  参考訳（メタデータ） (2023-09-06T04:37:20Z)
• Safe Deep Reinforcement Learning by Verifying Task-Level Properties [84.64203221849648]
  コスト関数は、安全深層強化学習(DRL)において一般的に用いられる。 このコストは通常、国家空間における政策決定のリスクの定量化が難しいため、指標関数として符号化される。 本稿では,ドメイン知識を用いて,そのような状態に近接するリスクを定量化するための代替手法について検討する。
  論文  参考訳（メタデータ） (2023-02-20T15:24:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。