論文の概要: A False Sense of Safety: Unsafe Information Leakage in 'Safe' AI Responses

• arxiv url: http://arxiv.org/abs/2407.02551v1
• Date: Tue, 2 Jul 2024 16:19:25 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-04 18:43:42.928521
• Title: A False Sense of Safety: Unsafe Information Leakage in 'Safe' AI Responses
• Title（参考訳）: 安全に関する偽の感覚:AIの「安全」反応における安全でない情報漏洩
• Authors: David Glukhov, Ziwen Han, Ilia Shumailov, Vardan Papyan, Nicolas Papernot,
• Abstract要約: 大きな言語モデル(LLM)は、x2013$x2013$methodsのリークに対して脆弱である。 我々は、悪意ある目標を達成するために不寛容な情報を利用する推論敵と呼ばれる推論脅威モデルを導入する。 私たちの研究は、安全なジェイルブレイクを解放するための要件と、関連するユーティリティコストに関する、理論上は初めての理解を提供する。
• 参考スコア（独自算出の注目度）: 42.136793654338106
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) are vulnerable to jailbreaks$\unicode{x2013}$methods to elicit harmful or generally impermissible outputs. Safety measures are developed and assessed on their effectiveness at defending against jailbreak attacks, indicating a belief that safety is equivalent to robustness. We assert that current defense mechanisms, such as output filters and alignment fine-tuning, are, and will remain, fundamentally insufficient for ensuring model safety. These defenses fail to address risks arising from dual-intent queries and the ability to composite innocuous outputs to achieve harmful goals. To address this critical gap, we introduce an information-theoretic threat model called inferential adversaries who exploit impermissible information leakage from model outputs to achieve malicious goals. We distinguish these from commonly studied security adversaries who only seek to force victim models to generate specific impermissible outputs. We demonstrate the feasibility of automating inferential adversaries through question decomposition and response aggregation. To provide safety guarantees, we define an information censorship criterion for censorship mechanisms, bounding the leakage of impermissible information. We propose a defense mechanism which ensures this bound and reveal an intrinsic safety-utility trade-off. Our work provides the first theoretically grounded understanding of the requirements for releasing safe LLMs and the utility costs involved.
• Abstract（参考訳）: 大きな言語モデル(LLM)は、有害または一般的に許容できない出力を引き出すためにjailbreaks$\unicode{x2013}$methodsに対して脆弱である。 安全対策は、安全が堅牢性と同等のものであると信じているジェイルブレイク攻撃を防御する効果を開発・評価する。 出力フィルタやアライメント微調整などの現在の防御機構は、モデル安全性を確保するために基本的に不十分である、と我々は主張する。 これらの防御は、二重インテリジェントクエリと有害な目標を達成するために無害なアウトプットを合成する能力から生じるリスクに対処することができない。 この重要なギャップに対処するために、モデル出力から不寛容な情報漏洩を利用して悪意ある目標を達成する、推論敵と呼ばれる情報理論脅威モデルを導入する。 我々は、被害者モデルに特定の不寛容な出力を強制することのみを求める、よく研究されているセキュリティ敵と区別する。 本稿では,質問分解と応答アグリゲーションによる推論敵の自動化の実現可能性を示す。 安全性を保証するため,検閲機構に関する情報検閲基準を定義し,不許可情報の漏洩を回避した。 そこで本研究では,本質的な安全効用トレードオフを明らかにするための防衛機構を提案する。 我々の研究は、安全なLCMをリリースするための要件と、関連するユーティリティコストについて、理論上は初めての理解を提供する。

関連論文リスト

• On the Robustness of Adversarial Training Against Uncertainty Attacks [9.180552487186485]
  学習問題において、手元のタスクに固有のノイズは、ある程度の不確実性なく推論する可能性を妨げている。 本研究は、敵の例、すなわち、誤分類を引き起こす注意深く摂動されたサンプルに対する防御が、より安全で信頼性の高い不確実性推定を保証していることを実証的および理論的に明らかにする。 我々は,CIFAR-10およびImageNetデータセット上で,公開ベンチマークのRobustBenchから,複数の逆ロバストモデルを評価する。
  論文  参考訳（メタデータ） (2024-10-29T11:12:44Z)
• Nothing in Excess: Mitigating the Exaggerated Safety for LLMs via Safety-Conscious Activation Steering [56.92068213969036]
  重大言語モデル(LLM)が悪意のある命令から脅威を守るためには、安全性の調整が不可欠である。 近年の研究では、過大な安全性の問題により、安全性に配慮したLCMは、良質な問い合わせを拒否する傾向にあることが明らかになっている。 過大な安全性の懸念を和らげるために,SCANS法を提案する。
  論文  参考訳（メタデータ） (2024-08-21T10:01:34Z)
• Refuse Whenever You Feel Unsafe: Improving Safety in LLMs via Decoupled Refusal Training [67.30423823744506]
  本研究では,Large Language Models (LLMs) の安全性チューニングにおける重要なギャップについて考察する。 我々は,LLMに対して,いかなる応答位置においても有害なプロンプトへのコンプライアンスを拒否する権限を与える新しいアプローチであるDecoupled Refusal Training(DeRTa)を導入する。 DeRTaは、(1)安全応答の開始に有害な応答のセグメントを付加することにより、安全でないコンテンツを認識・回避するようモデルに訓練する、(1)有害応答前フィックスによる最大限の類似度推定、(2)有害応答の開始を通して潜在的害から安全拒絶へ継続的に移行する能力を持つ強化遷移最適化(RTO)という2つの新しいコンポーネントを組み込んでいる。
  論文  参考訳（メタデータ） (2024-07-12T09:36:33Z)
• Purple-teaming LLMs with Adversarial Defender Training [57.535241000787416]
  本稿では,PAD(Adversarial Defender Training)を用いたPurple-teaming LLMを提案する。 PADは、赤チーム(アタック)技術と青チーム(セーフティトレーニング)技術を新たに取り入れることで、LSMを保護するために設計されたパイプラインである。 PADは、効果的な攻撃と堅牢な安全ガードレールの確立の両方において、既存のベースラインを著しく上回っている。
  論文  参考訳（メタデータ） (2024-07-01T23:25:30Z)
• The Art of Defending: A Systematic Evaluation and Analysis of LLM Defense Strategies on Safety and Over-Defensiveness [56.174255970895466]
  大規模言語モデル(LLM)は、自然言語処理アプリケーションにおいて、ますます重要な役割を担っている。 本稿では,SODE(Safety and Over-Defensiveness Evaluation)ベンチマークを提案する。
  論文  参考訳（メタデータ） (2023-12-30T17:37:06Z)
• Robust Safety Classifier for Large Language Models: Adversarial Prompt Shield [7.5520641322945785]
  大規模言語モデルの安全性は、敵の攻撃に対する脆弱性のため、依然として重要な懸念事項である。 本稿では,検出精度を向上し,対向プロンプトに対するレジリエンスを示す軽量モデルであるAdversarial Prompt Shield(APS)を紹介する。 また、対戦型トレーニングデータセットを自律的に生成するための新しい戦略を提案する。
  論文  参考訳（メタデータ） (2023-10-31T22:22:10Z)
• Kick Bad Guys Out! Conditionally Activated Anomaly Detection in Federated Learning with Zero-Knowledge Proof Verification [22.078088272837068]
  フェデレーテッド・ラーニング(FL)システムは敵の攻撃を受けやすい。 現在の防衛方式は現実世界のFLシステムでは実用的ではないことが多い。 本稿では,現実のFLシステムを対象とした新しい異常検出手法を提案する。
  論文  参考訳（メタデータ） (2023-10-06T07:09:05Z)
• Foveate, Attribute, and Rationalize: Towards Physically Safe and Trustworthy AI [76.28956947107372]
  包括的不安全テキストは、日常的なシナリオから生じる可能性のある特定の関心領域であり、有害なテキストを検出するのが困難である。 安全の文脈において、信頼に値する合理的な生成のために外部知識を活用する新しいフレームワークであるFARMを提案する。 実験の結果,FARMはSafeTextデータセットの最先端結果を得ることができ,安全性の分類精度が5.9%向上したことがわかった。
  論文  参考訳（メタデータ） (2022-12-19T17:51:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。