論文の概要: Query-Based Adversarial Prompt Generation

• arxiv url: http://arxiv.org/abs/2402.12329v1
• Date: Mon, 19 Feb 2024 18:01:36 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-20 15:09:28.584689
• Title: Query-Based Adversarial Prompt Generation
• Title（参考訳）: クエリベースの逆プロンプト生成
• Authors: Jonathan Hayase, Ema Borevkovic, Nicholas Carlini, Florian Tram\`er, Milad Nasr
• Abstract要約: 我々は、アライメント言語モデルが有害な文字列を出力する原因となる敵の例を構築します。 GPT-3.5とOpenAIの安全分類器に対する攻撃を検証する。
• 参考スコア（独自算出の注目度）: 67.238873588125
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent work has shown it is possible to construct adversarial examples that cause an aligned language model to emit harmful strings or perform harmful behavior. Existing attacks work either in the white-box setting (with full access to the model weights), or through transferability: the phenomenon that adversarial examples crafted on one model often remain effective on other models. We improve on prior work with a query-based attack that leverages API access to a remote language model to construct adversarial examples that cause the model to emit harmful strings with (much) higher probability than with transfer-only attacks. We validate our attack on GPT-3.5 and OpenAI's safety classifier; we can cause GPT-3.5 to emit harmful strings that current transfer attacks fail at, and we can evade the safety classifier with nearly 100% probability.
• Abstract（参考訳）: 近年の研究では、アライメント言語モデルが有害な文字列を出力したり、有害な振る舞いを行ったりする敵の例を構築することが可能である。 既存の攻撃は、ホワイトボックスの設定(モデルウェイトへの完全なアクセス)、または転送可能性(英語版)によって動作する。 私たちは、リモート言語モデルへのapiアクセスを活用したクエリベースの攻撃による事前作業を改善し、モデルが(非常に)高い確率で有害な文字列を発生させる敵の例を構築する。 我々は、GPT-3.5とOpenAIの安全分類器に対する攻撃を検証し、GPT-3.5に現在の転送攻撃が失敗する有害な文字列を放出させ、安全分類器を100%近い確率で回避することができる。

関連論文リスト

• Watch Out for Your Guidance on Generation! Exploring Conditional Backdoor Attacks against Large Language Models [8.348993615202138]
  大規模な言語モデル(LLM)に対するバックドア攻撃は、通常、入力インスタンスに固定されたトリガと、トリガクエリに対する特定のレスポンスを設定する。 生成条件の特定によって誘導されるLSMに対する新しい中毒パラダイムを提案する。 中毒モデルは通常、正常/他の生成条件下では出力に対して、目標生成条件下では出力に対して有害となる。
  論文  参考訳（メタデータ） (2024-04-23T07:19:20Z)
• Universal Vulnerabilities in Large Language Models: Backdoor Attacks for In-context Learning [14.011140902511135]
  In-context Learningは、事前学習と微調整のギャップを埋めるパラダイムであり、いくつかのNLPタスクにおいて高い有効性を示している。 広く適用されているにもかかわらず、コンテキスト内学習は悪意のある攻撃に対して脆弱である。 我々は、コンテキスト内学習に基づく大規模言語モデルをターゲットに、ICLAttackという新しいバックドアアタック手法を設計する。
  論文  参考訳（メタデータ） (2024-01-11T14:38:19Z)
• LoFT: Local Proxy Fine-tuning For Improving Transferability Of Adversarial Attacks Against Large Language Model [29.068442824880016]
  プロキシモデルの局所的な微調整は、攻撃の転送可能性を改善し、ターゲットモデルであるChatGPT、GPT-4、Claudeの攻撃成功率を39%、$7%、$0.5%(絶対)に向上させる。
  論文  参考訳（メタデータ） (2023-10-02T23:29:23Z)
• Transferable Attack for Semantic Segmentation [59.17710830038692]
  敵が攻撃し、ソースモデルから生成された敵の例がターゲットモデルを攻撃するのに失敗するのを観察します。 本研究では, セマンティックセグメンテーションのためのアンサンブルアタックを提案する。
  論文  参考訳（メタデータ） (2023-07-31T11:05:55Z)
• Universal and Transferable Adversarial Attacks on Aligned Language Models [118.41733208825278]
  本稿では,アライメント言語モデルに反抗的な振る舞いを生じさせる,シンプルで効果的な攻撃手法を提案する。 驚いたことに、我々のアプローチによって生じる敵のプロンプトは、かなり伝達可能である。
  論文  参考訳（メタデータ） (2023-07-27T17:49:12Z)
• Are aligned neural networks adversarially aligned? [93.91072860401856]
  敵のユーザは、アライメントの試みを回避できるインプットを構築できる。 既存のNLPベースの最適化攻撃は、整列したテキストモデルを確実に攻撃するには不十分であることを示す。 我々は、NLP攻撃の改善が、テキストのみのモデルに対して、同じレベルの逆制御を示す可能性があると推測する。
  論文  参考訳（メタデータ） (2023-06-26T17:18:44Z)
• Can Adversarial Examples Be Parsed to Reveal Victim Model Information? [62.814751479749695]
  本研究では,データ固有の敵インスタンスから,データに依存しない被害者モデル(VM)情報を推測できるかどうかを問う。 我々は,135件の被害者モデルから生成された7種類の攻撃に対して,敵攻撃のデータセットを収集する。 単純な教師付きモデル解析ネットワーク(MPN)は、見えない敵攻撃からVM属性を推測できることを示す。
  論文  参考訳（メタデータ） (2023-03-13T21:21:49Z)
• Towards Variable-Length Textual Adversarial Attacks [68.27995111870712]
  データの離散性のため、自然言語処理タスクに対してテキストによる敵意攻撃を行うことは非自明である。 本稿では,可変長テキスト対比攻撃(VL-Attack)を提案する。 本手法は、iwslt14ドイツ語英訳で3,18$ bleuスコアを達成でき、ベースラインモデルより1.47$改善できる。
  論文  参考訳（メタデータ） (2021-04-16T14:37:27Z)
• Generating Label Cohesive and Well-Formed Adversarial Claims [44.29895319592488]
  敵攻撃は、訓練されたモデルの重大な脆弱性と欠陥を明らかにする。 本研究は,真理を保存した事実チェックシステムに対して,敵対的な攻撃を発生させる方法について検討する。 生成した攻撃は, クレームの方向性と意味的妥当性を, 従来よりも良好に維持していることがわかった。
  論文  参考訳（メタデータ） (2020-09-17T10:50:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。