論文の概要: Are aligned neural networks adversarially aligned?

• arxiv url: http://arxiv.org/abs/2306.15447v2
• Date: Mon, 6 May 2024 06:36:24 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-08 01:16:13.272183
• Title: Are aligned neural networks adversarially aligned?
• Title（参考訳）: 整列ニューラルネットワークは逆向きに整列しているか?
• Authors: Nicholas Carlini, Milad Nasr, Christopher A. Choquette-Choo, Matthew Jagielski, Irena Gao, Anas Awadalla, Pang Wei Koh, Daphne Ippolito, Katherine Lee, Florian Tramer, Ludwig Schmidt,
• Abstract要約: 敵のユーザは、アライメントの試みを回避できるインプットを構築できる。 既存のNLPベースの最適化攻撃は、整列したテキストモデルを確実に攻撃するには不十分であることを示す。 我々は、NLP攻撃の改善が、テキストのみのモデルに対して、同じレベルの逆制御を示す可能性があると推測する。
• 参考スコア（独自算出の注目度）: 93.91072860401856
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models are now tuned to align with the goals of their creators, namely to be "helpful and harmless." These models should respond helpfully to user questions, but refuse to answer requests that could cause harm. However, adversarial users can construct inputs which circumvent attempts at alignment. In this work, we study adversarial alignment, and ask to what extent these models remain aligned when interacting with an adversarial user who constructs worst-case inputs (adversarial examples). These inputs are designed to cause the model to emit harmful content that would otherwise be prohibited. We show that existing NLP-based optimization attacks are insufficiently powerful to reliably attack aligned text models: even when current NLP-based attacks fail, we can find adversarial inputs with brute force. As a result, the failure of current attacks should not be seen as proof that aligned text models remain aligned under adversarial inputs. However the recent trend in large-scale ML models is multimodal models that allow users to provide images that influence the text that is generated. We show these models can be easily attacked, i.e., induced to perform arbitrary un-aligned behavior through adversarial perturbation of the input image. We conjecture that improved NLP attacks may demonstrate this same level of adversarial control over text-only models.
• Abstract（参考訳）: 大規模な言語モデルは、クリエイターの目標、すなわち「有害で無害」に合わせるように調整されている。 これらのモデルはユーザからの質問に対して有効に応答するべきですが、害をもたらす可能性のある要求に応答することを拒否します。 しかし、敵のユーザは、アライメントの試みを回避できる入力を構築できる。 本研究は, 逆アライメントについて検討し, 最悪の事例(逆例)を構築した相手ユーザと対話する際に, モデルがどの程度整合したままなのかを問う。 これらの入力は、他の方法では禁止されない有害なコンテンツをモデルに放出させるように設計されている。 既存のNLPベースの最適化攻撃は、アライメントされたテキストモデルを確実に攻撃するには不十分であり、現在のNLPベースの攻撃が失敗したとしても、残酷な力で敵の入力を見つけることができる。 結果として、現在の攻撃の失敗は、アライメントされたテキストモデルが敵の入力の下で整列していることの証明として見るべきではない。 しかし、近年の大規模MLモデルのトレンドは、ユーザが生成したテキストに影響を与える画像を提供するマルチモーダルモデルである。 入力画像の対角摂動により、任意の不整合動作を誘導し、容易に攻撃できることを示す。 我々は、NLP攻撃の改善が、テキストのみのモデルに対して、同じレベルの逆制御を示す可能性があると推測する。

関連論文リスト

• A Realistic Threat Model for Large Language Model Jailbreaks [87.64278063236847]
  本研究では,ジェイルブレイク攻撃の原理的比較のための統一的脅威モデルを提案する。 私たちの脅威モデルは、パープレキシティの制約を組み合わせることで、ジェイルブレイクが自然のテキストからどれだけ逸脱するかを測定します。 我々は、この新しい現実的な脅威モデルに人気のある攻撃を適用する。
  論文  参考訳（メタデータ） (2024-10-21T17:27:01Z)
• Query-Based Adversarial Prompt Generation [67.238873588125]
  我々は、アライメント言語モデルが有害な文字列を出力する原因となる敵の例を構築します。 GPT-3.5とOpenAIの安全分類器に対する攻撃を検証する。
  論文  参考訳（メタデータ） (2024-02-19T18:01:36Z)
• Fooling the Textual Fooler via Randomizing Latent Representations [13.77424820701913]
  敵語レベルの摂動はよく研究され効果的な攻撃戦略である。 本稿では、敵の例を生成する過程を複雑にすることを目的とする、軽量で攻撃に依存しない防御法を提案する。 本稿では,AdvFoolerの対人的単語レベル攻撃に対する最先端のロバスト性を実証的に示す。
  論文  参考訳（メタデータ） (2023-10-02T06:57:25Z)
• One-bit Flip is All You Need: When Bit-flip Attack Meets Model Training [54.622474306336635]
  メモリフォールトインジェクション技術を利用したビットフリップ攻撃(BFA)と呼ばれる新たな重み修正攻撃が提案された。 本稿では,高リスクモデルを構築するための訓練段階に敵が関与する,訓練支援ビットフリップ攻撃を提案する。
  論文  参考訳（メタデータ） (2023-08-12T09:34:43Z)
• Universal and Transferable Adversarial Attacks on Aligned Language Models [118.41733208825278]
  本稿では,アライメント言語モデルに反抗的な振る舞いを生じさせる,シンプルで効果的な攻撃手法を提案する。 驚いたことに、我々のアプローチによって生じる敵のプロンプトは、かなり伝達可能である。
  論文  参考訳（メタデータ） (2023-07-27T17:49:12Z)
• Scoring Black-Box Models for Adversarial Robustness [4.416484585765028]
  敵の攻撃に対する モデルの堅牢性が分析されました 逆入力に対する頑健性を示すブラックボックスモデルの簡易スコアリング法を提案する。
  論文  参考訳（メタデータ） (2022-10-31T08:41:44Z)
• Learning to Ignore Adversarial Attacks [14.24585085013907]
  攻撃トークンの無視を明示的に学習する合理化モデルを導入する。 その結果,攻撃トークンの90%以上を合理的に無視できることがわかった。
  論文  参考訳（メタデータ） (2022-05-23T18:01:30Z)
• A Differentiable Language Model Adversarial Attack on Text Classifiers [10.658675415759697]
  自然言語処理のための新しいブラックボックス文レベルアタックを提案する。 本手法は,事前学習した言語モデルを微調整して,逆例を生成する。 提案手法は, 計算量と人的評価の両方において, 多様なNLP問題において, 競合相手よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-07-23T14:43:13Z)
• Defense against Adversarial Attacks in NLP via Dirichlet Neighborhood Ensemble [163.3333439344695]
  Dirichlet Neighborhood Ensemble (DNE) は、ロバストモデルを用いて置換攻撃を防御するランダムな平滑化手法である。 DNEは、単語とその同義語で区切られた凸殻から入力文中の各単語の埋め込みベクトルをサンプリングして仮想文を生成し、訓練データでそれらを増強する。 我々は,提案手法が最近提案した防衛手法を,異なるネットワークアーキテクチャと複数のデータセット間で有意差で一貫して上回っていることを示す。
  論文  参考訳（メタデータ） (2020-06-20T18:01:16Z)
• Differentiable Language Model Adversarial Attacks on Categorical Sequence Classifiers [0.0]
  敵対的攻撃パラダイムは、ディープラーニングモデルの脆弱性の様々なシナリオを探索する。 本研究では,言語モデルの微調整を,敵対的攻撃のジェネレータとして利用する。 我々のモデルは、銀行取引、電子健康記録、NLPデータセットに関する多様なデータセットに対して機能する。
  論文  参考訳（メタデータ） (2020-06-19T11:25:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。