論文の概要: In-Context Learning Can Re-learn Forbidden Tasks

• arxiv url: http://arxiv.org/abs/2402.05723v1
• Date: Thu, 8 Feb 2024 14:54:17 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-09 14:56:45.198373
• Title: In-Context Learning Can Re-learn Forbidden Tasks
• Title（参考訳）: In-Context Learningは、タスクの学習を禁止できる
• Authors: Sophie Xhonneux, David Dobre, Jian Tang, Gauthier Gidel, Dhanya Sridhar
• Abstract要約: 我々は、モデルが回答を拒むように設計されたタスク、すなわち、禁止されたタスクについて研究する。 テキスト内学習(ICL)が,タスクの学習を禁止しているかどうかを検討する。 この攻撃はStarling-7BとVicuna-7Bでは実行できないが、Llama2-7Bでは実行できない。
• 参考スコア（独自算出の注目度）: 30.021661726654546
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite significant investment into safety training, large language models (LLMs) deployed in the real world still suffer from numerous vulnerabilities. One perspective on LLM safety training is that it algorithmically forbids the model from answering toxic or harmful queries. To assess the effectiveness of safety training, in this work, we study forbidden tasks, i.e., tasks the model is designed to refuse to answer. Specifically, we investigate whether in-context learning (ICL) can be used to re-learn forbidden tasks despite the explicit fine-tuning of the model to refuse them. We first examine a toy example of refusing sentiment classification to demonstrate the problem. Then, we use ICL on a model fine-tuned to refuse to summarise made-up news articles. Finally, we investigate whether ICL can undo safety training, which could represent a major security risk. For the safety task, we look at Vicuna-7B, Starling-7B, and Llama2-7B. We show that the attack works out-of-the-box on Starling-7B and Vicuna-7B but fails on Llama2-7B. Finally, we propose an ICL attack that uses the chat template tokens like a prompt injection attack to achieve a better attack success rate on Vicuna-7B and Starling-7B. Trigger Warning: the appendix contains LLM-generated text with violence, suicide, and misinformation.
• Abstract（参考訳）: 安全性トレーニングへの多大な投資にもかかわらず、現実世界にデプロイされた大規模言語モデル(llm)は依然として多くの脆弱性に悩まされている。 LLMの安全性トレーニングの1つの視点は、有害なクエリや有害なクエリへの応答をアルゴリズムによって禁じることである。 安全訓練の有効性を評価するため,本研究では,モデルが回答を拒むよう設計したタスクを禁止タスクとして検討する。 具体的には,テキスト内学習 (ICL) が, 学習を拒否するモデルの微調整に拘わらず, タスクの再学習に有効かどうかを検討する。 まず,問題を示すために感情分類を拒否するトイ例を検討する。 そして、ICLを微調整したモデルに使用して、偽ニュース記事の要約を拒否する。 最後に,iclが安全訓練を解除できるかどうかについて検討した。 安全対策としては、Vicuna-7B、Starling-7B、Llama2-7Bがある。 この攻撃はStarling-7BとVicuna-7Bでは有効だが、Llama2-7Bでは失敗する。 最後に, vicuna-7b と starling-7b に対する攻撃成功率を改善するために, 迅速なインジェクション攻撃のようなチャットテンプレートトークンを用いた icl 攻撃を提案する。 Trigger Warning: 付録には暴力、自殺、誤情報を含むLLM生成テキストが含まれている。

関連論文リスト

• Multi-round jailbreak attack on large language models [2.540971544359496]
  私たちは"ジェイルブレイク"攻撃をよりよく理解するために、マルチラウンドのジェイルブレイクアプローチを導入します。 この方法は危険なプロンプトを書き換え、有害でない一連のサブクエストに分解する。 実験の結果,ラマ2-7Bは94%の成功率を示した。
  論文  参考訳（メタデータ） (2024-10-15T12:08:14Z)
• Aligning LLMs to Be Robust Against Prompt Injection [55.07562650579068]
  インジェクション攻撃に対してLCMをより堅牢にするための強力なツールとしてアライメントが有効であることを示す。 私たちのメソッド -- SecAlign -- は、最初に、プロンプトインジェクション攻撃をシミュレートしてアライメントデータセットを構築します。 実験の結果,SecAlign は LLM を大幅に強化し,モデルの実用性に悪影響を及ぼすことが示された。
  論文  参考訳（メタデータ） (2024-10-07T19:34:35Z)
• You Know What I'm Saying: Jailbreak Attack via Implicit Reference [22.520950422702757]
  本研究は、以前見過ごされた脆弱性を特定し、Implicit Reference (AIR) による攻撃(Attack)と呼ぶ。 AIRは悪意のある目的を許容可能な目的に分解し、コンテキスト内の暗黙の参照を通してそれらをリンクする。 我々の実験は、AIRが最先端のLLMに対して有効であることを示し、ほとんどのモデルで90%を超える攻撃成功率(ASR)を達成した。
  論文  参考訳（メタデータ） (2024-10-04T18:42:57Z)
• Refuse Whenever You Feel Unsafe: Improving Safety in LLMs via Decoupled Refusal Training [67.30423823744506]
  本研究では,Large Language Models (LLMs) の安全性チューニングにおける重要なギャップについて考察する。 我々は,LLMに対して,いかなる応答位置においても有害なプロンプトへのコンプライアンスを拒否する権限を与える新しいアプローチであるDecoupled Refusal Training(DeRTa)を導入する。 DeRTaは、(1)安全応答の開始に有害な応答のセグメントを付加することにより、安全でないコンテンツを認識・回避するようモデルに訓練する、(1)有害応答前フィックスによる最大限の類似度推定、(2)有害応答の開始を通して潜在的害から安全拒絶へ継続的に移行する能力を持つ強化遷移最適化(RTO)という2つの新しいコンポーネントを組み込んでいる。
  論文  参考訳（メタデータ） (2024-07-12T09:36:33Z)
• Safe Unlearning: A Surprisingly Effective and Generalizable Solution to Defend Against Jailbreak Attacks [89.54736699767315]
  我々は、LLMの有害な知識を直接解き放つことは、脱獄攻撃から守るためのより効果的な方法になり得ると推測する。 Vicuna-7Bの攻撃成功率(ASR)は82.6%から7.7%に低下した。 Llama2-7B-Chatは、約0.1Mの安全アライメントサンプルで微調整されているが、追加の安全システムプロンプトの下でも21.9%のASRを持つ。
  論文  参考訳（メタデータ） (2024-07-03T07:14:05Z)
• Coercing LLMs to do and reveal (almost) anything [80.8601180293558]
  大規模言語モデル(LLM)に対する敵対的攻撃は、有害なステートメントを作るためにモデルを「ジェイルブレイク」することができることが示されている。 LLMに対する敵対的攻撃のスペクトルは単なるジェイルブレイクよりもはるかに大きいと我々は主張する。
  論文  参考訳（メタデータ） (2024-02-21T18:59:13Z)
• Hijacking Large Language Models via Adversarial In-Context Learning [8.15194326639149]
  In-context Learning (ICL)は、特定の下流タスクにLLMを活用する強力なパラダイムとして登場した。 既存の攻撃は、検出しやすく、外部モデルに依存しているか、ICLに対する特異性を欠いている。 この研究は、これらの問題に対処するために、新たなICLに対するトランスファー可能な攻撃を導入する。
  論文  参考訳（メタデータ） (2023-11-16T15:01:48Z)
• Shadow Alignment: The Ease of Subverting Safely-Aligned Language Models [102.63973600144308]
  オープンソースの大規模言語モデルは、有害なコンテンツを生成するために容易に変換できる。 5つの異なる組織がリリースした8つのモデルに対する実験は、シャドーアライメントアタックの有効性を実証している。 この研究は、悪意のある攻撃者に対するオープンソースのLLMの安全性を見直し、強化するための集団的な取り組みの発端となる。
  論文  参考訳（メタデータ） (2023-10-04T16:39:31Z)
• Universal and Transferable Adversarial Attacks on Aligned Language Models [118.41733208825278]
  本稿では,アライメント言語モデルに反抗的な振る舞いを生じさせる,シンプルで効果的な攻撃手法を提案する。 驚いたことに、我々のアプローチによって生じる敵のプロンプトは、かなり伝達可能である。
  論文  参考訳（メタデータ） (2023-07-27T17:49:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。