論文の概要: Does Refusal Training in LLMs Generalize to the Past Tense?

• arxiv url: http://arxiv.org/abs/2407.11969v3
• Date: Thu, 3 Oct 2024 16:46:09 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-08 20:59:00.499827
• Title: Does Refusal Training in LLMs Generalize to the Past Tense?
• Title（参考訳）: LLMにおける拒絶訓練は過去10年間に一般化されるか?
• Authors: Maksym Andriushchenko, Nicolas Flammarion,
• Abstract要約: 我々は過去に有害な要求を改定することは、しばしば多くの最先端のLCMを脱獄するのに十分であることを示した。 また, 将来の時制の改革は効果が低いことが示唆され, 過去の歴史的問題については, 仮説的な未来の問題よりも良質であると考える傾向が示唆された。
• 参考スコア（独自算出の注目度）: 27.527557127677156
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Refusal training is widely used to prevent LLMs from generating harmful, undesirable, or illegal outputs. We reveal a curious generalization gap in the current refusal training approaches: simply reformulating a harmful request in the past tense (e.g., "How to make a Molotov cocktail?" to "How did people make a Molotov cocktail?") is often sufficient to jailbreak many state-of-the-art LLMs. We systematically evaluate this method on Llama-3 8B, Claude-3.5 Sonnet, GPT-3.5 Turbo, Gemma-2 9B, Phi-3-Mini, GPT-4o mini, GPT-4o, o1-mini, o1-preview, and R2D2 models using GPT-3.5 Turbo as a reformulation model. For example, the success rate of this simple attack on GPT-4o increases from 1% using direct requests to 88% using 20 past tense reformulation attempts on harmful requests from JailbreakBench with GPT-4 as a jailbreak judge. Interestingly, we also find that reformulations in the future tense are less effective, suggesting that refusal guardrails tend to consider past historical questions more benign than hypothetical future questions. Moreover, our experiments on fine-tuning GPT-3.5 Turbo show that defending against past reformulations is feasible when past tense examples are explicitly included in the fine-tuning data. Overall, our findings highlight that the widely used alignment techniques -- such as SFT, RLHF, and adversarial training -- employed to align the studied models can be brittle and do not always generalize as intended. We provide code and jailbreak artifacts at https://github.com/tml-epfl/llm-past-tense.
• Abstract（参考訳）: 拒絶訓練は、LSMが有害、望ましくない、または違法な出力を発生させないために広く使用されている。 過去に有害な要求(例えば「モロトフカクテルの作り方」から「モロトフカクテルの作り方」)を単に修正するだけで、多くの最先端のLCMをジェイルブレイクするのに十分である。 Llama-3 8B, Claude-3.5 Sonnet, GPT-3.5 Turbo, Gemma-2 9B, Phi-3-Mini, GPT-4o mini, GPT-4o, o1-mini, o1-preview, R2D2 モデルに対して, GPT-3.5 Turbo を再構成モデルとして評価した。 例えば、GPT-4oに対するこの単純な攻撃の成功率は、直接要求による1%から、ジェイルブレイクベンチからの有害な要求に対する過去20回の緊張修正の試みをジェイルブレイク審査員として用いた88%へと増加する。 興味深いことに、将来の時制の改革は効果が低いことも分かり、過去の歴史的問題を仮説的な未来の問題よりも良心的に考える傾向があることを示唆している。 さらに, 微調整 GPT-3.5 Turbo 実験の結果, 過去の経過例を微調整データに明示的に含めれば, 過去の改定に対する防御が実現可能であることが示された。 概して,SFT,RLHF,対人訓練など,広く用いられているアライメント技術は,研究対象のモデルの整合性を損なう可能性があり,必ずしも意図したように一般化するとは限らないことが示唆された。 私たちはhttps://github.com/tml-epfl/llm-past-tenseでコードとjailbreak成果物を提供しています。

関連論文リスト

• Jigsaw Puzzles: Splitting Harmful Questions to Jailbreak Large Language Models [50.89022445197919]
  大規模言語モデル(LLM)は、人間との関わりにおいて卓越した性能を示した。 LLMは脱獄攻撃に弱いため、有害な反応が生じる。 我々は,高度LLMに対する単純かつ効果的なマルチターンジェイルブレイク戦略であるJigsaw Puzzles (JSP)を提案する。
  論文  参考訳（メタデータ） (2024-10-15T10:07:15Z)
• Are Large Language Models Strategic Decision Makers? A Study of Performance and Bias in Two-Player Non-Zero-Sum Games [56.70628673595041]
  大規模言語モデル (LLM) は現実世界での利用が増えているが、その戦略的意思決定能力はほとんど探索されていない。 本研究は,Stag Hunt と Prisoner Dilemma のカノニカルゲーム理論2人プレイヤ非ゼロサムゲームにおける LLM の性能とメリットについて検討する。 GPT-3.5, GPT-4-Turbo, GPT-4o, Llama-3-8Bの構造化評価は, これらのゲームにおいて決定を行う場合, 以下の系統的バイアスの少なくとも1つの影響を受けていることを示す。
  論文  参考訳（メタデータ） (2024-07-05T12:30:02Z)
• Unveiling the Safety of GPT-4o: An Empirical Study using Jailbreak Attacks [65.84623493488633]
  本稿では,GPT-4oのジェイルブレイク攻撃に対する厳密な評価を行う。 新たに導入されたオーディオモダリティは、GPT-4oに対するジェイルブレイク攻撃のための新しい攻撃ベクトルを開く。 既存のブラックボックスマルチモーダル・ジェイルブレイク攻撃は、GPT-4oとGPT-4Vに対してほとんど効果がない。
  論文  参考訳（メタデータ） (2024-06-10T14:18:56Z)
• Keeping LLMs Aligned After Fine-tuning: The Crucial Role of Prompt Templates [59.0123809721502]
  本稿では、安全プロンプトを使わずに、テスト時に組み込む"Pure Tuning, Safe Testing"(PTST)の原則を提案する。 GSM8K、ChatDoctor、OpenOrcaの微調整実験は、PTSTが安全でない振る舞いの増大を著しく減少させることを示している。
  論文  参考訳（メタデータ） (2024-02-28T18:23:49Z)
• Using Hallucinations to Bypass GPT4's Filter [0.0]
  本稿では,RLHF前の動作に逆転するように微調整したバージョンを操作する新しい手法を提案する。 このエクスプロイトは現在、GPT4、Claude Sonnet、および(ある程度は)Inflection-2.5で動作する。
  論文  参考訳（メタデータ） (2024-02-16T17:02:53Z)
• Pandora: Jailbreak GPTs by Retrieval Augmented Generation Poisoning [19.45092401994873]
  本研究では,大規模言語モデル(LLM)に対する間接的ジェイルブレイク攻撃について検討する。 本稿では,新たな攻撃ベクトルRetrieval Augmented Generation Poisoningを紹介する。 Pandoraは、即座に操作することでLCMとRAGのシナジーを利用して、予期せぬ応答を生成する。
  論文  参考訳（メタデータ） (2024-02-13T12:40:39Z)
• Weak-to-Strong Jailbreaking on Large Language Models [96.50953637783581]
  大規模言語モデル(LLM)は、ジェイルブレイク攻撃に対して脆弱である。 既存のジェイルブレイク法は計算コストがかかる。 我々は、弱々しく強固な脱獄攻撃を提案する。
  論文  参考訳（メタデータ） (2024-01-30T18:48:37Z)
• All in How You Ask for It: Simple Black-Box Method for Jailbreak Attacks [0.0]
  本研究では,ジェイルブレイクプロンプトを効率的に作成するための簡単なブラックボックス手法を提案する。 本手法は有害なプロンプトを目的のLSMを直接利用した良性表現に反復的に変換する。 提案手法は, 平均5回の質問に対して, 80%以上の攻撃成功率を達成した。
  論文  参考訳（メタデータ） (2024-01-18T08:36:54Z)
• Fighting Fire with Fire: The Dual Role of LLMs in Crafting and Detecting Elusive Disinformation [7.782551258221384]
  大規模言語モデル(LLM)の最近のユビキティと破壊的な影響は、それらが誤用される可能性を懸念している。 本稿では,近代LLMの創発的・創発的推論能力を活用する新しい「火災を伴う火災(Fighting Fire with Fire)」戦略を提案する。 GPT-3.5-turboの精度は68-72%であった。
  論文  参考訳（メタデータ） (2023-10-24T04:50:29Z)
• RankVicuna: Zero-Shot Listwise Document Reranking with Open-Source Large Language Models [56.51705482912727]
  ゼロショット設定で高品質なリストワイドのランク付けを行うことができる初の完全オープンソースLCMである RankVicuna を提示する。 TREC 2019と2020 Deep Learning Tracksの実験結果から,GPT-4のゼロショットリランクに匹敵する効果が得られ,GPT-3.5よりもはるかに小さい7Bパラメータモデルが得られた。
  論文  参考訳（メタデータ） (2023-09-26T17:31:57Z)
• Self-Deception: Reverse Penetrating the Semantic Firewall of Large Language Models [13.335189124991082]
  本稿では, LLM ジェイルブレイク問題を調査し, 自動ジェイルブレイク手法を初めて提案する。 従来のファイアウォールを逆のトンネルで貫く攻撃にインスパイアされた私たちは、セマンティックファイアウォールをバイパスできる"自己認識"アタックを導入しました。 私たちは7つの仮想シナリオで6つの言語で合計2,520の攻撃ペイロードを生成しました。
  論文  参考訳（メタデータ） (2023-08-16T09:04:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。