論文の概要: Sleeper Agents: Training Deceptive LLMs that Persist Through Safety
Training
- arxiv url: http://arxiv.org/abs/2401.05566v3
- Date: Wed, 17 Jan 2024 20:26:01 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-19 19:07:51.983986
- Title: Sleeper Agents: Training Deceptive LLMs that Persist Through Safety
Training
- Title(参考訳): スリーパーエージェント:安全トレーニングを通じて持続する偽装llmの訓練
- Authors: Evan Hubinger, Carson Denison, Jesse Mu, Mike Lambert, Meg Tong, Monte
MacDiarmid, Tamera Lanham, Daniel M. Ziegler, Tim Maxwell, Newton Cheng, Adam
Jermyn, Amanda Askell, Ansh Radhakrishnan, Cem Anil, David Duvenaud, Deep
Ganguli, Fazl Barez, Jack Clark, Kamal Ndousse, Kshitij Sachan, Michael
Sellitto, Mrinank Sharma, Nova DasSarma, Roger Grosse, Shauna Kravec, Yuntao
Bai, Zachary Witten, Marina Favaro, Jan Brauner, Holden Karnofsky, Paul
Christiano, Samuel R. Bowman, Logan Graham, Jared Kaplan, S\"oren Mindermann,
Ryan Greenblatt, Buck Shlegeris, Nicholas Schiefer, Ethan Perez
- Abstract要約: 本研究では,大規模言語モデルにおける認識行動の実証-概念例について検討する。
このようなバックドアの動作を持続的に行うことができ、標準安全訓練技術によって取り除かれないようにしている。
この結果から,モデルが偽装行動を示すと,そのような偽装行為の除去に失敗する可能性が示唆された。
- 参考スコア(独自算出の注目度): 41.81176284155003
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Humans are capable of strategically deceptive behavior: behaving helpfully in
most situations, but then behaving very differently in order to pursue
alternative objectives when given the opportunity. If an AI system learned such
a deceptive strategy, could we detect it and remove it using current
state-of-the-art safety training techniques? To study this question, we
construct proof-of-concept examples of deceptive behavior in large language
models (LLMs). For example, we train models that write secure code when the
prompt states that the year is 2023, but insert exploitable code when the
stated year is 2024. We find that such backdoor behavior can be made
persistent, so that it is not removed by standard safety training techniques,
including supervised fine-tuning, reinforcement learning, and adversarial
training (eliciting unsafe behavior and then training to remove it). The
backdoor behavior is most persistent in the largest models and in models
trained to produce chain-of-thought reasoning about deceiving the training
process, with the persistence remaining even when the chain-of-thought is
distilled away. Furthermore, rather than removing backdoors, we find that
adversarial training can teach models to better recognize their backdoor
triggers, effectively hiding the unsafe behavior. Our results suggest that,
once a model exhibits deceptive behavior, standard techniques could fail to
remove such deception and create a false impression of safety.
- Abstract(参考訳): 人間は多くの状況で有益な行動をとるが、機会を与えられたときに別の目的を追求するために非常に異なる行動をとる。
もしAIシステムがそのような偽りの戦略を学んだら、検出して現在の最先端の安全訓練技術を使って除去できるだろうか?
そこで本研究では,大規模言語モデル(llm)における概念実証事例について考察する。
例えば、2023年とプロンプトされた時にセキュアなコードを書くモデルをトレーニングしますが、2024年の場合は、悪用可能なコードを挿入します。
このようなバックドア動作は、教師付き微調整、強化学習、敵の訓練(安全でない振る舞いを排除し、それを除去する訓練)など、標準的な安全訓練技術によって取り除かれることはない。
バックドアの挙動は、最大のモデルや訓練されたモデルにおいて最も永続的であり、チェーン・オブ・シントを蒸留しても持続性は残る。
さらに,バックドアをなくすのではなく,モデルにバックドアトリガをよりよく認識するように指導することで,安全でない動作を効果的に隠蔽できることがわかった。
以上の結果から, モデルが仮装行動を示すと, 標準技術ではそのような偽装を除去できず, 安全性の虚偽の印象を生じさせる可能性が示唆された。
関連論文リスト
- Rethinking Backdoor Attacks [122.1008188058615]
バックドア攻撃では、悪意ある構築されたバックドアの例をトレーニングセットに挿入し、結果のモデルを操作に脆弱にする。
このような攻撃に対する防御は、典型的には、これらの挿入された例をトレーニングセットの外れ値として見ることと、堅牢な統計からのテクニックを使用してそれらを検出し、削除することである。
トレーニングデータ分布に関する構造情報がなければ,バックドア攻撃は自然に発生するデータの特徴と区別できないことを示す。
論文 参考訳(メタデータ) (2023-07-19T17:44:54Z) - Backdoor Attack with Sparse and Invisible Trigger [60.84183404621145]
ディープニューラルネットワーク(DNN)は、バックドア攻撃に対して脆弱である。
バックドアアタックは、訓練段階の脅威を脅かしている。
軽度で目に見えないバックドアアタック(SIBA)を提案する。
論文 参考訳(メタデータ) (2023-05-11T10:05:57Z) - Backdoor Cleansing with Unlabeled Data [70.29989887008209]
外部訓練されたディープニューラルネットワーク(DNN)は、バックドア攻撃を受ける可能性がある。
トレーニングラベルを必要としない新しい防衛手法を提案する。
ラベルなしで訓練された本手法は,ラベルを用いて訓練した最先端の防御手法と同等である。
論文 参考訳(メタデータ) (2022-11-22T06:29:30Z) - Architectural Backdoors in Neural Networks [27.315196801989032]
モデルアーキテクチャの内部に隠れる新しい種類のバックドアアタックを導入します。
これらのバックドアの実装は簡単で、例えばバックドアモデルアーキテクチャ用のオープンソースコードを公開している。
私たちは、モデルアーキテクチャのバックドアが真の脅威であり、他のアプローチとは異なり、ゼロから完全な再トレーニングに耐えられることを実証しています。
論文 参考訳(メタデータ) (2022-06-15T22:44:03Z) - Neurotoxin: Durable Backdoors in Federated Learning [73.82725064553827]
連合学習システムは バックドア攻撃の訓練中に 固有の脆弱性がある
我々は,既存のバックドア攻撃に対する単純な一直線修正であるニューロトキシンを提案する。
論文 参考訳(メタデータ) (2022-06-12T16:52:52Z) - Anti-Backdoor Learning: Training Clean Models on Poisoned Data [17.648453598314795]
ディープニューラルネットワーク(DNN)に対するセキュリティ上の脅威としてバックドア攻撃が出現
提案手法は,バックドア・ポゾンデータを用いたアンファンクレーンモデルの学習を目的とした,アンファンティ・バックドア学習の概念を導入する。
バックドアポゾンデータ上でのABL学習モデルは、純粋にクリーンなデータでトレーニングされたのと同じ性能を実証的に示す。
論文 参考訳(メタデータ) (2021-10-22T03:30:48Z) - Sleeper Agent: Scalable Hidden Trigger Backdoors for Neural Networks
Trained from Scratch [99.90716010490625]
バックドア攻撃者は、トレーニングデータを改ざんして、そのデータに基づいてトレーニングされたモデルに脆弱性を埋め込む。
この脆弱性は、モデル入力に"トリガー"を配置することで、推論時にアクティベートされる。
我々は,工芸過程において,勾配マッチング,データ選択,ターゲットモデル再トレーニングを利用した新しい隠れトリガ攻撃,Sleeper Agentを開発した。
論文 参考訳(メタデータ) (2021-06-16T17:09:55Z) - WaNet -- Imperceptible Warping-based Backdoor Attack [20.289889150949836]
サードパーティーのモデルは、通常の状況でうまく機能するようにトレーニング中に毒を盛るが、トリガーパターンが現れると悪質に振る舞う。
本稿では,サードパーティモデルに対してワーピングベースのトリガーを用いた攻撃手法を提案する。
提案したバックドアは、人間の検査試験における従来の方法よりも広いマージンで優れており、そのステルス性を証明している。
論文 参考訳(メタデータ) (2021-02-20T15:25:36Z) - Blind Backdoors in Deep Learning Models [22.844973592524966]
本稿では,機械学習モデルにバックドアを注入する新しい手法について検討する。
従来の文献よりも厳格に強力なバックドアの新たなクラスを実証するために使用しています。
攻撃者はトレーニングデータを変更したり、コードの実行を観察したり、結果のモデルにアクセスしたりすることができません。
論文 参考訳(メタデータ) (2020-05-08T02:15:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。