論文の概要: On Prompt-Driven Safeguarding for Large Language Models
- arxiv url: http://arxiv.org/abs/2401.18018v2
- Date: Mon, 4 Mar 2024 06:31:21 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-07 00:38:51.923441
- Title: On Prompt-Driven Safeguarding for Large Language Models
- Title（参考訳）: 大規模言語モデルのプロンプト駆動型保護について
- Authors: Chujie Zheng, Fan Yin, Hao Zhou, Fandong Meng, Jie Zhou, Kai-Wei
Chang, Minlie Huang, Nanyun Peng
- Abstract要約: モデル表現空間において、有害で有害なクエリは、大きく区別できるが、これは安全プロンプトによって顕著に強化されない。
そこで本研究では,DRO(Directed Representation Optimization)と呼ばれる自動安全プロンプト最適化手法を提案する。
- 参考スコア（独自算出の注目度）: 178.612893285033
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Prepending model inputs with safety prompts is a common practice for
safeguarding large language models (LLMs) from complying with queries that
contain harmful intents. However, the working mechanisms of safety prompts have
not been revealed yet, which hinders the potential for automatically optimizing
them to improve LLM safety. To this end, we investigate the impact of safety
prompts from the perspective of model representations. We find that in models'
representation space, harmful and harmless queries can be largely
distinguished, but this is not noticeably enhanced by safety prompts. Instead,
the queries' representations are moved by safety prompts in similar directions
where models become more prone to refusal (i.e., refusing to provide
assistance) even when the queries are harmless. Inspired by these findings, we
propose a method called DRO (Directed Representation Optimization) for
automatic safety prompt optimization. It treats safety prompts as continuous,
trainable embeddings and learns to move the representations of harmful/harmless
queries along/opposite the direction in which the model's refusal probability
increases. Experiments with eight LLMs on out-of-domain benchmarks demonstrate
that DRO remarkably improves the safeguarding performance of human-crafted
safety prompts and outperforms strong baselines, without compromising the
general model capability.
- Abstract（参考訳）: 安全プロンプトによるモデル入力の待機は、有害なインテントを含むクエリに準拠しない大規模言語モデル(llm)を保護する一般的なプラクティスである。
しかし, 安全プロンプトの動作機構はまだ明らかになっていないため, LLMの安全性向上のために自動最適化を行う可能性を妨げている。
そこで本研究では,安全対策の効果をモデル表現の観点から検討する。
モデル表現空間において、有害で有害なクエリは、大きく区別できるが、これは安全プロンプトによって顕著に強化されない。
代わりに、クエリの表現は安全プロンプトによって同じ方向に移動され、クエリが無害である場合でもモデルが拒否しやすくなる(つまり、アシストを拒否する)。
そこで本研究では,DRO(Directed Representation Optimization)と呼ばれる自動安全プロンプト最適化手法を提案する。
安全性プロンプトを連続的でトレーニング可能な埋め込みとして扱い、モデルの拒絶確率が増加する方向に沿って有害/ハームレスクエリの表現を移動させる。
ドメイン外のベンチマークで8つのLDMを用いた実験により、DROは人間の安全プロンプトの保護性能を著しく向上し、一般的なモデル能力を損なうことなく、強力なベースラインを上回っていることが示された。
関連論文リスト
- DROJ: A Prompt-Driven Attack against Large Language Models [0.0]
大規模言語モデル(LLM)は、様々な自然言語処理タスクにまたがる例外的な機能を示している。
大規模なアライメント努力にもかかわらず、LLMは相変わらず敵の脱獄攻撃を受けやすいままである。
我々はDROJ(Directed Rrepresentation Optimization Jailbreak)という新しいアプローチを導入する。
論文 参考訳（メタデータ） (2024-11-14T01:48:08Z) - Root Defence Strategies: Ensuring Safety of LLM at the Decoding Level [10.658844160259104]
大規模言語モデル (LLM) は様々な産業で大きな有用性を示している。
LLMが進むにつれて、不正または悪意のある命令プロンプトによって有害な出力のリスクが増大する。
本稿では, LLMが有害な出力を認識する能力について検討し, 従来のトークンの危険性を評価する能力を明らかにし, 定量化する。
論文 参考訳（メタデータ） (2024-10-09T12:09:30Z) - Aligning LLMs to Be Robust Against Prompt Injection [55.07562650579068]
インジェクション攻撃に対してLCMをより堅牢にするための強力なツールとしてアライメントが有効であることを示す。
私たちのメソッド -- SecAlign -- は、最初に、プロンプトインジェクション攻撃をシミュレートしてアライメントデータセットを構築します。
実験の結果,SecAlign は LLM を大幅に強化し,モデルの実用性に悪影響を及ぼすことが示された。
論文 参考訳（メタデータ） (2024-10-07T19:34:35Z) - HarmAug: Effective Data Augmentation for Knowledge Distillation of Safety Guard Models [92.85175340702125]
本研究では,大規模な教師の安全ガードモデルを,バイナリ有害度ラベル付き命令応答ペアのラベル付きデータセットを用いて,より小さなモデルに蒸留する。
本稿では,LLMをジェイルブレイクして有害な命令を発生させる単純なデータ拡張手法であるHarmAugを提案する。
私たちのHarmAugは、70億以上のパラメータを持つ大規模モデルに匹敵するF1スコアを達成し、計算コストの25%未満で運用しながら、AUPRCでそれを上回るパフォーマンスを実現しています。
論文 参考訳（メタデータ） (2024-10-02T13:12:13Z) - Nothing in Excess: Mitigating the Exaggerated Safety for LLMs via Safety-Conscious Activation Steering [56.92068213969036]
重大言語モデル(LLM)が悪意のある命令から脅威を守るためには、安全性の調整が不可欠である。
近年の研究では、過大な安全性の問題により、安全性に配慮したLCMは、良質な問い合わせを拒否する傾向にあることが明らかになっている。
過大な安全性の懸念を和らげるために,SCANS法を提案する。
論文 参考訳（メタデータ） (2024-08-21T10:01:34Z) - Refuse Whenever You Feel Unsafe: Improving Safety in LLMs via Decoupled Refusal Training [67.30423823744506]
本研究では,Large Language Models (LLMs) の安全性チューニングにおける重要なギャップについて考察する。
我々は,LLMに対して,いかなる応答位置においても有害なプロンプトへのコンプライアンスを拒否する権限を与える新しいアプローチであるDecoupled Refusal Training(DeRTa)を導入する。
DeRTaは、(1)安全応答の開始に有害な応答のセグメントを付加することにより、安全でないコンテンツを認識・回避するようモデルに訓練する、(1)有害応答前フィックスによる最大限の類似度推定、(2)有害応答の開始を通して潜在的害から安全拒絶へ継続的に移行する能力を持つ強化遷移最適化(RTO)という2つの新しいコンポーネントを組み込んでいる。
論文 参考訳（メタデータ） (2024-07-12T09:36:33Z) - SLM as Guardian: Pioneering AI Safety with Small Language Models [6.799423428734095]
より大型のモデルにセーフガード機能を組み込むことで、トレーニングコストの上昇と意図しない有用性の低下が問題となった。
本稿では、有害なクエリ検出とセーフガード応答生成の両方に、より小さなLSMを利用する。
提案手法の有効性を実証し,LLMと比較して,有害なクエリ検出およびセーフガード応答性能を同等又は超過する手法を提案する。
論文 参考訳（メタデータ） (2024-05-30T08:03:15Z) - ROSE Doesn't Do That: Boosting the Safety of Instruction-Tuned Large Language Models with Reverse Prompt Contrastive Decoding [89.0074567748505]
本稿では,既存の命令調整LDMの安全性を高めるための簡易な手法であるROSE(Reverse prompt contrastive decoding)を提案する。
6つの安全性と2つの汎用タスクの実験から、ROSEは5種類の命令調整LDMに対して、一貫した、重要な安全性向上(+13.8%の安全性スコア)をもたらすだけでなく、LLMの汎用能力にも恩恵をもたらすことが示されている。
論文 参考訳（メタデータ） (2024-02-19T06:58:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。