論文の概要: Instructional Segment Embedding: Improving LLM Safety with Instruction Hierarchy

• arxiv url: http://arxiv.org/abs/2410.09102v1
• Date: Wed, 9 Oct 2024 12:52:41 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-30 16:38:28.653005
• Title: Instructional Segment Embedding: Improving LLM Safety with Instruction Hierarchy
• Title（参考訳）: インストラクショナルセグメント埋め込み:インストラクショナル階層によるLLM安全性の向上
• Authors: Tong Wu, Shujian Zhang, Kaiqiang Song, Silei Xu, Sanqiang Zhao, Ravi Agrawal, Sathish Reddy Indurthi, Chong Xiang, Prateek Mittal, Wenxuan Zhou,
• Abstract要約: LLM(Large Language Models)は、セキュリティや安全性の脅威を受けやすい言語である。 これらの脆弱性の大きな原因の1つは、命令階層の欠如である。 本稿では,BERTにインスパイアされた命令セグメント埋め込み(ISE)技法を,現代の大規模言語モデルに導入する。
• 参考スコア（独自算出の注目度）: 53.54777131440989
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) are susceptible to security and safety threats, such as prompt injection, prompt extraction, and harmful requests. One major cause of these vulnerabilities is the lack of an instruction hierarchy. Modern LLM architectures treat all inputs equally, failing to distinguish between and prioritize various types of instructions, such as system messages, user prompts, and data. As a result, lower-priority user prompts may override more critical system instructions, including safety protocols. Existing approaches to achieving instruction hierarchy, such as delimiters and instruction-based training, do not address this issue at the architectural level. We introduce the Instructional Segment Embedding (ISE) technique, inspired by BERT, to modern large language models, which embeds instruction priority information directly into the model. This approach enables models to explicitly differentiate and prioritize various instruction types, significantly improving safety against malicious prompts that attempt to override priority rules. Our experiments on the Structured Query and Instruction Hierarchy benchmarks demonstrate an average robust accuracy increase of up to 15.75% and 18.68%, respectively. Furthermore, we observe an improvement in instruction-following capability of up to 4.1% evaluated on AlpacaEval. Overall, our approach offers a promising direction for enhancing the safety and effectiveness of LLM architectures.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、迅速なインジェクション、迅速な抽出、有害な要求など、セキュリティや安全性の脅威に影響を受けやすい。 これらの脆弱性の大きな原因の1つは、命令階層の欠如である。 現代のLLMアーキテクチャは全ての入力を等しく扱い、システムメッセージ、ユーザープロンプト、データなど、様々な種類の命令を区別して優先順位付けすることができない。 その結果、低優先度のユーザープロンプトは、安全プロトコルを含むより重要なシステム命令をオーバーライドする可能性がある。 デリミタや命令ベーストレーニングのような既存の命令階層の達成アプローチは、アーキテクチャレベルでこの問題に対処しない。 Instructional Segment Embedding (ISE) 技術は,BERT にインスパイアされた現代の大規模言語モデルに導入され,命令優先情報をモデルに直接組み込む。 このアプローチにより、モデルがさまざまな命令タイプを明示的に区別し、優先順位付けすることが可能になり、優先順位付けルールを無効にしようとする悪意のあるプロンプトに対する安全性が大幅に向上する。 Structured Query と Instruction Hierarchy ベンチマークの実験では,それぞれ 15.75% と 18.68% の堅牢な精度向上が示されている。 さらに,AlpacaEvalを用いて最大4.1%の指示追従能力の向上を観察した。 全体として,本手法はLLMアーキテクチャの安全性と有効性を高めるための有望な方向を提供する。

関連論文リスト

• Attention Tracker: Detecting Prompt Injection Attacks in LLMs [62.247841717696765]
  大型言語モデル (LLM) は様々なドメインに革命をもたらしたが、インジェクション攻撃に弱いままである。 そこで本研究では,特定の注意点が本来の指示から注入指示へと焦点を移す,注意散逸効果の概念を紹介した。 本研究では,アテンション・トラッカーを提案する。アテンション・トラッカーは,インジェクション・アタックを検出するために,インストラクション上の注意パターンを追跡する訓練不要な検出手法である。
  論文  参考訳（メタデータ） (2024-11-01T04:05:59Z)
• The Instruction Hierarchy: Training LLMs to Prioritize Privileged Instructions [21.76697662025996]
  LLMは、インジェクション、ジェイルブレイク、その他の攻撃に対して感受性があり、敵は自身の悪意のあるプロンプトでモデルのオリジナルの命令を上書きできる。 本稿では,異なる優先度の命令が矛盾する場合に,モデルがどのように振る舞うかを明確に定義する命令階層を提案する。 この手法をGPT-3.5に適用すると、トレーニング中に見えない攻撃タイプに対してさえ、ロバスト性を大幅に向上すると同時に、標準機能に最小限の劣化を課すことが示される。
  論文  参考訳（メタデータ） (2024-04-19T22:55:23Z)
• ROSE Doesn't Do That: Boosting the Safety of Instruction-Tuned Large Language Models with Reverse Prompt Contrastive Decoding [89.0074567748505]
  本稿では,既存の命令調整LDMの安全性を高めるための簡易な手法であるROSE(Reverse prompt contrastive decoding)を提案する。 6つの安全性と2つの汎用タスクの実験から、ROSEは5種類の命令調整LDMに対して、一貫した、重要な安全性向上(+13.8%の安全性スコア)をもたらすだけでなく、LLMの汎用能力にも恩恵をもたらすことが示されている。
  論文  参考訳（メタデータ） (2024-02-19T06:58:42Z)
• Nevermind: Instruction Override and Moderation in Large Language Models [2.0935496890864207]
  競合状況下での明示的な指示のタスクにおいて、最もポピュラーなプロプライエタリかつ異なるサイズのオープンソースモデルを調査し、ベンチマークする。 提案手法は,言語モデルが与えられた安全フィルタやガイドラインに従う能力と根本的に相反する。
  論文  参考訳（メタデータ） (2024-02-05T18:58:19Z)
• On Prompt-Driven Safeguarding for Large Language Models [172.13943777203377]
  表現空間では、入力クエリは通常、安全プロンプトによって「より高い拒絶」方向に移動される。 これらの知見に触発されて,安全性向上,すなわちDROの最適化手法を提案する。 安全性プロンプトを継続的かつトレーニング可能な埋め込みとして扱うことで、DROは、その有害性に応じて、クエリの表現を拒否方向に沿ってあるいは反対に移動させることを学ぶ。
  論文  参考訳（メタデータ） (2024-01-31T17:28:24Z)
• From Language Modeling to Instruction Following: Understanding the Behavior Shift in LLMs after Instruction Tuning [63.63840740526497]
  そこで本研究では,本質的な変化に着目した事前学習モデルの調整方法について検討する。 次に、事前訓練されたモデルと命令調整されたモデルから導かれた説明を比較することで、命令チューニングの影響について研究する。 この結果から,指導指導の3つの重要な影響が明らかになった。
  論文  参考訳（メタデータ） (2023-09-30T21:16:05Z)
• Evaluating the Instruction-Following Robustness of Large Language Models to Prompt Injection [70.28425745910711]
  LLM(Large Language Models)は、命令追従に非常に熟練した言語である。 この能力は、迅速なインジェクション攻撃のリスクをもたらす。 このような攻撃に対する命令追従LDMの堅牢性を評価する。
  論文  参考訳（メタデータ） (2023-08-17T06:21:50Z)
• Latent Jailbreak: A Benchmark for Evaluating Text Safety and Output Robustness of Large Language Models [28.37026309925163]
  大きな言語モデル(LLM)は人間の値と一致し、安全なテキストを生成するように設計されている。 以前のJailbreaking LLMのベンチマークでは、主にモデルの安全性の評価に焦点が当てられていた。 本稿では,LLMの安全性とロバスト性を両立させ,バランスの取れたアプローチの必要性を強調した。
  論文  参考訳（メタデータ） (2023-07-17T13:49:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。