論文の概要: The Art of Defending: A Systematic Evaluation and Analysis of LLM Defense Strategies on Safety and Over-Defensiveness

• arxiv url: http://arxiv.org/abs/2401.00287v1
• Date: Sat, 30 Dec 2023 17:37:06 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-03 18:06:27.952676
• Title: The Art of Defending: A Systematic Evaluation and Analysis of LLM Defense Strategies on Safety and Over-Defensiveness
• Title（参考訳）: 防衛技術:LLM防衛戦略の安全性と過度依存度に関する体系的評価と分析
• Authors: Neeraj Varshney, Pavel Dolin, Agastya Seth, Chitta Baral
• Abstract要約: 大規模言語モデル(LLM)は、自然言語処理アプリケーションにおいて、ますます重要な役割を担っている。 本稿では,SODE(Safety and Over-Defensiveness Evaluation)ベンチマークを提案する。
• 参考スコア（独自算出の注目度）: 56.174255970895466
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: As Large Language Models (LLMs) play an increasingly pivotal role in natural language processing applications, their safety concerns become critical areas of NLP research. This paper presents Safety and Over-Defensiveness Evaluation (SODE) benchmark: a collection of diverse safe and unsafe prompts with carefully designed evaluation methods that facilitate systematic evaluation, comparison, and analysis over 'safety' and 'over-defensiveness.' With SODE, we study a variety of LLM defense strategies over multiple state-of-the-art LLMs, which reveals several interesting and important findings, such as (a) the widely popular 'self-checking' techniques indeed improve the safety against unsafe inputs, but this comes at the cost of extreme over-defensiveness on the safe inputs, (b) providing a safety instruction along with in-context exemplars (of both safe and unsafe inputs) consistently improves safety and also mitigates undue over-defensiveness of the models, (c) providing contextual knowledge easily breaks the safety guardrails and makes the models more vulnerable to generating unsafe responses. Overall, our work reveals numerous such critical findings that we believe will pave the way and facilitate further research in improving the safety of LLMs.
• Abstract（参考訳）: 大規模言語モデル(LLM)は自然言語処理アプリケーションにおいてますます重要な役割を担っているため、その安全性に関する懸念はNLP研究の重要な領域となっている。 本稿では,安全・過失評価(sode)ベンチマークについて,安全・過失評価・過失評価に関する体系的評価・比較・分析を容易にする,慎重に設計した評価手法を用いた多種多様な安全・非安全プロンプトの収集について述べる。 SODE を用いて,複数の最先端 LLM に対する多種多様な LLM 防衛戦略について検討し,興味深く重要な発見がいくつか示された。 (a) 広く普及している「自己チェック」技術は、安全でない入力に対する安全性を確実に向上させるが、これは安全入力に対する過度な過度な防御コストが伴う。 b) 安全指導と(安全かつ安全でない入力の両方の)文脈内例示を提供することは、安全を一貫して改善するとともに、モデルの過度な過剰な防御を緩和する。 (c) 文脈的な知識を提供することで、安全ガードレールが壊れやすくなり、モデルが安全でない応答を生成することに対する脆弱性が増す。 本研究は全体として,LSMの安全性向上に向けたさらなる研究の道筋を築き,促進すると考えられる多くの重要な発見を明らかにするものである。

関連論文リスト

• Multimodal Situational Safety [73.63981779844916]
  マルチモーダル・シチュエーション・セーフティ(Multimodal situational Safety)と呼ばれる新しい安全課題の評価と分析を行う。 MLLMが言語やアクションを通じても安全に応答するためには、言語クエリが対応する視覚的コンテキスト内での安全性への影響を評価する必要があることが多い。 我々は,現在のMLLMの状況安全性能を評価するためのマルチモーダル状況安全ベンチマーク(MSSBench)を開発した。
  論文  参考訳（メタデータ） (2024-10-08T16:16:07Z)
• Feasibility Consistent Representation Learning for Safe Reinforcement Learning [25.258227763316228]
  FCSRL(Fasibility Consistent Safe Reinforcement Learning)という新しいフレームワークを導入する。 本フレームワークは、表現学習と実現可能性指向の目的を組み合わせることで、安全RLのために生の状態から安全関連情報を識別し、抽出する。 本手法は,従来の表現学習ベースラインよりも安全性に配慮した埋め込みを学習し,優れた性能を実現する。
  論文  参考訳（メタデータ） (2024-05-20T01:37:21Z)
• SALAD-Bench: A Hierarchical and Comprehensive Safety Benchmark for Large Language Models [107.82336341926134]
  SALAD-Benchは、大規模言語モデル(LLM)を評価するために特別に設計された安全ベンチマークである。 それは、その大規模な、豊富な多様性、三つのレベルにまたがる複雑な分類、多目的機能を通じて、従来のベンチマークを超越している。
  論文  参考訳（メタデータ） (2024-02-07T17:33:54Z)
• Safety Assessment of Chinese Large Language Models [51.83369778259149]
  大規模言語モデル(LLM)は、侮辱や差別的なコンテンツを生成し、誤った社会的価値を反映し、悪意のある目的のために使用されることがある。 安全で責任があり倫理的なAIの展開を促進するため、LLMによる100万の強化プロンプトとレスポンスを含むセーフティプロンプトをリリースする。
  論文  参考訳（メタデータ） (2023-04-20T16:27:35Z)
• Towards Safer Generative Language Models: A Survey on Safety Risks, Evaluations, and Improvements [76.80453043969209]
  本調査では,大規模モデルに関する安全研究の枠組みについて述べる。 まず、広範囲にわたる安全問題を導入し、その後、大型モデルの安全性評価手法を掘り下げる。 トレーニングからデプロイメントまで,大規模なモデルの安全性を高めるための戦略について検討する。
  論文  参考訳（メタデータ） (2023-02-18T09:32:55Z)
• Evaluating Model-free Reinforcement Learning toward Safety-critical Tasks [70.76757529955577]
  本稿では、国家安全RLの観点から、この領域における先行研究を再考する。 安全最適化と安全予測を組み合わせた共同手法であるUnrolling Safety Layer (USL)を提案する。 この領域のさらなる研究を容易にするため、我々は関連するアルゴリズムを統一パイプラインで再現し、SafeRL-Kitに組み込む。
  論文  参考訳（メタデータ） (2022-12-12T06:30:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。