論文の概要: Safe-Embed: Unveiling the Safety-Critical Knowledge of Sentence Encoders

• arxiv url: http://arxiv.org/abs/2407.06851v1
• Date: Tue, 9 Jul 2024 13:35:54 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-10 17:57:30.812857
• Title: Safe-Embed: Unveiling the Safety-Critical Knowledge of Sentence Encoders
• Title（参考訳）: セーフエンベッド: 文エンコーダの安全批判的知識を明らかにする
• Authors: Jinseok Kim, Jaewon Jung, Sangyeop Kim, Sohyung Park, Sungzoon Cho,
• Abstract要約: UnsafeプロンプトはLarge Language Models (LLM)に重大な脅威をもたらす 本稿では,安全でないプロンプトと区別する文エンコーダの可能性について検討する。 我々は、この能力を測定するために、新しいペアワイズデータセットとカテゴリパーティメトリックを導入します。
• 参考スコア（独自算出の注目度）: 5.070104802923903
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite the impressive capabilities of Large Language Models (LLMs) in various tasks, their vulnerability to unsafe prompts remains a critical issue. These prompts can lead LLMs to generate responses on illegal or sensitive topics, posing a significant threat to their safe and ethical use. Existing approaches attempt to address this issue using classification models, but they have several drawbacks. With the increasing complexity of unsafe prompts, similarity search-based techniques that identify specific features of unsafe prompts provide a more robust and effective solution to this evolving problem. This paper investigates the potential of sentence encoders to distinguish safe from unsafe prompts, and the ability to classify various unsafe prompts according to a safety taxonomy. We introduce new pairwise datasets and the Categorical Purity (CP) metric to measure this capability. Our findings reveal both the effectiveness and limitations of existing sentence encoders, proposing directions to improve sentence encoders to operate as more robust safety detectors. Our code is available at https://github.com/JwdanielJung/Safe-Embed.
• Abstract（参考訳）: さまざまなタスクにおけるLLM(Large Language Models)の印象的な機能にもかかわらず、安全でないプロンプトに対する脆弱性は依然として重大な問題である。 これらのプロンプトは、LLMに違法または機密性の高いトピックに対する反応を誘導し、安全で倫理的な使用に重大な脅威をもたらす可能性がある。 既存のアプローチでは、分類モデルを使ってこの問題に対処しようとするが、いくつかの欠点がある。 安全でないプロンプトの複雑さの増大に伴い、安全でないプロンプトの特定の特徴を特定する類似性検索ベースの技術は、この進化する問題に対してより堅牢で効果的な解決策を提供する。 本稿では, 安全でないプロンプトと安全でないプロンプトを区別する文エンコーダの可能性と, 安全分類に基づく様々なアンセーフなプロンプトを分類する能力について検討する。 我々は、この能力を測定するために、新しいペアワイズデータセットとカテゴリ純粋度(CP)メトリクスを導入します。 以上の結果から,既存の文エンコーダの有効性と限界が明らかとなり,文エンコーダをより堅牢な安全検知器として運用するための方向性が提案された。 私たちのコードはhttps://github.com/JwdanielJung/Safe-Embed.comで入手可能です。

関連論文リスト

• Root Defence Strategies: Ensuring Safety of LLM at the Decoding Level [10.658844160259104]
  大規模言語モデル (LLM) は様々な産業で大きな有用性を示している。 LLMが進むにつれて、不正または悪意のある命令プロンプトによって有害な出力のリスクが増大する。 本稿では, LLMが有害な出力を認識する能力について検討し, 従来のトークンの危険性を評価する能力を明らかにし, 定量化する。
  論文  参考訳（メタデータ） (2024-10-09T12:09:30Z)
• Multimodal Situational Safety [73.63981779844916]
  マルチモーダル・シチュエーション・セーフティ(Multimodal situational Safety)と呼ばれる新しい安全課題の評価と分析を行う。 MLLMが言語やアクションを通じても安全に応答するためには、言語クエリが対応する視覚的コンテキスト内での安全性への影響を評価する必要があることが多い。 我々は,現在のMLLMの状況安全性能を評価するためのマルチモーダル状況安全ベンチマーク(MSSBench)を開発した。
  論文  参考訳（メタデータ） (2024-10-08T16:16:07Z)
• Can You Trust Your Metric? Automatic Concatenation-Based Tests for Metric Validity [9.355471292024061]
  GPTをベースとした有害度検出指標は、決定フリッピング現象を示す。 GPT-4oのような高度な計量でさえ、入力順序に非常に敏感である。
  論文  参考訳（メタデータ） (2024-08-22T09:57:57Z)
• Nothing in Excess: Mitigating the Exaggerated Safety for LLMs via Safety-Conscious Activation Steering [56.92068213969036]
  重大言語モデル(LLM)が悪意のある命令から脅威を守るためには、安全性の調整が不可欠である。 近年の研究では、過大な安全性の問題により、安全性に配慮したLCMは、良質な問い合わせを拒否する傾向にあることが明らかになっている。 過大な安全性の懸念を和らげるために,SCANS法を提案する。
  論文  参考訳（メタデータ） (2024-08-21T10:01:34Z)
• SafeInfer: Context Adaptive Decoding Time Safety Alignment for Large Language Models [5.6874111521946356]
  安全に整合した言語モデルは、しばしば脆弱で不均衡な安全メカニズムを示す。 文脈適応型デコード型安全アライメント戦略であるSafeInferを提案する。 HarmEvalは、広範な安全性評価のための新しいベンチマークである。
  論文  参考訳（メタデータ） (2024-06-18T05:03:23Z)
• Towards Comprehensive and Efficient Post Safety Alignment of Large Language Models via Safety Patching [77.36097118561057]
  textscSafePatchingは包括的で効率的なPSAのための新しいフレームワークである。 textscSafePatchingはベースラインメソッドよりも包括的で効率的なPSAを実現する。
  論文  参考訳（メタデータ） (2024-05-22T16:51:07Z)
• CodeAttack: Revealing Safety Generalization Challenges of Large Language Models via Code Completion [117.178835165855]
  本稿では,自然言語入力をコード入力に変換するフレームワークであるCodeAttackを紹介する。 我々の研究は、コード入力に対するこれらのモデルの新たな、普遍的な安全性の脆弱性を明らかにした。 CodeAttackと自然言語の分布ギャップが大きくなると、安全性の一般化が弱くなる。
  論文  参考訳（メタデータ） (2024-03-12T17:55:38Z)
• On Prompt-Driven Safeguarding for Large Language Models [172.13943777203377]
  表現空間では、入力クエリは通常、安全プロンプトによって「より高い拒絶」方向に移動される。 これらの知見に触発されて,安全性向上,すなわちDROの最適化手法を提案する。 安全性プロンプトを継続的かつトレーニング可能な埋め込みとして扱うことで、DROは、その有害性に応じて、クエリの表現を拒否方向に沿ってあるいは反対に移動させることを学ぶ。
  論文  参考訳（メタデータ） (2024-01-31T17:28:24Z)
• Can LLMs Patch Security Issues? [1.3299507495084417]
  LLM(Large Language Models)は、コード生成に優れた習熟度を示している。 LLMは人間と弱点を共有している。 我々は、LLMが生成した脆弱性のあるコードを自動的に洗練するフィードバック駆動セキュリティパッチング(FDSP)を提案する。
  論文  参考訳（メタデータ） (2023-11-13T08:54:37Z)
• Certifying LLM Safety against Adversarial Prompting [75.19953634352258]
  大規模言語モデル(LLM)は、入力プロンプトに悪意のあるトークンを追加する敵攻撃に対して脆弱である。 我々は,認証された安全保証とともに,敵のプロンプトを防御する最初の枠組みである消去・チェックを導入する。
  論文  参考訳（メタデータ） (2023-09-06T04:37:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。