論文の概要: SafetyAnalyst: Interpretable, transparent, and steerable LLM safety moderation

• arxiv url: http://arxiv.org/abs/2410.16665v1
• Date: Tue, 22 Oct 2024 03:38:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-23 14:30:41.399814
• Title: SafetyAnalyst: Interpretable, transparent, and steerable LLM safety moderation
• Title（参考訳）: SafetyAnalyst: 解釈可能、透過的、ステアブルなLCM安全モデレーション
• Authors: Jing-Jing Li, Valentina Pyatkin, Max Kleiman-Weiner, Liwei Jiang, Nouha Dziri, Anne G. E. Collins, Jana Schaich Borg, Maarten Sap, Yejin Choi, Sydney Levine,
• Abstract要約: 本稿では,新しいLLM安全モデレーションフレームワークであるSafetyAnalystを紹介する。 SafetyAnalystは、プロンプトが与えられたら、構造化された「ハームベネフィットツリー」を作成する。 そして、この構造化された表現を有害度スコアに集約する。
• 参考スコア（独自算出の注目度）: 56.10557932893919
• License:
• Abstract: The ideal LLM content moderation system would be both structurally interpretable (so its decisions can be explained to users) and steerable (to reflect a community's values or align to safety standards). However, current systems fall short on both of these dimensions. To address this gap, we present SafetyAnalyst, a novel LLM safety moderation framework. Given a prompt, SafetyAnalyst creates a structured "harm-benefit tree," which identifies 1) the actions that could be taken if a compliant response were provided, 2) the harmful and beneficial effects of those actions (along with their likelihood, severity, and immediacy), and 3) the stakeholders that would be impacted by those effects. It then aggregates this structured representation into a harmfulness score based on a parameterized set of safety preferences, which can be transparently aligned to particular values. Using extensive harm-benefit features generated by SOTA LLMs on 19k prompts, we fine-tuned an open-weight LM to specialize in generating harm-benefit trees through symbolic knowledge distillation. On a comprehensive set of prompt safety benchmarks, we show that our system (average F1=0.75) outperforms existing LLM safety moderation systems (average F1$<$0.72) on prompt harmfulness classification, while offering the additional advantages of interpretability and steerability.
• Abstract（参考訳）: 理想的なLCMコンテンツモデレーションシステムは、構造的に解釈可能であり(ユーザに対してその決定を説明できる)、(コミュニティの価値観を反映したり、安全基準に適合するように)操縦可能である。 しかし、現在のシステムはどちらの次元でも不足している。 このギャップに対処するために,新しいLLM安全モデレーションフレームワークであるSafetyAnalystを提案する。 SafetyAnalystは、プロンプトが与えられたとき、構造化された「ハームベネフィットツリー」を作成し、それを識別する。 1) 従属応答が提供された場合には,取るべき措置 2これらの行為の有害で有益な効果(その可能性、深刻さ、即時性とともに)及び 3)影響を受けそうな利害関係者。 次に、この構造化された表現をパラメータ化された安全選好セットに基づいて有害度スコアに集約し、特定の値に透過的に整合させることができる。 19kプロンプト上でSOTA LLMが生成する広範囲な耐害性特徴を用いて, シンボル的知識蒸留による耐害性木の生成を専門とするオープンウェイトLMを微調整した。 総合的な安全ベンチマークにおいて,我々のシステム(平均F1=0.75)は,有害度分類において既存のLCM安全性モデレーションシステム(平均F1$<0.72)よりも優れた性能を示し,解釈可能性と操縦性という付加的な利点を提供する。

関連論文リスト

• SafeBench: A Safety Evaluation Framework for Multimodal Large Language Models [75.67623347512368]
  MLLMの安全性評価を行うための総合的なフレームワークであるツールンを提案する。 我々のフレームワークは、包括的な有害なクエリデータセットと自動評価プロトコルで構成されています。 本研究では,広く利用されている15のオープンソースMLLMと6つの商用MLLMの大規模実験を行った。
  論文  参考訳（メタデータ） (2024-10-24T17:14:40Z)
• Locking Down the Finetuned LLMs Safety [33.56657036839617]
  特定の下流タスクのために最適化するためには、追加のデータセット上での微調整大型言語モデル(LLM)が必要であることが多い。 既存の安全アライメント対策は、推論中の有害な行動を制限するものであり、微調整時の安全性リスクを軽減するには不十分である。 そこで,本研究では,手直し後の堅牢な安全性を維持する新しいアライメント介入手法であるSafetyLockを紹介する。
  論文  参考訳（メタデータ） (2024-10-14T09:58:29Z)
• Root Defence Strategies: Ensuring Safety of LLM at the Decoding Level [10.658844160259104]
  大規模言語モデル (LLM) は様々な産業で大きな有用性を示している。 LLMが進むにつれて、不正または悪意のある命令プロンプトによって有害な出力のリスクが増大する。 本稿では, LLMが有害な出力を認識する能力について検討し, 従来のトークンの危険性を評価する能力を明らかにし, 定量化する。
  論文  参考訳（メタデータ） (2024-10-09T12:09:30Z)
• Superficial Safety Alignment Hypothesis [8.297367440457508]
  本稿では,安全アライメントが安全でないモデルに正しい推論方向を選択するよう教えるべきであるとする,表向きの安全アライメント仮説(SSAH)を提案する。 安全に整合した大言語モデル(LLM)における属性クリティカルな4つのコンポーネントを同定する。 本研究は,特定の安全クリティカル成分の凍結を微調整中に行うことにより,新しい作業に適応しつつ,その安全性特性を維持できることを示した。
  論文  参考訳（メタデータ） (2024-10-07T19:53:35Z)
• Jailbreak Antidote: Runtime Safety-Utility Balance via Sparse Representation Adjustment in Large Language Models [8.024771725860127]
  ジェイルブレイク攻撃は、大きな言語モデルを操作して有害なコンテンツを生成する。 Jailbreak Antidoteは、モデルの内部状態のスパースサブセットを操作することで、安全優先のリアルタイム調整を可能にする。 解析の結果,LLMの安全性関連情報はわずかに分散していることがわかった。
  論文  参考訳（メタデータ） (2024-10-03T08:34:17Z)
• Towards Comprehensive and Efficient Post Safety Alignment of Large Language Models via Safety Patching [77.36097118561057]
  textscSafePatchingは包括的で効率的なPSAのための新しいフレームワークである。 textscSafePatchingはベースラインメソッドよりも包括的で効率的なPSAを実現する。
  論文  参考訳（メタデータ） (2024-05-22T16:51:07Z)
• ALERT: A Comprehensive Benchmark for Assessing Large Language Models' Safety through Red Teaming [64.86326523181553]
  ALERTは、新しいきめ細かいリスク分類に基づいて安全性を評価するための大規模なベンチマークである。 脆弱性を特定し、改善を通知し、言語モデルの全体的な安全性を高めることを目的としている。
  論文  参考訳（メタデータ） (2024-04-06T15:01:47Z)
• Fine-tuning Aligned Language Models Compromises Safety, Even When Users Do Not Intend To! [88.90694413503614]
  LLMの安全性は微調整によって損なわれる可能性がある。 我々は、GPT-3.5の安全ガードレールを10種類の例で微調整することで、脱獄した。 我々は、協調LLMのカスタム微調整のための安全プロトコルの強化に向けたさらなる研究を提唱する。
  論文  参考訳（メタデータ） (2023-10-05T17:12:17Z)
• Safety Margins for Reinforcement Learning [53.10194953873209]
  安全マージンを生成するためにプロキシ臨界度メトリクスをどのように活用するかを示す。 Atari 環境での APE-X と A3C からの学習方針に対するアプローチを評価する。
  論文  参考訳（メタデータ） (2023-07-25T16:49:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。