論文の概要: From Representational Harms to Quality-of-Service Harms: A Case Study on Llama 2 Safety Safeguards

• arxiv url: http://arxiv.org/abs/2403.13213v4
• Date: Fri, 5 Jul 2024 15:40:13 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-08 23:33:46.532125
• Title: From Representational Harms to Quality-of-Service Harms: A Case Study on Llama 2 Safety Safeguards
• Title（参考訳）: 表現的ハームからサービス品質ハームへ:Llama 2の安全保護を事例として
• Authors: Khaoula Chehbouni, Megha Roshan, Emmanuel Ma, Futian Andrew Wei, Afaf Taik, Jackie CK Cheung, Golnoosh Farnadi,
• Abstract要約: 我々は、既に緩和されたバイアスのモデルを評価することにより、安全対策の有効性を検討する。 非有毒なプロンプトのセットを作成し、それをLlamaモデルの評価に用いる。 安全と健康のトレードオフは、サービス品質の害につながる可能性のある特定の人口集団にとってより顕著である。
• 参考スコア（独自算出の注目度）: 4.0645651835677565
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent progress in large language models (LLMs) has led to their widespread adoption in various domains. However, these advancements have also introduced additional safety risks and raised concerns regarding their detrimental impact on already marginalized populations. Despite growing mitigation efforts to develop safety safeguards, such as supervised safety-oriented fine-tuning and leveraging safe reinforcement learning from human feedback, multiple concerns regarding the safety and ingrained biases in these models remain. Furthermore, previous work has demonstrated that models optimized for safety often display exaggerated safety behaviors, such as a tendency to refrain from responding to certain requests as a precautionary measure. As such, a clear trade-off between the helpfulness and safety of these models has been documented in the literature. In this paper, we further investigate the effectiveness of safety measures by evaluating models on already mitigated biases. Using the case of Llama 2 as an example, we illustrate how LLMs' safety responses can still encode harmful assumptions. To do so, we create a set of non-toxic prompts, which we then use to evaluate Llama models. Through our new taxonomy of LLMs responses to users, we observe that the safety/helpfulness trade-offs are more pronounced for certain demographic groups which can lead to quality-of-service harms for marginalized populations.
• Abstract（参考訳）: 大規模言語モデル(LLM)の最近の進歩は、様々な領域で広く採用されている。 しかし、これらの進歩は安全性のリスクを増し、既に過疎化されている人口に対する有害な影響を懸念している。 安全指向の微調整の監督や、人間のフィードバックからの安全な強化学習の活用など、安全性の保護を開発するための緩和努力が増加しているが、これらのモデルにおける安全性と微妙なバイアスに関する複数の懸念が残っている。 さらに、安全のために最適化されたモデルは、予防措置として特定の要求に対する応答を控える傾向など、過大な安全行動を示すことが多いことを以前の研究は示している。 このように、これらのモデルの有用性と安全性の明確なトレードオフが文献に記録されている。 本稿では,すでに緩和されているバイアスに対するモデル評価による安全対策の有効性について検討する。 Llama 2 の例を用いて、LLM の安全応答が有害な仮定をエンコードする方法を説明している。 そのために、無害なプロンプトの集合を作り、それをLlamaモデルの評価に用いる。 利用者に対するLSMs応答の新たな分類法により、一部の人口集団では、安全と健康のトレードオフがより顕著になり、人口過疎化によるサービス品質の害につながることが観察された。

関連論文リスト

• How Jailbreak Defenses Work and Ensemble? A Mechanistic Investigation [39.44000290664494]
  ジェイルブレイク攻撃は、生成モデルのビルトインセーフをバイパスする有害なプロンプトであり、モデルの脆弱性に対する深刻な懸念を引き起こす。 本稿では,標準生成タスクをバイナリ分類問題として再検討することにより,ジェイルブレイク防御を体系的に検討する。 我々は,全てのクエリに対する拒絶率を増加させる安全性シフトと,有害な入力と良質な入力を区別するモデルの能力を向上させる有害性判別という2つの主要な防御メカニズムを同定する。
  論文  参考訳（メタデータ） (2025-02-20T12:07:40Z)
• Vulnerability Mitigation for Safety-Aligned Language Models via Debiasing [12.986006070964772]
  安全性アライメントは、現実世界のAIアプリケーションにとって重要な研究トピックである。 本研究はまず,モデルの有用性を犠牲にすることなく,このような脆弱性を除去することの難しさを明らかにした。 本手法は,安全性を維持しつつモデルの有用性を高め,トレードオフを改善できる。
  論文  参考訳（メタデータ） (2025-02-04T09:31:54Z)
• Internal Activation as the Polar Star for Steering Unsafe LLM Behavior [50.463399903987245]
  SafeSwitchは、モデルの内部状態を監視し、利用することによって、安全でない出力を動的に制御するフレームワークである。 実証実験の結果,SafeSwitchは安全性ベンチマークで80%以上の有害な出力を削減し,有効性を維持していることがわかった。
  論文  参考訳（メタデータ） (2025-02-03T04:23:33Z)
• Agent-SafetyBench: Evaluating the Safety of LLM Agents [72.92604341646691]
  我々は,大規模言語モデル(LLM)の安全性を評価するための総合ベンチマークであるAgent-SafetyBenchを紹介する。 Agent-SafetyBenchは349のインタラクション環境と2,000のテストケースを含み、安全リスクの8つのカテゴリを評価し、安全でないインタラクションで頻繁に発生する10の一般的な障害モードをカバーする。 16 名の LLM エージェントを評価した結果,いずれのエージェントも 60% 以上の安全性スコアを達成できないことがわかった。
  論文  参考訳（メタデータ） (2024-12-19T02:35:15Z)
• On Evaluating the Durability of Safeguards for Open-Weight LLMs [80.36750298080275]
  我々は,大規模言語モデル(LLM)の誤用を技術的保護が阻害するか否かを論じる。 これらの防御を評価することさえ非常に困難であり、観客を誤解させることなく、安全は実際のものよりも耐久性が高いと考えることが示される。 今後の研究は、より制約があり、明確に定義され、厳密に検討された脅威モデルに注意深く対応することを提案します。
  論文  参考訳（メタデータ） (2024-12-10T01:30:32Z)
• Mitigating Unsafe Feedback with Learning Constraints [26.872318173182414]
  安全に配慮した大規模言語モデルは有害なテキストを生成することで、安全でない行動空間を探索できることを示す。 我々は、学習制約として有効であるかどうかを評価するために、有害な微調整防衛を「単純」と「明示」の両方に適応させる。
  論文  参考訳（メタデータ） (2024-09-19T17:10:34Z)
• SCANS: Mitigating the Exaggerated Safety for LLMs via Safety-Conscious Activation Steering [56.92068213969036]
  悪意のある命令から脅威を守るために、LLM(Large Language Models)には安全アライメントが不可欠である。 近年の研究では、過大な安全性の問題により、安全性に配慮したLCMは、良質な問い合わせを拒否する傾向にあることが明らかになっている。 過大な安全性の懸念を和らげるために,SCANS法を提案する。
  論文  参考訳（メタデータ） (2024-08-21T10:01:34Z)
• The Art of Defending: A Systematic Evaluation and Analysis of LLM Defense Strategies on Safety and Over-Defensiveness [56.174255970895466]
  大規模言語モデル(LLM)は、自然言語処理アプリケーションにおいて、ますます重要な役割を担っている。 本稿では,SODE(Safety and Over-Defensiveness Evaluation)ベンチマークを提案する。
  論文  参考訳（メタデータ） (2023-12-30T17:37:06Z)
• SMARLA: A Safety Monitoring Approach for Deep Reinforcement Learning Agents [7.33319373357049]
  本稿では,Deep Reinforcement Learning (DRL)エージェント用に特別に設計されたブラックボックス安全監視手法SMARLAを紹介する。 SMARLAは機械学習を利用して、実行中のエージェントの動作を観察し、安全違反を予測する。 実験の結果、SMARLAは偽陽性率の低い安全違反を予測するのに正確であり、違反が起こる前にエージェントの実行の途中で早期に違反を予測することができることが明らかになった。
  論文  参考訳（メタデータ） (2023-08-03T21:08:51Z)
• Towards Safer Generative Language Models: A Survey on Safety Risks, Evaluations, and Improvements [76.80453043969209]
  本調査では,大規模モデルに関する安全研究の枠組みについて述べる。 まず、広範囲にわたる安全問題を導入し、その後、大型モデルの安全性評価手法を掘り下げる。 トレーニングからデプロイメントまで,大規模なモデルの安全性を高めるための戦略について検討する。
  論文  参考訳（メタデータ） (2023-02-18T09:32:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。