論文の概要: PKU-SafeRLHF: Towards Multi-Level Safety Alignment for LLMs with Human Preference

• arxiv url: http://arxiv.org/abs/2406.15513v2
• Date: Wed, 16 Oct 2024 01:33:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-17 13:39:55.890576
• Title: PKU-SafeRLHF: Towards Multi-Level Safety Alignment for LLMs with Human Preference
• Title（参考訳）: PKU-SafeRLHF:人間の選好によるLLMのマルチレベル安全アライメントを目指して
• Authors: Jiaming Ji, Donghai Hong, Borong Zhang, Boyuan Chen, Josef Dai, Boren Zheng, Tianyi Qiu, Boxun Li, Yaodong Yang,
• Abstract要約: PKU-SafeRLHFデータセットは、大規模言語モデル(LLM)における安全性アライメントの研究を促進するために設計された。 全体として、44.6kの精巧なプロンプトと265kの質問応答ペアに、安全メタラベルを19の有害カテゴリーと3つの重度レベルを付与する。
• 参考スコア（独自算出の注目度）: 9.883296844539839
• License:
• Abstract: In this work, we introduce the PKU-SafeRLHF dataset, designed to promote research on safety alignment in large language models (LLMs). As a sibling project to SafeRLHF and BeaverTails, we separate annotations of helpfulness and harmlessness for question-answering pairs, providing distinct perspectives on these coupled attributes. Overall, we provide 44.6k refined prompts and 265k question-answer pairs with safety meta-labels for 19 harm categories and three severity levels ranging from minor to severe, with answers generated by Llama-family models. Based on this, we collected 166.8k preference data, including dual-preference (helpfulness and harmlessness decoupled) and single-preference data (trade-off the helpfulness and harmlessness from scratch), respectively. Using the large-scale annotation data, we further train severity-sensitive moderation for the risk control of LLMs and safety-centric RLHF algorithms for the safety alignment of LLMs. We believe this dataset will be a valuable resource for the community, aiding in the safe deployment of LLMs.
• Abstract（参考訳）: 本研究では,大規模言語モデル(LLM)における安全性アライメントの研究を促進するために設計されたPKU-SafeRLHFデータセットを紹介する。 SafeRLHF と BeaverTails の兄弟プロジェクトとして,質問応答ペアに対する有用性と無害性のアノテーションを分離し,これらの属性を個別に考察する。 全体として、44.6kの精巧なプロンプトと265kの質問応答ペアに、安全メタラベルを19の有害カテゴリに対して備え、軽度から重度まで3つの重度レベルをLlama- Familyモデルで生成する。 これに基づいて,2つの選好データ(無害・無害・無害)と1つの選好データ(無害・無害をゼロから引き離す)を含む166.8kの選好データを収集した。 大規模アノテーションデータを用いて,LLMのリスク管理のための重度感性モデレーションと,LLMの安全アライメントのための安全中心RLHFアルゴリズムをさらに訓練する。 このデータセットはコミュニティにとって貴重なリソースであり、LLMの安全なデプロイを支援するものだと考えています。

関連論文リスト

• Equilibrate RLHF: Towards Balancing Helpfulness-Safety Trade-off in Large Language Models [24.168387024091082]
  人間の好みに基づく微調整型大規模言語モデル(LLM)は,その性能向上に有効である。 微調整プロセスを通して安全性を維持することは、依然として大きな課題である。 トレーニングデータが少ない場合でも安全性を向上する平衡RLHFフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-02-17T08:40:30Z)
• Aegis2.0: A Diverse AI Safety Dataset and Risks Taxonomy for Alignment of LLM Guardrails [4.697160328460634]
  大規模言語モデル(LLM)と生成AIが普及している。 LLM関連の安全リスクの完全なスペクトルに対処する、高品質で人間による注釈付きデータセットの欠如は明らかです。 安全リスクを分類するための包括的かつ適応可能な分類法を提案する。
  論文  参考訳（メタデータ） (2025-01-15T18:37:08Z)
• Bi-Factorial Preference Optimization: Balancing Safety-Helpfulness in Language Models [94.39278422567955]
  人間の嗜好を微調整した大型言語モデル(LLM)は、その能力向上に成功している。 しかし、微調整中のLLMの安全性確保は依然として重要な懸念事項である。 本稿では,BFPO(Bi-Factorial Preference Optimization)と呼ばれる教師あり学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-08-27T17:31:21Z)
• Refuse Whenever You Feel Unsafe: Improving Safety in LLMs via Decoupled Refusal Training [67.30423823744506]
  本研究では,Large Language Models (LLMs) の安全性チューニングにおける重要なギャップについて考察する。 我々は,LLMに対して,いかなる応答位置においても有害なプロンプトへのコンプライアンスを拒否する権限を与える新しいアプローチであるDecoupled Refusal Training(DeRTa)を導入する。 DeRTaは、(1)安全応答の開始に有害な応答のセグメントを付加することにより、安全でないコンテンツを認識・回避するようモデルに訓練する、(1)有害応答前フィックスによる最大限の類似度推定、(2)有害応答の開始を通して潜在的害から安全拒絶へ継続的に移行する能力を持つ強化遷移最適化(RTO)という2つの新しいコンポーネントを組み込んでいる。
  論文  参考訳（メタデータ） (2024-07-12T09:36:33Z)
• Towards Comprehensive Post Safety Alignment of Large Language Models via Safety Patching [74.62818936088065]
  textscSafePatchingは包括的なPSAのための新しいフレームワークである。 textscSafePatchingはベースラインメソッドよりも包括的なPSAを実現する。 textscSafePatchingは、連続的なPSAシナリオにおいて、その優位性を示している。
  論文  参考訳（メタデータ） (2024-05-22T16:51:07Z)
• ALERT: A Comprehensive Benchmark for Assessing Large Language Models' Safety through Red Teaming [64.86326523181553]
  ALERTは、新しいきめ細かいリスク分類に基づいて安全性を評価するための大規模なベンチマークである。 脆弱性を特定し、改善を通知し、言語モデルの全体的な安全性を高めることを目的としている。
  論文  参考訳（メタデータ） (2024-04-06T15:01:47Z)
• Emulated Disalignment: Safety Alignment for Large Language Models May Backfire! [65.06450319194454]
  大きな言語モデル(LLM)は、人間との安全な会話を確保するために安全アライメントを行う。 本稿では,安全アライメントの反転が可能なトレーニングフリーアタック手法を提案する。 本手法をエミュレートした脱アライメント (ED) と呼ぶのは, このコントラスト分布からのサンプリングは, 安全報酬を最小限に抑えるため, 微調整の結果を確実にエミュレートするからである。
  論文  参考訳（メタデータ） (2024-02-19T18:16:51Z)
• Fake Alignment: Are LLMs Really Aligned Well? [91.26543768665778]
  本研究では,複数質問とオープンエンド質問の相違点について検討した。 ジェイルブレイク攻撃パターンの研究にインスパイアされた我々は、これが不一致の一般化によって引き起こされたと論じている。
  論文  参考訳（メタデータ） (2023-11-10T08:01:23Z)
• Safe RLHF: Safe Reinforcement Learning from Human Feedback [16.69413517494355]
  本稿では,人的価値アライメントのための新しいアルゴリズムである,人的フィードバックからの安全強化学習(Safe RLHF)を提案する。 安全RLHFは、役に立つことと無害性に関する人間の嗜好を明示的に分離し、クラウドワーカーの緊張に対する混乱を効果的に回避する。 モデル性能を高めながら有害な応答を緩和する優れた能力を示す。
  論文  参考訳（メタデータ） (2023-10-19T14:22:03Z)
• BeaverTails: Towards Improved Safety Alignment of LLM via a Human-Preference Dataset [20.77753605374455]
  BeaverTailsデータセットは、大規模言語モデル(LLM)における安全性アライメントの研究を促進することを目的としている 333,963組の質問回答(QA)と361,903組の専門家比較データを収集した。
  論文  参考訳（メタデータ） (2023-07-10T15:56:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。