論文の概要: Aegis2.0: A Diverse AI Safety Dataset and Risks Taxonomy for Alignment of LLM Guardrails

• arxiv url: http://arxiv.org/abs/2501.09004v1
• Date: Wed, 15 Jan 2025 18:37:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-16 15:52:40.865960
• Title: Aegis2.0: A Diverse AI Safety Dataset and Risks Taxonomy for Alignment of LLM Guardrails
• Title（参考訳）: Aegis2.0 - LLMガードレールのアライメントのためのAI安全データセットとリスク分類
• Authors: Shaona Ghosh, Prasoon Varshney, Makesh Narsimhan Sreedhar, Aishwarya Padmakumar, Traian Rebedea, Jibin Rajan Varghese, Christopher Parisien,
• Abstract要約: 大規模言語モデル(LLM)と生成AIが普及している。 LLM関連の安全リスクの完全なスペクトルに対処する、高品質で人間による注釈付きデータセットの欠如は明らかです。 安全リスクを分類するための包括的かつ適応可能な分類法を提案する。
• 参考スコア（独自算出の注目度）: 4.697160328460634
• License:
• Abstract: As Large Language Models (LLMs) and generative AI become increasingly widespread, concerns about content safety have grown in parallel. Currently, there is a clear lack of high-quality, human-annotated datasets that address the full spectrum of LLM-related safety risks and are usable for commercial applications. To bridge this gap, we propose a comprehensive and adaptable taxonomy for categorizing safety risks, structured into 12 top-level hazard categories with an extension to 9 fine-grained subcategories. This taxonomy is designed to meet the diverse requirements of downstream users, offering more granular and flexible tools for managing various risk types. Using a hybrid data generation pipeline that combines human annotations with a multi-LLM "jury" system to assess the safety of responses, we obtain Aegis 2.0, a carefully curated collection of 34,248 samples of human-LLM interactions, annotated according to our proposed taxonomy. To validate its effectiveness, we demonstrate that several lightweight models, trained using parameter-efficient techniques on Aegis 2.0, achieve performance competitive with leading safety models fully fine-tuned on much larger, non-commercial datasets. In addition, we introduce a novel training blend that combines safety with topic following data.This approach enhances the adaptability of guard models, enabling them to generalize to new risk categories defined during inference. We plan to open-source Aegis 2.0 data and models to the research community to aid in the safety guardrailing of LLMs.
• Abstract（参考訳）: 大規模言語モデル(LLM)と生成AIが普及するにつれ、コンテンツ安全性に関する懸念が並行して高まっている。 現在、LCM関連の安全リスクの完全なスペクトルに対処し、商用アプリケーションに使用可能な、高品質で人間による注釈付きデータセットが明らかに欠如している。 このギャップを埋めるために, 安全リスクを分類する包括的かつ適応可能な分類法を提案する。 この分類法は、下流ユーザの多様な要件を満たすように設計されており、さまざまなリスクタイプを管理するためのより粒度が高く柔軟なツールを提供する。 人間のアノテーションとマルチLLMの"ジャリー"システムを組み合わせたハイブリッドデータ生成パイプラインを用いて応答の安全性を評価する。 提案手法の有効性を検証するため,Aegis 2.0上でパラメータ効率のよい手法を用いて訓練した軽量モデルにおいて,より大規模で非商用なデータセットで完全に調整された主要な安全モデルとの競合性を実証した。 さらに、安全とトピックフォローデータを組み合わせた新しいトレーニングブレンドを導入し、ガードモデルの適応性を高め、推論中に定義された新たなリスクカテゴリに一般化できるようにする。 我々は,LLMの安全ガードレールを支援するために,Aegis 2.0データとモデルを研究コミュニティにオープンソース化する計画である。

関連論文リスト

• LLMEmb: Large Language Model Can Be a Good Embedding Generator for Sequential Recommendation [57.49045064294086]
  大きな言語モデル(LLM)は、その人気とは無関係に、アイテム間の意味的関係をキャプチャする能力を持つ。 LLMEmb(LLMEmb)は、LCMを利用してアイテム埋め込みを生成し、逐次レコメンダシステム(SRS)の性能を向上させる手法である。
  論文  参考訳（メタデータ） (2024-09-30T03:59:06Z)
• Unleash LLMs Potential for Recommendation by Coordinating Twin-Tower Dynamic Semantic Token Generator [60.07198935747619]
  動的セマンティック・インデックス・パラダイムを採用した最初の生成型RSであるTTDS(Twin-Tower Dynamic Semantic Recommender)を提案する。 より具体的には、ツイン・トワー・セマンティック・トークン・ジェネレータをLLMベースのレコメンデータに統合する動的知識融合フレームワークを初めて提案する。 提案したTTDSレコメンデータは,平均19.41%のヒットレート,20.84%のNDCG測定値を実現している。
  論文  参考訳（メタデータ） (2024-09-14T01:45:04Z)
• ShieldGemma: Generative AI Content Moderation Based on Gemma [49.91147965876678]
  ShieldGemmaは、Gemma2上に構築された安全コンテンツモデレーションモデルのスイートである。 モデルは、主要な危険タイプにわたる安全リスクの堅牢で最先端の予測を提供する。
  論文  参考訳（メタデータ） (2024-07-31T17:48:14Z)
• PKU-SafeRLHF: Towards Multi-Level Safety Alignment for LLMs with Human Preference [9.883296844539839]
  PKU-SafeRLHFデータセットは、大規模言語モデル(LLM)における安全性アライメントの研究を促進するために設計された。 全体として、44.6kの精巧なプロンプトと265kの質問応答ペアに、安全メタラベルを19の有害カテゴリーと3つの重度レベルを付与する。
  論文  参考訳（メタデータ） (2024-06-20T18:37:36Z)
• Model Merging and Safety Alignment: One Bad Model Spoils the Bunch [70.614652904151]
  LLM(Merging Large Language Models)は、複数の専門家のLLMを1つの汎用モデルに結合するコスト効率のよい手法である。 現在のアプローチでは、マージ時の安全性の整合性の重要性を見落とし、非常に不整合のモデルに繋がることが多い。 我々は,既存の手法がドメインの専門知識を伝達するだけでなく,ミスアライメントを伝播することを示すために,いくつかの一般的なモデルマージ手法を評価した。
  論文  参考訳（メタデータ） (2024-06-20T17:59:58Z)
• AEGIS: Online Adaptive AI Content Safety Moderation with Ensemble of LLM Experts [0.0]
  大規模言語モデル(LLM)や生成AIの普及に伴い、その使用に伴うコンテンツ安全性のリスクも増大する。 高品質なコンテンツ安全性データセットとベンチマークには、広範囲のクリティカルな安全領域を包括的にカバーする注目すべき欠如がある。 これを解決するために、13の危険リスクと9のスパースリスクカテゴリからなる幅広いコンテンツ安全リスク分類を定義した。
  論文  参考訳（メタデータ） (2024-04-09T03:54:28Z)
• Ensuring Safe and High-Quality Outputs: A Guideline Library Approach for Language Models [48.9044202022435]
  大きな言語モデル(LLM)は印象的な能力を示すだけでなく、バイアスのあるコンテンツ生成やプライバシの問題といったリスクも提示する。 現在のアライメント手法の1つは原則駆動の統合であるが、手作業によるルールの不正確さに起因する課題に直面している。 これらの課題に対処するための2段階のアプローチである Guide-Align を紹介します。
  論文  参考訳（メタデータ） (2024-03-18T14:48:29Z)
• Model Stealing Attack against Graph Classification with Authenticity, Uncertainty and Diversity [80.16488817177182]
  GNNは、クエリ許可を通じてターゲットモデルを複製するための悪行であるモデル盗難攻撃に対して脆弱である。 異なるシナリオに対応するために,3つのモデルステルス攻撃を導入する。
  論文  参考訳（メタデータ） (2023-12-18T05:42:31Z)
• Llama Guard: LLM-based Input-Output Safeguard for Human-AI Conversations [29.32704733570445]
  我々は人間とAIの会話のユースケースを対象とした入出力保護モデルであるLlama Guardを紹介した。 ラマガードは、特定の安全リスクを分類する貴重なツールである安全リスク分類を取り入れている。 Llama Guardは、OpenAIモデレーション評価データセットやToxicChatなど、既存のベンチマークで強力なパフォーマンスを示している。
  論文  参考訳（メタデータ） (2023-12-07T19:40:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。