論文の概要: GuardSet-X: Massive Multi-Domain Safety Policy-Grounded Guardrail Dataset

• arxiv url: http://arxiv.org/abs/2506.19054v2
• Date: Thu, 26 Jun 2025 03:18:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-27 13:31:57.737953
• Title: GuardSet-X: Massive Multi-Domain Safety Policy-Grounded Guardrail Dataset
• Title（参考訳）: GuardSet-X: 大規模マルチドメイン安全ポリシーを取り巻くガードレールデータセット
• Authors: Mintong Kang, Zhaorun Chen, Chejian Xu, Jiawei Zhang, Chengquan Guo, Minzhou Pan, Ivan Revilla, Yu Sun, Bo Li,
• Abstract要約: ここでは、最初の大規模マルチドメイン安全ポリシー付きガードレールデータセットであるGuardSet-Xを紹介する。 GuardSet-Xは金融、法律、CodeGenといった8つのセーフティクリティカルドメインにまたがる広範なドメインカバレッジを提供する。 先進的なガードレールモデル19をベンチマークし、一連の結果を明らかにした。
• 参考スコア（独自算出の注目度）: 18.306944278068638
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As LLMs become widespread across diverse applications, concerns about the security and safety of LLM interactions have intensified. Numerous guardrail models and benchmarks have been developed to ensure LLM content safety. However, existing guardrail benchmarks are often built upon ad hoc risk taxonomies that lack a principled grounding in standardized safety policies, limiting their alignment with real-world operational requirements. Moreover, they tend to overlook domain-specific risks, while the same risk category can carry different implications across different domains. To bridge these gaps, we introduce GuardSet-X, the first massive multi-domain safety policy-grounded guardrail dataset. GuardSet-X offers: (1) broad domain coverage across eight safety-critical domains, such as finance, law, and codeGen; (2) policy-grounded risk construction based on authentic, domain-specific safety guidelines; (3) diverse interaction formats, encompassing declarative statements, questions, instructions, and multi-turn conversations; (4) advanced benign data curation via detoxification prompting to challenge over-refusal behaviors; and (5) \textbf{attack-enhanced instances} that simulate adversarial inputs designed to bypass guardrails. Based on GuardSet-X, we benchmark 19 advanced guardrail models and uncover a series of findings, such as: (1) All models achieve varied F1 scores, with many demonstrating high variance across risk categories, highlighting their limited domain coverage and insufficient handling of domain-specific safety concerns; (2) As models evolve, their coverage of safety risks broadens, but performance on common risk categories may decrease; (3) All models remain vulnerable to optimized adversarial attacks. We believe that \dataset and the unique insights derived from our evaluations will advance the development of policy-aligned and resilient guardrail systems.
• Abstract（参考訳）: LLMが多様なアプリケーションに普及するにつれて、LLMインタラクションのセキュリティと安全性に関する懸念が高まっている。 LLMコンテンツの安全性を確保するため、多数のガードレールモデルとベンチマークが開発されている。 しかしながら、既存のガードレールベンチマークは、しばしば、標準安全ポリシーの原則的根拠を欠いたアドホックなリスク分類に基づいて構築され、実際の運用要件との整合を制限している。 さらに、それらはドメイン固有のリスクを見落としてしまう傾向があり、同じリスクカテゴリは異なるドメインにまたがって異なる影響をもたらす可能性がある。 これらのギャップを埋めるために、私たちは、最初の大規模なマルチドメイン安全ポリシーを基盤としたガードレールデータセットであるGuardSet-Xを紹介します。 GuardSet-Xは、(1)金融、法、codeGenなどの8つの安全クリティカルドメインにわたる広範なドメインカバレッジ、(2)認証された、ドメイン固有の安全ガイドラインに基づくポリシーに基づくリスク構築、(3)宣言文、質問、指示、マルチターン会話を含む多様なインタラクションフォーマット、(4)過剰な拒否行動に挑むためのデトキシフィケーションによる高度な良性データキュレーション、(5)ガードレールをバイパスするために設計された敵の入力をシミュレートするtextbf{attack-enhanced instance}を提供する。 GuardSet-Xに基づいて、19の高度なガードレールモデルをベンチマークし、(1)全てのモデルが様々なF1スコアを達成し、多くのモデルがリスクカテゴリ間で高いばらつきを示し、ドメインカバレッジの制限とドメイン固有の安全上の問題への対処が不十分であること、(2)モデルが進化するにつれて安全性リスクのカバレッジが拡大するが、共通のリスクカテゴリのパフォーマンスは低下する可能性があること、(3)全てのモデルが最適化された敵攻撃に対して脆弱であること、など、一連の知見を明らかにした。 当社の評価から得られたデータセットとユニークな洞察は、政策整合性と弾力性のあるガードレールシステムの開発を前進させるものと信じている。

関連論文リスト

• ExpGuard: LLM Content Moderation in Specialized Domains [46.00867862478331]
  現在のガードレールモデルは、一般的な人間とLLMの相互作用に主に対応している。 我々は,金融,医療,法的領域にまたがる有害なプロンプトや対応から保護するために設計された堅牢なガードレールモデルであるExpGuardを紹介する。 提案するExpGuardMixは,58,928個のラベル付きプロンプトと,対応する拒絶応答と対応応答のペアからなる,細かなキュレートされたデータセットである。
  論文  参考訳（メタデータ） (2026-03-03T04:09:49Z)
• Beyond Static Alignment: Hierarchical Policy Control for LLM Safety via Risk-Aware Chain-of-Thought [5.251527748612469]
  大きな言語モデル(LLM)は、静的で一大の安全ポリシーのため、基本的な安全性のトレードオフに直面します。 我々は、明示的でリスクを意識した推論による動的安全制御のためのフレームワーク、textbfPACT(Prompt-Thought Action via Chain-of-Thought)を提案する。
  論文  参考訳（メタデータ） (2026-02-06T12:20:01Z)
• Attributing and Exploiting Safety Vectors through Global Optimization in Large Language Models [50.91504059485288]
  本報告では,全頭部のグローバルな最適化により,安全クリティカルな注意点を同時に識別するフレームワークを提案する。 我々は,アクティベーション・リマッチによって同定された安全ベクトルを利用する,新しい推論時ホワイトボックス・ジェイルブレイク法を開発した。
  論文  参考訳（メタデータ） (2026-01-22T09:32:43Z)
• YuFeng-XGuard: A Reasoning-Centric, Interpretable, and Flexible Guardrail Model for Large Language Models [36.084240131323824]
  我々はYuFeng-XGuardについて紹介する。YuFeng-XGuardは大規模言語モデル(LLM)のための論理中心ガードレールモデルである。 YuFeng-XGuardは不透明な二項判定を生成する代わりに、明確なリスクカテゴリや信頼性スコアを含む構造化されたリスク予測を生成する。 リスク認識を政策執行から切り離す動的政策機構を導入し、モデルの再訓練なしに安全政策を調整できるようにした。
  論文  参考訳（メタデータ） (2026-01-22T02:23:18Z)
• DeepKnown-Guard: A Proprietary Model-Based Safety Response Framework for AI Agents [12.054307827384415]
  大きな言語モデル(LLM)はますます顕著になり、重要なドメインへの信頼性の高いデプロイメントを厳しく制限しています。 本稿では,LLMを入力レベルと出力レベルの両方で保護する新しい安全応答フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-11-05T03:04:35Z)
• Qwen3Guard Technical Report [127.69960525219051]
  Qwen3Guardは、多言語安全ガードレールモデルである。 生成的Qwen3Guardは、きめ細かい三級判定を可能にする命令追従タスクとして安全分類をキャストする。 Stream Qwen3Guardは、リアルタイム安全監視のためのトークンレベルの分類ヘッドを導入している。
  論文  参考訳（メタデータ） (2025-10-16T04:00:18Z)
• Building a Foundational Guardrail for General Agentic Systems via Synthetic Data [76.18834864749606]
  LLMエージェントは、計画段階で介入するマルチステップタスクを計画できる。 既存のガードレールは主にポスト・エグゼクティブ(英語版)を運用しており、スケーリングが困難であり、計画レベルで制御可能な監督を行う余地がほとんどない。 我々は、良性軌道を合成し、カテゴリーラベル付きリスクを困難に注入し、自動報酬モデルを介して出力をフィルタリングする制御可能なエンジンであるAuraGenを紹介する。
  論文  参考訳（メタデータ） (2025-10-10T18:42:32Z)
• GSPR: Aligning LLM Safeguards as Generalizable Safety Policy Reasoners [60.49708196646694]
  大規模言語モデル(LLM)は、様々な領域にわたる多くのアプリケーションに統合されつつある。 本稿では,安全でない入力プロンプトとLLMの出力を不正に検出する汎用安全推論器GSPRを提案する。 我々のGSPRは、安全とカテゴリー予測の両方のタスクにおいて、既存の安全ガードレールの推論能力を大幅に改善する。
  論文  参考訳（メタデータ） (2025-09-29T08:07:45Z)
• Secure Tug-of-War (SecTOW): Iterative Defense-Attack Training with Reinforcement Learning for Multimodal Model Security [63.41350337821108]
  マルチモーダル大規模言語モデル(MLLM)のセキュリティを高めるために,Secure Tug-of-War(SecTOW)を提案する。 SecTOWは2つのモジュールで構成される:ディフェンダーと補助攻撃者。どちらも強化学習(GRPO)を使用して反復的に訓練される。 SecTOWは、一般的な性能を維持しながら、セキュリティを大幅に改善することを示す。
  論文  参考訳（メタデータ） (2025-07-29T17:39:48Z)
• MSR-Align: Policy-Grounded Multimodal Alignment for Safety-Aware Reasoning in Vision-Language Models [17.824240702928133]
  VLM(Vision-Language Models)は、多モーダル推論タスクにおいて、チェーンオブ思考能力の向上を通じて、顕著な進歩を遂げている。 既存の安全アライメントアプローチは、マルチモーダル入力によって引き起こされる複雑でニュアンスな脅威に対処するには不十分である。 MSR-Alignは、視覚とテキストのモダリティの双方にわたって標準化された安全ポリシーよりも、きめ細かい、熟考的な推論をサポートしている。
  論文  参考訳（メタデータ） (2025-06-24T02:37:59Z)
• Exploring the Secondary Risks of Large Language Models [17.845215420030467]
  良心的衝動時の有害または誤解を招く行動に特徴付けられる二次的リスクを導入する。 敵の攻撃とは異なり、これらのリスクは不完全な一般化から生じ、しばしば標準的な安全メカニズムを回避する。 本研究では,ブラックボックス型多目的検索フレームワークSecLensを提案する。
  論文  参考訳（メタデータ） (2025-06-14T07:31:52Z)
• Align is not Enough: Multimodal Universal Jailbreak Attack against Multimodal Large Language Models [83.80177564873094]
  マルチモーダル・ユニバーサル・ジェイルブレイク・アタック・フレームワークを提案する。 LLaVA,Yi-VL,MiniGPT4,MiniGPT-v2,InstructBLIPなどのMLLMの望ましくないコンテキスト生成を評価する。 本研究は,MLLMにおける堅牢な安全対策の必要性を浮き彫りにするものである。
  論文  参考訳（メタデータ） (2025-06-02T04:33:56Z)
• Seven Security Challenges That Must be Solved in Cross-domain Multi-agent LLM Systems [16.838103835766066]
  大規模言語モデル(LLM)は、組織の境界を越えて協調する自律エージェントへと急速に進化している。 本稿では、クロスドメインマルチエージェントLLMシステムのセキュリティアジェンダをマッピングする。
  論文  参考訳（メタデータ） (2025-05-28T18:19:03Z)
• Automating Safety Enhancement for LLM-based Agents with Synthetic Risk Scenarios [77.86600052899156]
  LLM(Large Language Model)ベースのエージェントは、現実のアプリケーションにますますデプロイされる。 完全自動合成データ生成によるエージェント安全性を体系的に向上する最初のフレームワークであるAutoSafeを提案する。 AutoSafeは安全性のスコアを平均で45%向上させ、現実世界のタスクでは28.91%の改善を実現している。
  論文  参考訳（メタデータ） (2025-05-23T10:56:06Z)
• Shape it Up! Restoring LLM Safety during Finetuning [66.46166656543761]
  大型言語モデル(LLM)の微調整は、ユーザ固有のカスタマイズを可能にするが、重大な安全性リスクをもたらす。 動的安全整形(DSS)は,不安全コンテンツを抑えつつ,応答の安全な部分からの学習を強化するための,きめ細かい安全信号を用いたフレームワークである。 STARスコアによって導かれるSTAR-DSSは、微調整リスクを堅牢に軽減し、多様な脅威、データセット、モデルファミリーにまたがる大幅な安全性の向上を提供する。
  論文  参考訳（メタデータ） (2025-05-22T18:05:16Z)
• Safety Alignment Can Be Not Superficial With Explicit Safety Signals [8.297367440457508]
  大規模言語モデル(LLM)の安全性アライメントに関する最近の研究は、既存のアプローチがしばしば表面的に機能することを明らかにしている。 既存のアライメントアプローチでは、アライメントプロセス中にモデルが暗黙的に安全関連推論タスクを学習できると考えられる。 安全関連バイナリ分類タスクを明示的に導入し,その信号を注意と復号化戦略に統合することにより,この曖昧さを解消する。
  論文  参考訳（メタデータ） (2025-05-19T20:40:46Z)
• SafeBench: A Safety Evaluation Framework for Multimodal Large Language Models [75.67623347512368]
  MLLMの安全性評価を行うための総合的なフレームワークであるツールンを提案する。 我々のフレームワークは、包括的な有害なクエリデータセットと自動評価プロトコルで構成されています。 本研究では,広く利用されている15のオープンソースMLLMと6つの商用MLLMの大規模実験を行った。
  論文  参考訳（メタデータ） (2024-10-24T17:14:40Z)
• Safe Inputs but Unsafe Output: Benchmarking Cross-modality Safety Alignment of Large Vision-Language Model [73.8765529028288]
  我々は、モダリティ間の安全アライメントを評価するために、セーフインプットとアンセーフアウトプット(SIUO)と呼ばれる新しい安全アライメントの課題を導入する。 この問題を実証的に調査するため,我々はSIUOを作成した。SIUOは,自己修復,違法行為,プライバシー侵害など,9つの重要な安全領域を含むクロスモダリティベンチマークである。 以上の結果から, クローズドおよびオープンソース両方のLVLMの安全性上の重大な脆弱性が明らかとなり, 複雑で現実的なシナリオを確実に解釈し, 応答する上で, 現行モデルが不十分であることが示唆された。
  論文  参考訳（メタデータ） (2024-06-21T16:14:15Z)
• AEGIS: Online Adaptive AI Content Safety Moderation with Ensemble of LLM Experts [0.0]
  大規模言語モデル(LLM)や生成AIの普及に伴い、その使用に伴うコンテンツ安全性のリスクも増大する。 高品質なコンテンツ安全性データセットとベンチマークには、広範囲のクリティカルな安全領域を包括的にカバーする注目すべき欠如がある。 これを解決するために、13の危険リスクと9のスパースリスクカテゴリからなる幅広いコンテンツ安全リスク分類を定義した。
  論文  参考訳（メタデータ） (2024-04-09T03:54:28Z)
• Uniformly Safe RL with Objective Suppression for Multi-Constraint Safety-Critical Applications [73.58451824894568]
  広く採用されているCMDPモデルは予測のリスクを制約しており、長い尾の州で危険な行動を起こす余地がある。 安全クリティカルな領域では、そのような行動は破滅的な結果をもたらす可能性がある。 本稿では,目標を最大化するタスク報酬を適応的に抑制する新しい手法であるObjective Suppressionを提案する。
  論文  参考訳（メタデータ） (2024-02-23T23:22:06Z)
• A Security Risk Taxonomy for Prompt-Based Interaction With Large Language Models [5.077431021127288]
  本稿では,大規模言語モデル(LLM)によるセキュリティリスクに着目し,現在の研究のギャップに対処する。 我々の研究は,ユーザモデル通信パイプラインに沿ったセキュリティリスクの分類を提案し,一般的に使用されている機密性,完全性,可用性(CIA)3つのトライアドと並行して,ターゲットタイプと攻撃タイプによる攻撃を分類する。
  論文  参考訳（メタデータ） (2023-11-19T20:22:05Z)
• Safe Model-Based Multi-Agent Mean-Field Reinforcement Learning [48.667697255912614]
  平均場強化学習は、同一エージェントの無限集団と相互作用する代表エージェントのポリシーに対処する。 モデルベースの平均場強化学習アルゴリズムであるSafe-M$3$-UCRLを提案する。 本アルゴリズムは,低需要領域におけるサービスアクセシビリティを確保しつつ,重要な領域における需要を効果的に満たす。
  論文  参考訳（メタデータ） (2023-06-29T15:57:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。