論文の概要: PolyGuard: Massive Multi-Domain Safety Policy-Grounded Guardrail Dataset

• arxiv url: http://arxiv.org/abs/2506.19054v1
• Date: Wed, 18 Jun 2025 01:35:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-25 19:48:23.356321
• Title: PolyGuard: Massive Multi-Domain Safety Policy-Grounded Guardrail Dataset
• Title（参考訳）: PolyGuard: 大規模マルチドメイン安全ポリシーを取り巻くガードレールデータセット
• Authors: Mintong Kang, Zhaorun Chen, Chejian Xu, Jiawei Zhang, Chengquan Guo, Minzhou Pan, Ivan Revilla, Yu Sun, Bo Li,
• Abstract要約: PolyGuardは、最初の大規模なマルチドメイン安全ポリシー付きガードレールデータセットである。 先進的なガードレールモデル19をベンチマークし、一連の結果を明らかにした。
• 参考スコア（独自算出の注目度）: 18.306944278068638
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As LLMs become widespread across diverse applications, concerns about the security and safety of LLM interactions have intensified. Numerous guardrail models and benchmarks have been developed to ensure LLM content safety. However, existing guardrail benchmarks are often built upon ad hoc risk taxonomies that lack a principled grounding in standardized safety policies, limiting their alignment with real-world operational requirements. Moreover, they tend to overlook domain-specific risks, while the same risk category can carry different implications across different domains. To bridge these gaps, we introduce PolyGuard, the first massive multi-domain safety policy-grounded guardrail dataset. PolyGuard offers: (1) broad domain coverage across eight safety-critical domains, such as finance, law, and codeGen; (2) policy-grounded risk construction based on authentic, domain-specific safety guidelines; (3) diverse interaction formats, encompassing declarative statements, questions, instructions, and multi-turn conversations; (4) advanced benign data curation via detoxification prompting to challenge over-refusal behaviors; and (5) \textbf{attack-enhanced instances} that simulate adversarial inputs designed to bypass guardrails. Based on PolyGuard, we benchmark 19 advanced guardrail models and uncover a series of findings, such as: (1) All models achieve varied F1 scores, with many demonstrating high variance across risk categories, highlighting their limited domain coverage and insufficient handling of domain-specific safety concerns; (2) As models evolve, their coverage of safety risks broadens, but performance on common risk categories may decrease; (3) All models remain vulnerable to optimized adversarial attacks. We believe that \dataset and the unique insights derived from our evaluations will advance the development of policy-aligned and resilient guardrail systems.
• Abstract（参考訳）: LLMが多様なアプリケーションに普及するにつれて、LLMインタラクションのセキュリティと安全性に関する懸念が高まっている。 LLMコンテンツの安全性を確保するため、多数のガードレールモデルとベンチマークが開発されている。 しかしながら、既存のガードレールベンチマークは、しばしば、標準安全ポリシーの原則的な根拠を欠いたアドホックなリスク分類に基づいて構築され、実際の運用要件との整合を制限している。 さらに、それらはドメイン固有のリスクを見落としてしまう傾向があり、同じリスクカテゴリは異なるドメインにまたがって異なる影響をもたらす可能性がある。 これらのギャップを埋めるために、PolyGuardを紹介します。 ポリガード(PolyGuard)は、(1)金融、法、CodeGenなどの8つの安全クリティカルドメインにわたる広範なドメインカバレッジ、(2)認証された、ドメイン固有の安全ガイドラインに基づくポリシーに基づくリスク構築、(3)宣言的声明、質問、指示、マルチターン会話を含む多様なインタラクションフォーマット、(4)過剰な拒否行動への挑戦を促すデトキシフィケーションによる高度な良性データキュレーション、(5)ガードレールをバイパスするために設計された敵の入力をシミュレートするtextbf{attack-enhanced instance} を提供する。 PolyGuardをベースとして、19の高度なガードレールモデルをベンチマークし、例えば、(1)全てのモデルがさまざまなF1スコアを達成し、多くのモデルがリスクカテゴリ間で高いばらつきを示し、ドメインカバレッジの制限とドメイン固有の安全上の問題への対処が不十分であること、(2)モデルが進化するにつれて、安全リスクのカバレッジが拡大するが、共通のリスクカテゴリのパフォーマンスは低下する可能性があること、(3)全てのモデルは、最適化された敵攻撃に対して脆弱である。 当社の評価から得られたデータセットとユニークな洞察は、政策整合性と弾力性のあるガードレールシステムの開発を前進させるものと信じている。

関連論文リスト

• MSR-Align: Policy-Grounded Multimodal Alignment for Safety-Aware Reasoning in Vision-Language Models [17.824240702928133]
  VLM(Vision-Language Models)は、多モーダル推論タスクにおいて、チェーンオブ思考能力の向上を通じて、顕著な進歩を遂げている。 既存の安全アライメントアプローチは、マルチモーダル入力によって引き起こされる複雑でニュアンスな脅威に対処するには不十分である。 MSR-Alignは、視覚とテキストのモダリティの双方にわたって標準化された安全ポリシーよりも、きめ細かい、熟考的な推論をサポートしている。
  論文  参考訳（メタデータ） (2025-06-24T02:37:59Z)
• Align is not Enough: Multimodal Universal Jailbreak Attack against Multimodal Large Language Models [83.80177564873094]
  マルチモーダル・ユニバーサル・ジェイルブレイク・アタック・フレームワークを提案する。 LLaVA,Yi-VL,MiniGPT4,MiniGPT-v2,InstructBLIPなどのMLLMの望ましくないコンテキスト生成を評価する。 本研究は,MLLMにおける堅牢な安全対策の必要性を浮き彫りにするものである。
  論文  参考訳（メタデータ） (2025-06-02T04:33:56Z)
• Seven Security Challenges That Must be Solved in Cross-domain Multi-agent LLM Systems [16.838103835766066]
  大規模言語モデル(LLM)は、組織の境界を越えて協調する自律エージェントへと急速に進化している。 本稿では、クロスドメインマルチエージェントLLMシステムのセキュリティアジェンダをマッピングする。
  論文  参考訳（メタデータ） (2025-05-28T18:19:03Z)
• Automating Safety Enhancement for LLM-based Agents with Synthetic Risk Scenarios [77.86600052899156]
  LLM(Large Language Model)ベースのエージェントは、現実のアプリケーションにますますデプロイされる。 完全自動合成データ生成によるエージェント安全性を体系的に向上する最初のフレームワークであるAutoSafeを提案する。 AutoSafeは安全性のスコアを平均で45%向上させ、現実世界のタスクでは28.91%の改善を実現している。
  論文  参考訳（メタデータ） (2025-05-23T10:56:06Z)
• Shape it Up! Restoring LLM Safety during Finetuning [66.46166656543761]
  大型言語モデル(LLM)の微調整は、ユーザ固有のカスタマイズを可能にするが、重大な安全性リスクをもたらす。 動的安全整形(DSS)は,不安全コンテンツを抑えつつ,応答の安全な部分からの学習を強化するための,きめ細かい安全信号を用いたフレームワークである。 STARスコアによって導かれるSTAR-DSSは、微調整リスクを堅牢に軽減し、多様な脅威、データセット、モデルファミリーにまたがる大幅な安全性の向上を提供する。
  論文  参考訳（メタデータ） (2025-05-22T18:05:16Z)
• Safety Alignment Can Be Not Superficial With Explicit Safety Signals [8.297367440457508]
  大規模言語モデル(LLM)の安全性アライメントに関する最近の研究は、既存のアプローチがしばしば表面的に機能することを明らかにしている。 既存のアライメントアプローチでは、アライメントプロセス中にモデルが暗黙的に安全関連推論タスクを学習できると考えられる。 安全関連バイナリ分類タスクを明示的に導入し,その信号を注意と復号化戦略に統合することにより,この曖昧さを解消する。
  論文  参考訳（メタデータ） (2025-05-19T20:40:46Z)
• Safe Inputs but Unsafe Output: Benchmarking Cross-modality Safety Alignment of Large Vision-Language Model [73.8765529028288]
  我々は、モダリティ間の安全アライメントを評価するために、セーフインプットとアンセーフアウトプット(SIUO)と呼ばれる新しい安全アライメントの課題を導入する。 この問題を実証的に調査するため,我々はSIUOを作成した。SIUOは,自己修復,違法行為,プライバシー侵害など,9つの重要な安全領域を含むクロスモダリティベンチマークである。 以上の結果から, クローズドおよびオープンソース両方のLVLMの安全性上の重大な脆弱性が明らかとなり, 複雑で現実的なシナリオを確実に解釈し, 応答する上で, 現行モデルが不十分であることが示唆された。
  論文  参考訳（メタデータ） (2024-06-21T16:14:15Z)
• Uniformly Safe RL with Objective Suppression for Multi-Constraint Safety-Critical Applications [73.58451824894568]
  広く採用されているCMDPモデルは予測のリスクを制約しており、長い尾の州で危険な行動を起こす余地がある。 安全クリティカルな領域では、そのような行動は破滅的な結果をもたらす可能性がある。 本稿では,目標を最大化するタスク報酬を適応的に抑制する新しい手法であるObjective Suppressionを提案する。
  論文  参考訳（メタデータ） (2024-02-23T23:22:06Z)
• A Security Risk Taxonomy for Prompt-Based Interaction With Large Language Models [5.077431021127288]
  本稿では,大規模言語モデル(LLM)によるセキュリティリスクに着目し,現在の研究のギャップに対処する。 我々の研究は,ユーザモデル通信パイプラインに沿ったセキュリティリスクの分類を提案し,一般的に使用されている機密性,完全性,可用性(CIA)3つのトライアドと並行して,ターゲットタイプと攻撃タイプによる攻撃を分類する。
  論文  参考訳（メタデータ） (2023-11-19T20:22:05Z)
• Safe Model-Based Multi-Agent Mean-Field Reinforcement Learning [48.667697255912614]
  平均場強化学習は、同一エージェントの無限集団と相互作用する代表エージェントのポリシーに対処する。 モデルベースの平均場強化学習アルゴリズムであるSafe-M$3$-UCRLを提案する。 本アルゴリズムは,低需要領域におけるサービスアクセシビリティを確保しつつ,重要な領域における需要を効果的に満たす。
  論文  参考訳（メタデータ） (2023-06-29T15:57:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。