論文の概要: SafePyramid: A Hierarchical Benchmark for In-context Policy Guardrailing
- arxiv url: http://arxiv.org/abs/2606.29887v1
- Date: Mon, 29 Jun 2026 07:27:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-30 18:07:16.093031
- Title: SafePyramid: A Hierarchical Benchmark for In-context Policy Guardrailing
- Title（参考訳）: SafePyramid: コンテキスト内ポリシーガードレールの階層的なベンチマーク
- Abstract要約: 現実世界のアプリケーションでは、ガードレールはアプリケーション固有の安全ポリシーに従って、安全でないユーザモデルインタラクションを識別することがしばしば期待される。
本研究は,保護レールがコンテキストに規定されたポリシー仕様に基づいて安全違反を予測する,コンテキスト内ポリシーガードレールのパラダイムの下で,この設定について検討する。
SafePyramidは、10のドメインに1000のマルチターン会話と3,000の対応するアプリケーション固有のポリシーからなる安全ベンチマークであり、61,699の異なる自然言語規則を含んでいる。
- 参考スコア（独自算出の注目度）: 25.10453609307193
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In real-world applications, guardrails are often expected to identify unsafe user-model interactions according to application-specific safety policies, rather than relying on predefined risk taxonomies. In this work, we study this setting under the paradigm of in-context policy guardrailing, where guardrails predict safety violations based on policy specifications provided in context. To systematically evaluate this capability, we introduce SafePyramid, a safety benchmark comprising 1,000 multi-turn conversations across 10 domains and 3,000 corresponding application-specific policies, which together contain 61,699 distinct natural-language rules. SafePyramid organizes the evaluation into three difficulty levels: L0 evaluates individual-rule understanding, L1 evaluates reasoning over rule dependencies, and L2 evaluates adaptation of full novel policy frameworks defined in context. To ensure benchmark quality, we employ a rigorous multi-stage pipeline to construct and validate the benchmark. Using SafePyramid, we evaluate 10 frontier LLMs and 5 policy-configurable guardrails and find that in-context policy guardrailing remains highly challenging: even the best-performing model, GPT-5.5, exactly identifies the full set of violated rules in only 54.0%, 35.3%, and 12.9% cases on L0, L1, and L2, respectively. These results highlight the limitations of current guardrails and call for stronger in-context policy guardrails that can reliably execute policies, resolve rule dependencies, and adapt to novel policy frameworks.
- Abstract（参考訳）: 現実世界のアプリケーションでは、ガードレールは、事前に定義されたリスク分類に頼らず、アプリケーション固有の安全ポリシーに従って、安全でないユーザーモデルインタラクションを識別することがしばしば期待される。
本研究は,保護レールがコンテキストに規定されたポリシー仕様に基づいて安全違反を予測する,コンテキスト内ポリシーガードレールのパラダイムの下で,この設定について検討する。
SafePyramidは10ドメインに1000のマルチターン会話と3,000の対応するアプリケーション固有のポリシーで構成され、61,699の異なる自然言語規則を含む安全ベンチマークである。
SafePyramidは評価を3つの難易度に分類する: L0は個々のルール理解を評価し、L1はルール依存に対する推論を評価し、L2はコンテキストで定義された完全な新しいポリシーフレームワークの適応を評価する。
ベンチマークの品質を確保するため、我々は厳格なマルチステージパイプラインを使用してベンチマークを構築し、検証する。
SafePyramid を用いて、10のフロンティア LLM と5つのポリシー設定可能なガードレールを評価し、最もパフォーマンスの良いモデルである GPT-5.5 でさえ、それぞれ L0, L1, L2 上の 54.0%, 35.3%, 12.9% のルールの完全なセットを正確に識別する。
これらの結果は、現在のガードレールの限界を強調し、ポリシーを確実に実行し、ルール依存を解決し、新しいポリシーフレームワークに適応できる、より強力なコンテキスト内ポリシーガードレールを要求します。
関連論文リスト
- PL-Guard: Probabilistic Logic Reasoning for LLM Guardrails [5.448131579126687]
ポリシープロンプトとLCM-as-a-judgeパイプラインは、セマンティックグラウンドとポリシー推論のタスクを重複させることが多い。
基礎と推論の役割を分離するために,ニューロシンボリックガードレールアーキテクチャであるPL-Guardを提案する。
XSTestベンチマークでは、オフラインのQwenベースの評価器が、手作業によるポリシを備えたPL-Guardは、ベースモデルの22.0%から0.5%まで、安全でないコンプライアンスを減少させる。
論文 参考訳（メタデータ） (2026-08-16T10:58:19Z) - PolicyAlign: Direct Policy-Based Safety Alignment for Large Language Models [19.807112285121715]
現実世界のデプロイメントでは、新たな安全要件が自然言語ポリシーとして指定されることが多い。
これにより、急速に進化する安全ポリシーと従来のデータ駆動アライメント手法のミスマッチが生じる。
我々は,大規模言語モデルと安全ポリシーを直接整合するフレームワークであるPhysalignを提案する。
論文 参考訳（メタデータ） (2026-06-24T06:10:33Z) - Inverting the Shield: Systematically Generating Safety Tests from Policy Specifications [34.429470292997145]
我々は、仕様ベースのソフトウェアテストの厳格さをAIの安全性にもたらす新しいフレームワークを紹介します。
POLARISは、構造化されていない自然言語ポリシーを第一次論理表現にコンパイルし、高レベルのルールと具体的なテストケースの間のトレース可能なリンクを確立する。
この形式化により、複雑なポリシー違反シナリオをトラバース可能なパスとしてエンコードするセマンティックポリシーグラフの構築が可能になる。
実験により、POLARISは確立されたベースラインよりも高いポリシーカバレッジとアタック成功数を達成することが示された。
論文 参考訳（メタデータ） (2026-05-24T05:51:23Z) - LPG: Balancing Efficiency and Policy Reasoning in Latent Policy Guardrails [41.04710068888387]
我々は,動的政策に関する世俗的な潜在政策検討を学習するガードレールフレームワークである潜在政策ガードレール(LPG)を紹介した。
政策ガードレールのベンチマークでは、LPG-4Bの平均安全性は84.5%、F1は77.9%に達した。
論文 参考訳（メタデータ） (2026-05-17T08:35:38Z) - PolicyLLM: Towards Excellent Comprehension of Public Policy for Large Language Models [56.37206340175191]
大規模言語モデル(LLM)は、現実の意思決定にますます統合されている。
しかし、政策関連のコンテンツについて理解し、理屈を定める能力はいまだ解明されていない。
textbftextitPolicyBenchは、最初の大規模クロスシステムベンチマーク(US-China)であり、ポリシーの理解を評価する。
論文 参考訳（メタデータ） (2026-04-14T17:27:50Z) - ContextLens: Modeling Imperfect Privacy and Safety Context for Legal Compliance [49.524070843587594]
本研究では,大規模言語モデル(LLM)を活用し,法的領域における入力コンテキストを基盤とするセミルールベースのフレームワークであるContextLensを提案する。
我々は、General Data Protection Regulation()とEU AI Actをカバーする既存のコンプライアンスベンチマークの実験を行います。
その結果、ContextLensはLLMのコンプライアンス評価を大幅に改善し、トレーニングなしで既存のベースラインを越えられることが示唆された。
論文 参考訳（メタデータ） (2026-04-14T05:35:38Z) - ATBench: A Diverse and Realistic Agent Trajectory Benchmark for Safety Evaluation and Diagnosis [96.92417622318267]
ATBenchは、エージェント安全性の構造化、多様性、現実的な評価のための軌道レベルのベンチマークである。
リスクソース、障害モード、現実世界の危害の3つの側面に沿ってエージェント的リスクを編成する。
1000個の軌道(安全503個、安全497個)があり、平均9.01ターンと3.95kトークンがあり、2,084個のツールにまたがるプールから1,954個のツールが呼び出されている。
論文 参考訳（メタデータ） (2026-04-02T13:26:20Z) - COMPASS: A Framework for Evaluating Organization-Specific Policy Alignment in LLMs [19.742967013586927]
本稿では,大規模言語モデルが組織的な許容範囲と否定範囲のポリシーに準拠しているかどうかを評価するための最初の体系的枠組みを提案する。
モデルは正当な要求を確実に処理するが、破滅的に禁止を強制することに失敗し、敵の否定主義違反の13-40%しか否定しないことを示す。
論文 参考訳（メタデータ） (2026-01-05T06:57:45Z) - Executable Governance for AI: Translating Policies into Rules Using LLMs [1.388831902854619]
Policy-to-Tests(P2T)は、自然ポリシー文書を正規化された機械可読ルールに変換するフレームワークである。
フレームワークを単一のポリシーを超えてテストするために、一般的なフレームワーク、セクターガイダンス、エンタープライズ標準に適用します。
これらのAI生成ルールは、スパンレベルとルールレベルのメトリクスに関する強力な人間のベースラインと密接に一致し、ゴールドセットに関するロバストなアノテータ間の合意がある。
論文 参考訳（メタデータ） (2025-12-04T03:11:54Z) - Customize Multi-modal RAI Guardrails with Precedent-based predictions [55.63757336900865]
マルチモーダルガードレールは、ユーザ定義ポリシーに基づいて、画像コンテンツを効果的にフィルタリングする必要がある。
既存の微調整手法は、通常、事前に定義されたポリシーの条件予測を行う。
本稿では、入力に類似した先行データポイントの推論過程である「先行情報」に対する条件モデルの判断を提案する。
論文 参考訳（メタデータ） (2025-07-28T03:45:34Z) - SPoRt -- Safe Policy Ratio: Certified Training and Deployment of Task Policies in Model-Free RL [54.022106606140774]
本研究では,モデルフリーでエピソードな環境において,新しいタスク固有ポリシーの安全性特性に違反する確率に制約を課す理論的結果を示す。
この境界は、時間的に拡張された性質(安全性の他に)や堅牢な制御問題にも適用できる。
本研究は,このトレードオフを実証し,経験的違反率から得られる理論的境界と後続境界とを比較した実験結果である。
論文 参考訳（メタデータ） (2025-04-08T19:09:07Z) - Conformal Off-Policy Evaluation in Markov Decision Processes [53.786439742572995]
強化学習は、データから効率的な制御ポリシーを特定し評価することを目的としている。
この学習タスクのほとんどの方法は、Off-Policy Evaluation (OPE)と呼ばれ、正確さと確実性を保証するものではない。
本稿では,目標方針の真報を含む区間を所定の確信度で出力するコンフォーマル予測に基づく新しいOPE手法を提案する。
論文 参考訳（メタデータ） (2023-04-05T16:45:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。