論文の概要: LatentRiskBench: Measuring State-Dependent Risks in Enterprise Agents

• arxiv url: http://arxiv.org/abs/2610.17685v1
• Date: Tue, 13 Oct 2026 04:07:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.50285
• Title: LatentRiskBench: Measuring State-Dependent Risks in Enterprise Agents
• Title（参考訳）: LatentRiskBench: 企業エージェントの状態依存リスクの測定
• Abstract要約: 既存の安全ベンチマークは、主にアクションローカルなリスクを評価します。 このような状態依存的なリスクでは、同じ行動は、ある文脈では安全であるが、別の状況ではポリシーに違反している。 企業環境におけるこのような状態依存的リスクを評価するために、LatentRiskBenchを導入します。
• 参考スコア（独自算出の注目度）: 21.46617674424739
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Enterprise agents face safety risks that cannot be determined from individual actions alone. Existing safety benchmarks largely evaluate action-local risks, overlooking failures whose safety depends on workflow state. In such state-dependent risks, the same action may be safe in one context but violate policy in another. Hence, we introduce LatentRiskBench for evaluating such state-dependent risks in enterprise settings. It pairs risky trajectories with benign counterparts that share the same terminal action but differ in latent policy-relevant states, requiring models to reconstruct workflow context rather than rely on action-level cues. We also introduce new metrics for state-dependent risk evaluation, including a suite of residual risk (RR) measures. Experiments on the benchmark show that action-level evaluation detects only 0.09 of state-dependent violations, whereas state-level evaluation reaches 0.96. Existing guardrail methods largely overlook such risks unless they are explicitly applied to workflow states. Case studies on a commercial deployed scenario further show that the safety metrics embedded in the benchmark provide a more realistic measure of safety for enterprise agents. Our dataset and code are available at https://github.com/JingyueCong/LatentRiskBench.
• Abstract（参考訳）: 企業エージェントは、個々のアクションだけでは決定できない安全リスクに直面します。 既存の安全ベンチマークは、ワークフローの状態に依存する障害を見越して、アクションローカルなリスクを主に評価する。 このような状態依存的なリスクでは、同じ行動は、ある文脈では安全であるが、別の状況ではポリシーに違反している。 したがって、企業環境におけるそのような状態依存リスクを評価するために、LatentRiskBenchを導入する。 リスクの高い軌跡と、同じ端末アクションを共有するが、遅延ポリシー関連の状態が異なる良質な動作とをペアにすることで、アクションレベルのキューに頼るのではなく、ワークフローコンテキストを再構築する必要がある。 また,残リスク(RR)尺度の組を含む,国家依存型リスク評価のための新たな指標も導入する。 ベンチマーク実験では、アクションレベルの評価は州に依存した違反のわずか0.09しか検出していないのに対し、州レベルの評価は0.96に達している。 既存のガードレールメソッドは、ワークフローの状態に明示的に適用されない限り、そのようなリスクをほとんど見落としている。 商用の展開シナリオに関するケーススタディでは、ベンチマークに埋め込まれた安全性指標が、企業エージェントにとってより現実的な安全性指標を提供することを示している。 データセットとコードはhttps://github.com/JingyueCong/LatentRiskBench.comから入手可能です。

関連論文リスト

• AURA-Eval: Evaluation Framework for Acting Under Risk Awareness in LLM Agent Trajectories [12.694014584212695]
  ツール・ユース・トラジェクトリにおける制御強化と行動のきめ細かい診断を組み合わせたフレームワークであるAURA-Evalを紹介する。 157個のトラジェクトリを用いて1,249個の評価項目を生成し,20個のフロンティアモデルとオープンウェイトモデルを評価する。 以上の結果から, LLM エージェントは安全経路が存在しない場合, より安全でない行動に陥ることが示唆された。
  論文  参考訳（メタデータ） (2026-09-06T18:58:56Z)
• Safety Testing LLM Agents at Scale: From Risk Discovery to Evidence-Grounded Verification [32.337075755765056]
  Veraは、非決定論的エージェントのためのソフトウェアエンジニアリングテストの原則をインスタンス化するエンドツーエンドの自動安全テストフレームワークである。 124のリスクカテゴリにまたがる1600の実行可能な安全ケースで構成されたVeraをリリースします。 これらの結果から,高度に進化するエージェントシステムの厳密かつ保守可能な安全性評価には,モジュール型で実行可能なテストインフラストラクチャが不可欠であることが示唆された。
  論文  参考訳（メタデータ） (2026-07-02T07:08:26Z)
• SeClaw: Spec-Driven Security Task Synthesis for Evaluating Autonomous Agents [87.26967184869198]
  SeClawは、仕様駆動のセキュリティタスク合成と、自律エージェントの実行ベースのセキュリティ評価を組み合わせたフレームワークである。 ベンチマークは、リソース、ユーザタスク、環境、本質的なエージェントの振る舞いから生じるリスクをカバーしている。
  論文  参考訳（メタデータ） (2026-06-01T14:23:42Z)
• HazardArena: Evaluating Semantic Safety in Vision-Language-Action Models [87.35765363039638]
  本研究では,視覚・言語・アクションモデルのセマンティック安全性を評価するためのベンチマークであるHazardArenaを紹介する。 安全シナリオに特化してトレーニングされたVLAモデルは、対応する安全でないシナリオで評価された場合、安全に動作しないことが多い。 本研究では,セマンティック属性や視覚言語判断を用いた行動実行を制約する,トレーニングフリーの安全オプション層を提案する。
  論文  参考訳（メタデータ） (2026-04-14T08:32:02Z)
• Risky-Bench: Probing Agentic Safety Risks under Real-World Deployment [64.36422334429228]
  大規模言語モデル(LLM)は、現実の環境で運用されるエージェントとして、ますます多くデプロイされている。 既存のエージェントの安全性評価は、特定のエージェント設定に合わせて、リスク指向のタスクに依存する。 本稿では,現実の展開に根ざした組織的エージェント安全評価を実現するフレームワークであるR Risky-Benchを提案する。
  論文  参考訳（メタデータ） (2026-02-03T04:44:11Z)
• Constrained Language Model Policy Optimization via Risk-aware Stepwise Alignment [49.2305683068875]
  本稿では,リスク認識を政策最適化プロセスに組み込んだ新しいアライメント手法であるリスク対応ステップワイドアライメント(RSA)を提案する。 RSAは、過剰なモデルシフトによって引き起こされるリスクを基準方針から緩和し、低確率で高影響の有害な振る舞いを明示的に抑制する。 実験により, 本手法は高い安全性を確保しつつ, 高い安全性を達成できることが確認された。
  論文  参考訳（メタデータ） (2025-12-30T14:38:02Z)
• Safety Margins for Reinforcement Learning [53.10194953873209]
  安全マージンを生成するためにプロキシ臨界度メトリクスをどのように活用するかを示す。 Atari 環境での APE-X と A3C からの学習方針に対するアプローチを評価する。
  論文  参考訳（メタデータ） (2023-07-25T16:49:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。