論文の概要: Safe Actions Alone Do Not Ensure Safe Agents: Identifying Unfulfilled Obligations with Guard Models
- arxiv url: http://arxiv.org/abs/2610.11773v2
- Date: Sun, 11 Oct 2026 08:35:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-14 23:39:49.79028
- Title: Safe Actions Alone Do Not Ensure Safe Agents: Identifying Unfulfilled Obligations with Guard Models
- Title（参考訳）: 安全措置は安全エージェントを保証しない - ガードモデルによる未満たの義務の特定
- Abstract要約: エージェントの安全性は、必要でありながら、実行されていない安全クリティカルな行動を特定することにも依存する、と我々は主張する。
このギャップを埋めるために、義務識別能力を評価する最初のベンチマークであるObligationBenchを紹介します。
- 参考スコア（独自算出の注目度）: 6.837569992205452
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Guard models are increasingly used to safeguard LLM-based agents, primarily by identifying actions that agents are forbidden to perform. However, identifying forbidden actions alone is insufficient to ensure agent safety. In this paper, we argue that agent safety also depends on identifying required yet unperformed safety-critical actions, which we call obligations. Our preliminary study on a popular benchmark for evaluating safety shows that 56.92% of GLM-5.3 trajectories contain unfulfilled obligations, compared with only 30.00% containing forbidden actions. This finding reveals unfulfilled obligations as a major and previously overlooked source of safety risk. However, to our knowledge, no existing benchmark evaluates whether guard models can identify these obligations. To close this gap, we introduce ObligationBench, the first benchmark for evaluating the capability of obligation identification, comprising 240 expert-validated trajectories covering issue resolution, feature development, and terminal operations. Our evaluation of 14 representative models reveals substantial limitations: the highest recall and exact-match rate are only 48.97% and 10.00%, respectively. To address these limitations, we develop ObligationGuard using 40,000 synthetic training examples. ObligationGuard achieves 57.52% recall and an exact-match rate of 21.67%, surpassing all evaluated models on both metrics. We call on the community to incorporate obligation identification into the design and evaluation of future guard models to improve agent safety.
- Abstract（参考訳）: ガードモデルは、主にエージェントが実行することを禁止されたアクションを特定することによって、LSMベースのエージェントを保護するために、ますます使用される。
しかし、禁じられた行為のみを特定することは、エージェントの安全性を確保するには不十分である。
本論では, エージェントの安全性は, 必要かつ不適切な安全クリティカルな行動を特定することにも依存していると論じる。
GLM-5.3トラジェクトリの56.92%が未満済の義務を負っており、30.00%が禁じられている。
この発見は、これまで見過ごされていた主要な安全リスクの源として、未完の義務を明らかにしている。
しかし、我々の知る限り、ガードモデルがこれらの義務を識別できるかどうかを評価するベンチマークは存在しない。
このギャップを埋めるために,課題解決,機能開発,端末操作を含む240のエキスパート検証トラジェクトリを含む,義務識別能力を評価する最初のベンチマークである ObligationBench を紹介する。
最も高いリコール率と正確なマッチ率はそれぞれ48.97%と10.00%である。
これらの制約に対処するために,4万の総合的なトレーニング例を用いて ObligationGuard を開発した。
ObligationGuardは57.52%のリコールと21.67%の正確なマッチ率を達成した。
我々は,エージェントの安全性を向上させるため,今後のガードモデルの設計と評価に義務識別を組み込むことをコミュニティに求めている。
関連論文リスト
- AgentBoundary: Counterfactual Evaluation of Safety in Tool-Using LLM Agents [13.557645845585776]
大規模な言語モデルの安全性の整合性は、要求に答えるか拒否するかに大きく取り組まれている。
エージェント的設定では、同じモデルが実行中にパーミッションクリティカルな証拠として振る舞うかどうかを判断しなければならない。
AgentBoundは、ツール使用エージェントの安全性のための、最初の4方向の対物生成・評価フレームワークである。
論文 参考訳（メタデータ） (2026-09-27T15:19:52Z) - What Benchmarks Don't Measure: The Case for Evaluating Abstention Competence in Autonomous Agents [2.8340200313563773]
自律エージェントのベンチマークは、エージェントがタスクを完了したかどうかを計測するが、このフレーミングはエージェントが進むべきだったかどうかを体系的に見えない。
ヒューマンフィードバックの目的の下で訓練されたエージェントは、入力、証拠、あるいは安全に行動する許可がなくても、進行する構造的な傾向を発達させる。
本稿では,要求される情報が欠落している仕様ギャップ,世界国家が確認できない検証ギャップ,明示的な承認が与えられていない権限ギャップについて紹介する。
論文 参考訳（メタデータ） (2026-06-01T23:52:56Z) - Ablating Safety: Mechanisms for Removing Alignment in Language Models for Security Applications [3.93181912653522]
安全に配慮した言語モデルは、言葉が誤用に似ているサイバーセキュリティ要求を拒否することが多い。
これはセキュリティ評価を曖昧なものにする: 失敗した答えは、能力の欠如や、政治介入の拒絶を反映しているかもしれない。
我々は, 拒否, 試行率, 検証済みセキュリティ成功, 一般能力維持, 不安定性, スコープ外不安全コンプライアンスをSecurity-ARで評価した。
論文 参考訳（メタデータ） (2026-05-17T12:18:20Z) - Benchmarking Open-Source Safety Guard Models: A Comprehensive Evaluation [0.0]
NIST AI Risk Frameworkの安全性カテゴリ8つにまたがる79,331のサンプルをキュレートしたベンチマークで、14のオープンソース安全ガードモデルを評価した。
有害なコンテンツ不足は偽陽性よりもリスクが高いため、リコールが安全アプリケーションにとって重要な指標であることに気付きました。
論文 参考訳（メタデータ） (2026-04-10T06:55:07Z) - ProGuard: Towards Proactive Multimodal Safeguard [48.89789547707647]
ProGuardは視覚言語プロアクティブガードであり、アウト・オブ・ディストリビューション(OOD)の安全性リスクを特定し記述する。
まず,2次安全ラベルとリスクカテゴリの両方を付加した87Kサンプルのモダリティバランスデータセットを構築した。
次に、強化学習を通して視覚言語ベースモデルを純粋に訓練し、効率的かつ簡潔な推論を実現する。
論文 参考訳（メタデータ） (2025-12-29T16:13:23Z) - Confidential Guardian: Cryptographically Prohibiting the Abuse of Model Abstention [65.47632669243657]
不正直な機関は、不確実性の観点からサービスを差別または不正に否定する機構を利用することができる。
我々は、ミラージュと呼ばれる不確実性誘導攻撃を導入することで、この脅威の実践性を実証する。
本研究では,参照データセット上のキャリブレーションメトリクスを分析し,人工的に抑制された信頼度を検出するフレームワークであるConfidential Guardianを提案する。
論文 参考訳（メタデータ） (2025-05-29T19:47:50Z) - Agent-SafetyBench: Evaluating the Safety of LLM Agents [72.92604341646691]
我々は,大規模言語モデル(LLM)の安全性を評価するベンチマークであるAgent-SafetyBenchを紹介する。
Agent-SafetyBenchは349のインタラクション環境と2,000のテストケースを含み、安全リスクの8つのカテゴリを評価し、安全でないインタラクションで頻繁に発生する10の一般的な障害モードをカバーする。
16 名の LLM エージェントを評価した結果,いずれのエージェントも 60% 以上の安全性スコアを達成できないことがわかった。
論文 参考訳（メタデータ） (2024-12-19T02:35:15Z) - Criticality and Safety Margins for Reinforcement Learning [53.10194953873209]
我々は,定量化基盤真理とユーザにとっての明確な意義の両面から,批判的枠組みを定めようとしている。
エージェントがn連続的ランダム動作に対するポリシーから逸脱した場合の報酬の減少として真臨界を導入する。
我々はまた、真の臨界と統計的に単調な関係を持つ低オーバーヘッド計量であるプロキシ臨界の概念も導入する。
論文 参考訳（メタデータ） (2024-09-26T21:00:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。