論文の概要: Toward Safe LLM Agents: A Survey of Specification, Verification, and Enforcement
- arxiv url: http://arxiv.org/abs/2608.14590v1
- Date: Mon, 22 Jun 2026 21:03:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-28 05:09:55.224334
- Title: Toward Safe LLM Agents: A Survey of Specification, Verification, and Enforcement
- Title（参考訳）: 安全なLDMエージェントを目指して:仕様・検証・実施のサーベイ
- Abstract要約: 既存のシステムは、これらのエージェントが生成する計画に対してタスクレベルの安全保証を提供していません。
仕様のボトルネックが 最大の課題です
実行時監視は最も成熟した執行戦略です
94%の安全でないアクションをブロックしても、5%未満のセーフタスクが完了します。
- 参考スコア（独自算出の注目度）: 1.249953711944024
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: LLM agents increasingly perform irreversible real-world actions, including database updates, API calls, file operations, and autonomous use of tools. However, no existing system provides formally grounded, task-level safety guarantees for the plans these agents generate. Research remains fragmented across specification, verification, and enforcement, limiting understanding of the strengths and limitations of existing approaches. To address this gap, we conducted a PRISMA 2020 systematic review of 38 studies published between 2022 and 2026 and retrieved from six academic databases. Our analysis reveals four key findings. First, the specification bottleneck remains the primary challenge: natural-language-to-formal translation achieves only 24% to 35% semantic correctness, undermining downstream verification. Second, runtime monitoring is the most mature enforcement strategy, reducing unsafe actions by 40% to 65% in controlled settings, but it does not provide complete safety guarantees. Third, the verifier tax shows that blocking 94% of unsafe actions can still result in less than 5% safe task completion because agents exploit alternative unsafe paths. Finally, no existing approach simultaneously achieves soundness, scalability, semantic correctness, and task-level safety preservation. We contribute a three-level taxonomy, a comparative analysis of existing techniques, a synthesis of evidence on the verifier tax, and a ten-problem research agenda for trustworthy agentic AI.
- Abstract（参考訳）: LLMエージェントは、データベース更新、API呼び出し、ファイル操作、ツールの自律的使用など、不可逆的な現実世界のアクションをますます実行します。
しかしながら、これらのエージェントが生成する計画に対して、正式な根拠付きタスクレベルの安全保証を提供する既存のシステムは存在しない。
研究は、仕様、検証、実施にまたがって断片化され、既存のアプローチの長所と短所の理解が制限されている。
このギャップに対処するため、2022年から2026年にかけて発行された38の学術論文をPRISMA 2020で体系的にレビューし、6つの学術データベースから検索した。
分析の結果,4つの重要な結果が得られた。
自然言語から形式への翻訳は24%から35%のセマンティックな正確さしか達成せず、下流の検証を損なわない。
第二に、実行時の監視が最も成熟した実施戦略であり、コントロールされた設定において、安全でないアクションを40%から65%削減するが、完全な安全保証は提供されない。
第3に、検証対象税は、エージェントが代替の安全でないパスを利用するため、94%の安全でないアクションをブロックしても5%未満の安全なタスク完了をもたらす可能性があることを示している。
最後に、既存のアプローチは、音質、スケーラビリティ、意味的正確性、タスクレベルの安全性を同時に達成するものではない。
我々は3段階の分類学、既存の技術の比較分析、検証対象税に関する証拠の合成、信頼できるエージェントAIのための10段階の研究課題に貢献する。
関連論文リスト
- Epistemic Norms for AI Safety and Alignment Research [0.989901717499058]
2つの領域は2つの解析的に独立な軸に沿って異なると主張する。
sc ECAISAは、あらゆるAIシステムが安全であることを証明していない。
論文 参考訳（メタデータ） (2026-07-27T10:22:46Z) - When Passing Tests Hides Vulnerabilities: An Empirical Study of Silent Failures in Agentic Systems [4.495819148271923]
サイレント障害の3つの主要なカテゴリは、許可、導入、不適切である。
10のきめ細かい障害コードはこれらの3つのカテゴリに分類され、どのようにエージェントがセキュリティ制御を省略するかを示している。
同様の安全でないソリューションは、さまざまなフレームワークにまたがって現れ、モデル、プロンプト、タスクレベルの影響を共有できる可能性が示唆された。
論文 参考訳（メタデータ） (2026-06-25T10:37:21Z) - ScientistOne: Towards Human-Level Autonomous Research via Chain-of-Evidence [57.37494162084001]
チェーン・オブ・エビデンス(Chain-of-Evidence, CoE)は、すべてのクレームがエビデンス・ソースにトレース可能であることを要求する検証可能なフレームワークである。
CoE Auditはポストホック監査であり、スコア検証、仕様違反、参照検証、メソッドコードアライメントという4つの整合性チェックが全システムに均一に適用される。
論文 参考訳（メタデータ） (2026-05-25T21:30:27Z) - On-Policy Self-Evolution via Failure Trajectories for Agentic Safety Alignment [54.30690671490447]
既存の安全アライメント信号は、主に応答レベルまたは政治外である。
FATEは、検証済みの失敗を専門家のデモンストレーションなしで修復管理に変換する。
FATEは攻撃成功率を33.5%、有害なコンプライアンスを82.6%削減し、外的軌道安全診断を6.5%改善する。
論文 参考訳（メタデータ） (2026-05-12T09:56:28Z) - SecPI: Secure Code Generation with Reasoning Models via Security Reasoning Internalization [50.71047638695205]
RLM(Reasoning Language Model)は、プログラミングにおいてますます使われている言語モデルである。
しかし、最先端のRLMでさえ、生成されたコードに重大なセキュリティ脆弱性を頻繁に導入する。
我々は、構造化されたセキュリティ推論を内部化するためのRTMを教える微調整パイプラインであるSecPIを提案する。
論文 参考訳（メタデータ） (2026-04-04T04:29:11Z) - SafetyDrift: Predicting When AI Agents Cross the Line Before They Actually Do [0.0]
SafetyDriftモデルでは、安全軌道をマルコフ連鎖の吸収として扱う。
コミュニケーションタスクでは、軽度のリスク状態にまで達するエージェントは、5段階以内に安全を侵害する確率が85%である。
これらのモデル上に構築されたモニターは94.7%の違反を検知し、3.7ステップの事前警告を無視可能な計算コストで行う。
論文 参考訳（メタデータ） (2026-03-28T05:52:04Z) - The Verifier Tax: Horizon Dependent Safety Success Tradeoffs in Tool Using LLM Agents [1.3299507495084417]
本研究では, 大規模言語モデル (LLM) エージェントを用いた多段階ツールにおいて, 実行時の安全でない動作に対する強制が, エンドツーエンドのタスクパフォーマンスに与える影響について検討する。
モデル依存相互作用の地平線(15～30ターン)を特定し、その結果を総合成功率(SR)、安全な成功率(SSR)、安全でない成功率(USR)に分解する。
論文 参考訳（メタデータ） (2026-03-18T16:16:34Z) - Eigen-1: Adaptive Multi-Agent Refinement with Monitor-Based RAG for Scientific Reasoning [53.45095336430027]
暗黙的な検索と構造化された協調を組み合わせた統合フレームワークを開発する。
Humanity's Last Exam (HLE) Bio/Chem Goldでは,48.3%の精度を実現している。
SuperGPQAとTRQAの結果はドメイン間の堅牢性を確認した。
論文 参考訳（メタデータ） (2025-09-25T14:05:55Z) - ARMOR: Aligning Secure and Safe Large Language Models via Meticulous Reasoning [64.32925552574115]
ARMORは、jailbreak戦略を分析し、コアインテントを抽出する、大規模な言語モデルである。
ARMORは最先端の安全性能を達成し、平均有害率は0.002であり、高度な最適化ベースのジェイルブレイクに対する攻撃成功率は0.06である。
論文 参考訳（メタデータ） (2025-07-14T09:05:54Z) - Forbidden Science: Dual-Use AI Challenge Benchmark and Scientific Refusal Tests [0.0]
本稿では,主に制御された物質問合せの安全メカニズムを評価するための,オープンソースのデータセットとテストフレームワークを提案する。
系統的に異なるプロンプトに対する4つの主要モデルの反応を解析した。
Claude-3.5-sonnetは73%の拒絶と27%の許容率で最も保守的なアプローチを示し、Mistralは100%のクエリに答えようとした。
論文 参考訳（メタデータ） (2025-02-08T04:27:33Z) - SafeAgentBench: A Benchmark for Safe Task Planning of Embodied LLM Agents [58.65256663334316]
我々は,対話型シミュレーション環境におけるLLMエージェントの安全性を考慮したタスク計画のための最初のベンチマークであるSafeAgentBenchを紹介する。
SafeAgentBenchは、(1)10の潜在的な危険と3つのタスクタイプをカバーするために厳格にキュレートされた750のタスクの実行可能な多種多様な高品質データセット、(2)低レベルコントローラを備えた普遍的な実施環境、9つの最先端ベースラインに対して17のハイレベルアクションでマルチエージェント実行をサポートするSafeAgentEnv、(3)実行とセマンティックの両方の観点から信頼性の高い評価方法を含む。
論文 参考訳（メタデータ） (2024-12-17T18:55:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。