論文の概要: HardEval: An Execution-Verified Benchmark for AI-Driven Security Hardening and Compliance Remediation
- arxiv url: http://arxiv.org/abs/2610.23685v1
- Date: Fri, 16 Oct 2026 16:14:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-20 00:56:08.018533
- Title: HardEval: An Execution-Verified Benchmark for AI-Driven Security Hardening and Compliance Remediation
- Title（参考訳）: HardEval: AI駆動のセキュリティ強化とコンプライアンス改善のための実行検証ベンチマーク
- Abstract要約: 既存のベンチマークでは、モデルがこのタスクをライブシステムで実行できるかどうかを測定していません。
HardEvalはRed Hat Enterprise Linux 8 STIGコントロールから構築され、未修正のベースラインシステムで失敗する。
- 参考スコア（独自算出の注目度）: 5.110261230164133
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Implementing Security Technical Implementation Guide (STIG) controls remains a demanding operating-system administration task. Each natural-language security requirement must be translated into a precise and persistent configuration change. These changes span Secure Shell (SSH) configuration, authentication policy, audit rules, and kernel parameters. Existing benchmarks do not measure whether a model can perform this task on a live system. Code benchmarks evaluate isolated programs without persistent system state, while agent benchmarks largely focus on applications rather than operating-system configuration. In this paper, we introduce \textbf{HardEval}, an execution-verified benchmark for evaluating language-model-assisted security hardening. HardEval is built from Red Hat Enterprise Linux 8 STIG controls that fail on an unhardened baseline system. Expert-written reference remediations and Open Vulnerability and Assessment Language (OVAL) checks serve as hidden ground truth for grading; they are never shown to the model, and each task states only the required security outcome while withholding the implementation. The model produces a Bash script, which is executed on a live virtual machine and graded from fail to pass using the corresponding OpenSCAP/OVAL compliance check. Evaluation of fourteen frontier and open-weight configurations reveals large and uneven capability differences across security domains. A recurring failure mode is plausible security code that does not satisfy the exact compliance condition. For four open-weight configurations, multi-run Wilson confidence intervals preserve the observed ordering. HardEval is publicly available.
- Abstract（参考訳）: セキュリティ技術実装ガイド(STIG)の実施は、依然として要求の高いオペレーティングシステム管理タスクである。
各自然言語のセキュリティ要件は、正確で永続的な設定変更に変換されなければならない。
これらの変更はSecure Shell(SSH)設定、認証ポリシ、監査ルール、カーネルパラメータにまたがる。
既存のベンチマークでは、モデルがこのタスクをライブシステムで実行できるかどうかを測定していません。
コードベンチマークは、永続的なシステム状態のない独立したプログラムを評価し、エージェントベンチマークは、オペレーティングシステムの構成よりもアプリケーションに重点を置いている。
本稿では,言語モデル支援型セキュリティ強化評価のための実行検証ベンチマークである \textbf{HardEval} を紹介する。
HardEvalはRed Hat Enterprise Linux 8 STIGコントロールから構築され、未修正のベースラインシステムで失敗する。
専門家による参照修正とOpen Vulnerability and Assessment Language(OVAL)チェックは、グレーディングの隠れた真実として機能する。
このモデルは、ライブ仮想マシン上で実行されるBashスクリプトを生成し、対応するOpenSCAP/OVALコンプライアンスチェックを使用して、通過しないようグレードされる。
14のフロンティアとオープンウェイト構成の評価は、セキュリティドメイン間で大きく、不均一な機能の違いを示している。
繰り返し発生する障害モードは、正確なコンプライアンス条件を満たさない、もっともらしいセキュリティコードである。
4つのオープンウェイト構成に対して、マルチランウィルソン信頼区間は観測された順序を保つ。
HardEvalは公開されている。
関連論文リスト
- Applying Security by Design at the Point of Execution: How Governed Security Requirements Affect the Security of AI-Generated Code [0.0]
実行時に提供されるセキュリティ要件の肥大化は、生成されたコードのセキュリティを改善しているように見える。
現在のベンチマークでは、コードがそれに適用されるセキュリティ要件を満たしているかどうかを判断できない。
論文 参考訳（メタデータ） (2026-10-07T17:02:09Z) - LMSM: LLM Security Framework Inspired by Linux Security Modules [56.93644694627783]
大規模言語モデル(LLM)は階層化されたディフェンスでデプロイされることが多いが、悪意のあるプロンプトはそれらをバイパスすることができる。
我々は,Language Model Security Modules (LMSM) という,Linux Security Modules (LSM) の背後にある分離を LLM サービスに適応させるセキュリティフレームワークを提案する。
論文 参考訳（メタデータ） (2026-08-26T12:13:05Z) - Permission Denied: Policy-Graded Evaluation of Coding Agents in Hardened Environments [0.0]
実世界の一般的な企業規制から派生したネストされたセキュリティポリシーレベルに対して、ターミナルベンチ2.1上の12のコーディングエージェントを評価した。
我々は、政策が行動を妨げるときにエージェントがどのように振る舞うかを特徴付け、障害のハードニングを分解する。
コーディングエージェントのポリシー制約付き評価を可能にするオープンソースのハードニングプラグインであるBoundary-Benchをリリースする。
論文 参考訳（メタデータ） (2026-08-02T14:26:12Z) - Towards Trustworthy Embodied Intelligence: A Systems Framework and Graded Trustworthiness Levels [53.63220028820581]
身体的知性は、学習した知覚と意思決定をリアルタイムの計算、制御、物理的相互作用と統合する。
我々は,信頼に値するインテリジェンスを,特定のタスクを確実に実行するための持続能力として定義する。
論文 参考訳（メタデータ） (2026-07-28T17:50:44Z) - PhyAgentOS: A Self-Evolving Operating System for Embodied Agents with Decoupled Cognitive Planning and Physical Execution [49.776611937968]
我々は、スケジューリング、検証、メモリ、ベンチマーク、安全性をシステムレベルのサービスとして提供するPhyAgentOSを紹介します。
セッション中心のセッションは、スケジューリング、互換性、監督された実行、エビデンス収集、受け入れの最小単位として、アクションではなくセッションを扱う。
SessionVerifierは、実行終了とセマンティックタスク完了を、成功、失敗、または再計画のエビデンスに基づいて判断する。
ベンチマークはデプロイメントセッションと検証パスを再利用するので、結果は実際の実行に遡る。
論文 参考訳（メタデータ） (2026-07-18T04:46:53Z) - OSGuard: A Benchmark for Safety in Computer-Use Agents [12.395093977641581]
OSGuard(OSGuard)は、コンピュータ使用エージェントの安全性を評価するベンチマークスイートである。
OSGuardには、ローカルガードレール決定のためのアクションレベルベンチマークと、エンドツーエンド評価のためのリスク強化実行スイートが含まれている。
論文 参考訳（メタデータ） (2026-06-13T00:32:24Z) - SHIELDS: Automating OS Hardening with Iterative Multi-Agent Remediation [0.0]
大規模言語モデル(LLM)を用いて,OSのハードニングを反復的フィードバック駆動プロセスとしてアプローチするマルチエージェントシステムShielDSを紹介する。
我々は,20Bから400Bパラメータの6つの現代のLCMを用いて,複数の仮想マシン構成にまたがるシステム評価を行い,ShiELDSがスキャン結果の最大73%を再現できることを確認した。
論文 参考訳（メタデータ） (2026-06-03T21:54:43Z) - SeClaw: Spec-Driven Security Task Synthesis for Evaluating Autonomous Agents [87.26967184869198]
SeClawは、仕様駆動のセキュリティタスク合成と、自律エージェントの実行ベースのセキュリティ評価を組み合わせたフレームワークである。
ベンチマークは、リソース、ユーザタスク、環境、本質的なエージェントの振る舞いから生じるリスクをカバーしている。
論文 参考訳（メタデータ） (2026-06-01T14:23:42Z) - CaMeLs Can Use Computers Too: System-level Security for Computer Use Agents [60.98294016925157]
AIエージェントは、悪意のあるコンテンツがエージェントの行動をハイジャックして認証情報を盗んだり、金銭的損失を引き起こすような、インジェクション攻撃に弱い。
CUAのためのシングルショットプランニングでは、信頼できるプランナーが、潜在的に悪意のあるコンテンツを観察する前に、条件付きブランチで完全な実行グラフを生成する。
このアーキテクチャ分離は命令インジェクションを効果的に防止するが、ブランチステアリング攻撃を防ぐには追加の対策が必要であることを示す。
論文 参考訳（メタデータ） (2026-01-14T23:06:35Z) - A.S.E: A Repository-Level Benchmark for Evaluating Security in AI-Generated Code [49.009041488527544]
A.S.Eは、AI生成コードのセキュリティを評価するためのリポジトリレベルの評価ベンチマークである。
現在の大規模言語モデル(LLM)は、セキュアなコーディングに苦戦している。
大きな推論予算は、必ずしもより良いコード生成につながるとは限らない。
論文 参考訳（メタデータ） (2025-08-25T15:11:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。