論文の概要: Applying Security by Design at the Point of Execution: How Governed Security Requirements Affect the Security of AI-Generated Code
- arxiv url: http://arxiv.org/abs/2610.10659v1
- Date: Wed, 07 Oct 2026 17:02:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-10 02:36:53.607383
- Title: Applying Security by Design at the Point of Execution: How Governed Security Requirements Affect the Security of AI-Generated Code
- Title（参考訳）: 実行点における設計によるセキュリティの適用:AI生成コードのセキュリティにどう影響するか
- Abstract要約: 実行時に提供されるセキュリティ要件の肥大化は、生成されたコードのセキュリティを改善しているように見える。
現在のベンチマークでは、コードがそれに適用されるセキュリティ要件を満たしているかどうかを判断できない。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Security by design asks that security requirements are defined before code is written. Secure-code benchmarks typically measure the opposite situation: the agent receives the task without requirements and is scored with security tests it has not seen. We measured what changes when security requirements, selected from a governed security-by-design knowledge base (SbD-ToE) and delivered through a Model Context Protocol (MCP) server, are given to the generator at the point of execution. On DualGauge, which scores with a language-model judge, we ran 59 Python tasks: the share of tasks passing all security tests rose from 44.1% to 78.0% and the share of security tests passed from 77.4% to 93.0%. On BaxBench, which runs functional tests and real exploits in containers, we ran 28 backend scenarios: among functionally correct solutions, the share with no successful exploit rose from 65% to 86%, comparable to the authors' Oracle Security Reminder (85%), which they call an unrealistic upper bound; the requirement delivery reached it without knowing the tests. The study has limits. The pre-specified joint secure-and-functional metric did not improve significantly on either benchmark. The code written with the governed requirements is stricter, and it failed functional tests that fix values the task never states; we attribute those failures case by case in a post-hoc analysis. Each experiment used one model and one generation per task. The requirements come from the author's open-source manual; we do not assess its completeness. Governed security requirements delivered at the point of execution appear to improve the security of generated code. Current benchmarks cannot tell whether that code meets the security requirements that apply to it, only whether it shows the weaknesses their evaluators were built to detect. We propose measuring conformance with the applicable requirements.
- Abstract（参考訳）: 設計によるセキュリティは、コードが記述される前にセキュリティ要件が定義されるように要求する。
Secure-codeベンチマークは通常、反対の状況を測定する。エージェントは要求なくタスクを受け取り、見ていないセキュリティテストで得点する。
制御されたセキュリティ・バイ・デザイナ・ナレッジ・ベース(SbD-ToE)から選択され,モデルコンテキストプロトコル(MCP)サーバ経由で配信されるセキュリティ要件が,実行時にジェネレータに与えられる場合の変化を測定した。
言語モデル審査員とスコアしたDualGaugeでは、59のPythonタスクを実行しました。すべてのセキュリティテストをパスするタスクのシェアは44.1%から78.0%に、セキュリティテストのシェアは77.4%から93.0%に上昇しました。
機能テストとコンテナでの実際のエクスプロイトを実行するBaxBenchでは、28のバックエンドシナリオを実行しました。機能的に正しいソリューションの中で、成功したエクスプロイトのシェアは、著者のOracle Security Reminder(85%)に匹敵する65%から86%に上昇しました。
その研究には限界がある。
いずれのベンチマークにおいても, 既定のジョイント・セーフ・アンド・ファンクショナル・メトリックは改善しなかった。
管理された要件で書かれたコードは厳格で、タスクが決して記述しない値を修正する機能テストが失敗します。
各実験では1つのモデルと1つの世代を使用していた。
要件は著者のオープンソースマニュアルから来ています。
実行時に提供されるセキュリティ要件の肥大化は、生成されたコードのセキュリティを改善しているように見える。
現在のベンチマークでは、コードがそれに適用されるセキュリティ要件を満たしているかどうかを判断できない。
適用可能な要件に適合する度合いを計測することを提案する。
関連論文リスト
- TestJack: Should you trust the results in coding benchmarks? Agentic Coding Benchmarks Auditing via Evaluator Evolution [56.4111102268819]
大規模言語モデル(LLM)エージェントは、ソフトウェア工学を急速に再構築している。
しかし、既存のベンチマークのほとんどすべてが、同じ数十年前の基準に依存している。
固定テストを超えてパッチを評価するスケーラブルなフレームワークであるTestJackを紹介します。
論文 参考訳（メタデータ） (2026-10-07T07:58:04Z) - Where Did the Repair First Go Wrong? Localizing the Origins of Silent Failures in Agentic Vulnerability Repair [4.495819148271923]
SAGE(Security Awareness Gap Evaluation)は、トレースベースの障害帰属手法である。
我々は,SecurityEvalとCVEfixesの6つのエージェントフレームワークと6つのベースモデルによって生成される3,684個の修復トレースから得られた95個のサイレント障害を評価した。
論文 参考訳（メタデータ） (2026-10-05T11:31:16Z) - AuraForge: Scaling Security Supervision for Training Coding Agents [10.854053723458335]
我々はAuraForgeを導入し、セキュアなコーディングエージェントを訓練するための実行可能なセキュリティテストを合成し、検証する。
本手法は,アタック指向テスト合成,言語拡張性タスク構築,報酬ハッキング対策を併用する。
論文 参考訳（メタデータ） (2026-10-01T00:07:01Z) - SecureVibe: Making Vibe Coding More Secure [61.91825980991689]
SECUREVIBEは、コードセキュリティのための計画とテストを明確にターゲットとするトレーニングレシピである。
4つのセキュリティタスクとポストトレーニングメソッドを備えたセキュリティスイートの教師付き微調整が含まれている。
4つのベンチマークで2種類のセキュリティコーディングタスクのベースラインを上回ります。
論文 参考訳（メタデータ） (2026-09-29T22:10:28Z) - Trajectory-Level Security Debt in LLM Coding Agents [9.94610766766536]
セキュリティ負債ライン エージェントが新しいベストテストパス比に達すると、Integralは静的分析リスクを蓄積する。
2tool Common Weaknession (CWE)クラス契約はSWEベンチの3.9%で行われ、80プログラムベンチの26.2%は少なくとも90%の公式テストに合格している。
論文 参考訳（メタデータ） (2026-09-28T13:57:29Z) - CESBench: Benchmarking Large Language Models on Cryptographic Engineering Security for IoT Devices [28.97301812141804]
大規模言語モデル(LLM)が暗号工学の構築と解析に使用されている。
CESBenchは、IoTデバイスの暗号化エンジニアリングセキュリティの6つのサブドメインで専門家が書いたアイテムをテストする。
各タスクタイプのトップスコアは、複数の選択で98.6%、コードで95.1%、シナリオ診断で88.4%、判断で58.8%である。
論文 参考訳（メタデータ） (2026-09-18T05:59:52Z) - SeClaw: Spec-Driven Security Task Synthesis for Evaluating Autonomous Agents [87.26967184869198]
SeClawは、仕様駆動のセキュリティタスク合成と、自律エージェントの実行ベースのセキュリティ評価を組み合わせたフレームワークである。
ベンチマークは、リソース、ユーザタスク、環境、本質的なエージェントの振る舞いから生じるリスクをカバーしている。
論文 参考訳（メタデータ） (2026-06-01T14:23:42Z) - SecPI: Secure Code Generation with Reasoning Models via Security Reasoning Internalization [50.71047638695205]
RLM(Reasoning Language Model)は、プログラミングにおいてますます使われている言語モデルである。
しかし、最先端のRLMでさえ、生成されたコードに重大なセキュリティ脆弱性を頻繁に導入する。
我々は、構造化されたセキュリティ推論を内部化するためのRTMを教える微調整パイプラインであるSecPIを提案する。
論文 参考訳（メタデータ） (2026-04-04T04:29:11Z) - RealSec-bench: A Benchmark for Evaluating Secure Code Generation in Real-World Repositories [58.32028251925354]
LLM(Large Language Models)は、コード生成において顕著な能力を示しているが、セキュアなコードを生成する能力は依然として重要で、未調査の領域である。
我々はRealSec-benchを紹介します。RealSec-benchは、現実世界の高リスクなJavaリポジトリから慎重に構築されたセキュアなコード生成のための新しいベンチマークです。
論文 参考訳（メタデータ） (2026-01-30T08:29:01Z) - How Secure is Secure Code Generation? Adversarial Prompts Put LLM Defenses to the Test [9.85596630285833]
本稿では,最先端のセキュアなコード生成手法に関する,最初の体系的な逆監査について述べる。
静的アナライザはセキュリティを7～21回過大評価し,37～60%が非機能である。
これらの知見に基づいて,ロバストなセキュアなコード生成手法の構築と評価のためのベストプラクティスを提案する。
論文 参考訳（メタデータ） (2026-01-11T22:28:21Z) - Indirect Prompt Injections: Are Firewalls All You Need, or Stronger Benchmarks? [58.48689960350828]
エージェントインタフェースにおけるシンプルでモジュール的で,モデルに依存しないディフェンスが,高ユーティリティで完全なセキュリティを実現することを示す。
ツール入力ファイアウォール(最小限のファイアウォール)とツール出力ファイアウォール(サニタイザ)の2つのファイアウォールをベースとしたディフェンスを採用している。
論文 参考訳（メタデータ） (2025-10-06T18:09:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。