論文の概要: Compared to What? A Human-Anchored Security Benchmark for LLM-Generated Infrastructure-as-Code

• arxiv url: http://arxiv.org/abs/2608.28021v1
• Date: Fri, 28 Aug 2026 07:34:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-31 17:16:04.24751
• Title: Compared to What? A Human-Anchored Security Benchmark for LLM-Generated Infrastructure-as-Code
• Title（参考訳）: LLM生成インフラストラクチャ・アズ・コードのための人間によるセキュリティベンチマーク
• Abstract要約: GenIaC-SecBenchは、アーキテクチャの複雑さによって階層化された100のデプロイメントシナリオのベンチマークです。 また、634個の人間が作成したIaCテンプレートを同じツールチェーンでスキャンし、最初のサイズマッチングされたヒューマンセキュリティベースラインを提供します。 脆弱性密度はアーティファクトサイズ(Spearman $= -0.55$, $p 10-77$)と強く逆転する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models are increasingly used to author Infrastructure-as-Code (IaC), where a single insecure default can be deployed directly into production. Prior evaluations report raw vulnerability counts for model-generated IaC, but without a human baseline they cannot determine whether models are actually worse than engineers. We introduce GenIaC-SecBench, a benchmark of 100 deployment scenarios stratified by architectural complexity, evaluated across 12 model configurations from four vendors, producing 1,196 IaC artifacts scanned by three independent policy engines (Checkov, Trivy, KICS). Critically, we also scan 634 human-authored IaC templates with the same toolchain, providing the first size-matched human security baseline. Vulnerability density is strongly inverse to artifact size (Spearman $ρ= -0.55$, $p < 10^{-77}$), meaning unmatched comparisons measure size rather than security. When matched on declared-resource count, all model configurations fall within 3.21x--3.87x the human vulnerability density, with the gap widening for simpler tasks (4.9x at one resource, 1.4x at twenty or more). We decompose reasoning into standard generation, prompt-engineered chain-of-thought, and vendor extended-thinking APIs. Vendor extended thinking significantly outperforms prompted chain-of-thought ($-12.0\%$, $p = 0.0013$), while prompted chain-of-thought is indistinguishable from standard generation ($-1.3\%$, n.s.). Token instrumentation shows extended thinking uses under 1\% of the output budget, explaining its bounded effect. Two negative results also emerge: deployability does not correlate with vulnerability ($r = 0.158$, $p = 0.625$), and classical complete-case Friedman testing is infeasible for realistic benchmark designs, motivating the Skillings-Mack statistic. All code, data, and regeneration scripts are released.
• Abstract（参考訳）: 大規模な言語モデルはインフラストラクチャ・アズ・コード(Infrastructure-as-Code, IaC)の執筆にますます使われています。 以前の評価では、モデル生成IaCの生の脆弱性数は報告されているが、人間のベースラインがなければ、モデルが実際にエンジニアよりも悪いかどうかを判断することはできない。 GenIaC-SecBenchは、アーキテクチャの複雑さによって階層化された100のデプロイメントシナリオのベンチマークで、4つのベンダーから12のモデル構成で評価され、3つの独立したポリシーエンジン(Checkov、Trivy、KICS)でスキャンされた1,196のIaCアーティファクトを生成します。 また、同じツールチェーンで、634人の人間が作成したIaCテンプレートをスキャンし、最初のサイズにマッチした人間のセキュリティベースラインを提供します。 脆弱性密度はアーティファクトサイズ(Spearman $ρ= -0.55$, $p < 10^{-77}$)と強く逆転する。 宣言されたリソース数にマッチすると、すべてのモデル構成は人間の脆弱性密度の3.21x--3.87倍以内になり、単純なタスク(リソース1つで4.9倍、20以上で1.4倍)のギャップが広がる。 推論を標準生成、即時エンジニアリングの連鎖、ベンダー拡張思考のAPIに分解する。 ベンダーの考え方は、チェーン・オブ・ソート($-12.0\%$, $p = 0.0013$)と、スタンダード・ジェネレーション($-1.3\%$, n.s)と区別できない。 トケインスツルメンテーションは、アウトプット予算の1/%以下に拡張された思考の使用を示し、その境界効果を説明する。 デプロイ容易性は脆弱性(r = 0.158$, $p = 0.625$)と相関しない。 すべてのコード、データ、再生スクリプトがリリースされる。

関連論文リスト

• SANE: State Anomaly Neutralization for Stable Extreme-Context Delta-Rule Models [53.86918766240095]
  Delta-Ruleリカレントモデルは固定サイズの状態を維持しており、$O(1)$の推論メモリが可能であるが、極端なコンテキスト外挿では不安定になる可能性がある。 我々は,チャンク内並列構造を保ちながら,チャンク境界における適応$tanh$圧縮を適用したtextbfState Anomaly Neutralization (SANE)を提案する。
  論文  参考訳（メタデータ） (2026-08-23T10:41:07Z)
• Spaghetti Architect: A Contamination-Resistant, By-Construction-Labelled, Multi-Language Code Dataset Generator [4.010371060637209]
  Spaghetti Architectはクリーンで言語に依存しない中間表現を、意図的に冗長で完全にフラットなプログラムにマップする。 各プログラムは、参照するオラクルに対してコンパイル、実行、チェックされるので、各インスタンスは、構成によって正しい。 4モデルオープンラグのレポートベースライン: 正確な一致はスケールとともに上昇し、本質的なノブは最強モデルの算術的集約精度をゼロに崩壊させる。
  論文  参考訳（メタデータ） (2026-07-21T02:23:22Z)
• Quantum Circuit Vision: Cost-Aware Evaluation of Visual AI Agents for Quantum Code Generation [0.8652572023509929]
  本稿では,量子回路の視覚的理解に関するマルチモーダルAIエージェントのための費用対効果評価フレームワークQuantum Circuit Visionを提案する。 13のカテゴリ(1$--10$ qubits)にまたがる132サイクルのベンチマークを構築し、実行可能なAmazon Braketコードとユニタリ忠実度検証を行う。 単一モデルコストの38%で84%の精度を達成するカスケードルーティング戦略を提案し、モデルルーティングがコストレバーとして迅速なエンジニアリングを担っていることを示す。
  論文  参考訳（メタデータ） (2026-07-11T00:54:52Z)
• Benchmarking Speech-to-Speech Translation Models [55.00303727199927]
  音声音声翻訳(S2ST)は急速に進歩しているが、オフライン評価には統一されたプロトコルが欠けている。 8次元にわたる46のメトリクスを統合するベンチマークフレームワークを導入する。 FLEURSとCVSSから1,248のモデル言語構成でデプロイする。
  論文  参考訳（メタデータ） (2026-06-02T07:01:33Z)
• What Do EEG Foundation Models Capture from Human Brain Signals? [64.48249643001402]
  現代の脳波基礎モデルは、自己教師付き事前訓練を通じて生信号から直接学習する。 我々は3つのサブクエストに分解する: モデルが何を学習するか、モデルを何に使用するのか、そしてどのように説明できるのか。 3つの基礎モデル(CSBrain, CBraMod, LaBraM),5つの臨床タスク(MDD, Stress, ISRUC-Sleep, TUSL, Siena)と6ファミリー63機能レキシコンを含む。
  論文  参考訳（メタデータ） (2026-05-12T01:57:53Z)
• ComplexMCP: Evaluation of LLM Agents in Dynamic, Interdependent, and Large-Scale Tool Sandbox [61.862814740220806]
  $textbfComplexMCP$は厳格な条件下でエージェントを評価するために設計されたベンチマークである。 Model Context Protocol (MCP)上に構築された$textbfComplexMCP$は300以上の精巧にテストされたツールを提供する。
  論文  参考訳（メタデータ） (2026-05-11T16:20:51Z)
• Prediction Bottlenecks Don't Discover Causal Structure (But Here's What They Actually Do) [11.664243197168403]
  次のステップの予測のためにのみ訓練されたMamba状態空間モデルは、単純な読み出しによってGranger-Causal構造を復元しているように見える。 我々は、再利用可能なファルシフィケーションベンチマークとしてそのクレームをテストするために使用されるプロトコルをパッケージ化し、そのクレームを5段階に分けた。 ベンチマークは持続するアーティファクトであり、上の各ステージはそのコントロールアームの1つです。
  論文  参考訳（メタデータ） (2026-05-09T21:12:55Z)
• The Surprising Universality of LLM Outputs: A Real-Time Verification Primitive [0.0]
  CPUのみのスコアリングプリミティブはトークン当たり2.6マイクロ秒で動作する。 トークンのランク周波数分布は同じ2パラメータのMandelbrotランキング分布に収束する。 利用可能な場合にモデルログの確率で構成し、クローズドAPIで使用可能なランクオンリーモードに分解するシングルパススコアリングプリミティブを導出する。
  論文  参考訳（メタデータ） (2026-04-28T13:35:31Z)
• Large Language Models Versus Static Code Analysis Tools: A Systematic Benchmark for Vulnerability Detection [0.0]
  業界標準の3つの静的コード分析ツール(Sonar、CodeQL、Snyk Code)と、GitHub Modelsプラットフォーム(GPT-4.1、Mistral Large、DeepSeek V3)にホストされた最先端の3つの大規模言語モデルを評価した。 63の脆弱性を埋め込んだ10の現実世界のC#プロジェクトのキュレートされたスイートを使用して、古典的な精度(精度、リコール、Fスコア)、分析のレイテンシ、粒度、真の肯定性を検証するために必要な開発者の労力を測定します。 開発初期段階の言語モデルを採用して、広義のコンテキスト認識検出と検出を行う、ハイブリッドパイプラインを推奨します。
  論文  参考訳（メタデータ） (2025-08-06T13:48:38Z)
• Decompiling Smart Contracts with a Large Language Model [51.49197239479266]
  Etherscanの78,047,845のスマートコントラクトがデプロイされているにも関わらず(2025年5月26日現在)、わずか767,520 (1%)がオープンソースである。 この不透明さは、オンチェーンスマートコントラクトバイトコードの自動意味解析を必要とする。 バイトコードを可読でセマンティックに忠実なSolidityコードに変換する,先駆的な逆コンパイルパイプラインを導入する。
  論文  参考訳（メタデータ） (2025-06-24T13:42:59Z)
• Standardizing Structural Causal Models [80.21199731817698]
  ベンチマークアルゴリズムのための内部標準構造因果モデル(iSCM)を提案する。 構成上、iSCMは$operatornameVar$-sortableではない。 また、一般的に使用されるグラフ族に対して$operatornameR2$-sortableでないという経験的証拠も見つかる。
  論文  参考訳（メタデータ） (2024-06-17T14:52:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。