論文の概要: Empirical Software Engineering TerraProbe: A Layered-Oracle Framework for Detecting Deceptive Fixes in LLM-Assisted Terraform

• arxiv url: http://arxiv.org/abs/2606.26590v1
• Date: Thu, 25 Jun 2026 04:21:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-26 18:46:32.157479
• Title: Empirical Software Engineering TerraProbe: A Layered-Oracle Framework for Detecting Deceptive Fixes in LLM-Assisted Terraform
• Title（参考訳）: 経験的ソフトウェアエンジニアリングのTerraProbe: LLM支援Terraformの欠陥検出のための階層型Oracleフレームワーク
• Abstract要約: Terraformのインフラストラクチャ・アズ・コードにおけるセキュリティの誤設定は、クラウドデプロイメントのリスクが増大している。 既存の評価では、標的となる静的解析がなくなると、修復が成功することが多い。 本稿では,LDM支援Terraformセキュリティ修復を評価するための5層オラクルフレームワークであるTerraProbeについて述べる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Security misconfigurations in Terraform Infrastructure-as-Code are a growing risk in cloud deployments, and large language models are increasingly used as automated repair agents. Existing evaluations often treat a repair as successful when the targeted static-analysis finding disappears, without checking planning validity, behavioral change, or security intent. This paper presents TerraProbe, a five-layer oracle framework for evaluating LLM-assisted Terraform security repair. We apply TerraProbe to 288 first-pass repairs generated by gemini-2.5-flash-lite, GPT-4o, and Claude 3.5 Sonnet across 68 real-world TerraDS modules and 28 controlled injected-defect modules. The results show that targeted Checkov removal overstates repair success. Although targeted removal reaches 83.3 percent for the primary model, full-scanner cleanliness drops to 10.4 percent, Terraform planning succeeds for 39.6 percent, and plan comparison is reachable for 38.5 percent. Human adjudication further shows that 71.4 percent of plan-compared real-world repairs are deceptive fixes that pass automated checks while leaving the underlying vulnerability in place. This pattern is statistically indistinguishable across the three models, with deceptive-fix rates from 57.1 percent to 71.4 percent and pairwise Fisher exact p-values above 0.10. The paper introduces a four-dimensional taxonomy of deceptive fixes, validated with Cohen kappa of 0.78 and Krippendorff alpha of 0.76. IAM permission analysis confirms that wildcard Resource grants persist in all nine CKV2 AWS 11 deceptive-fix cases. TerraProbe contributes an evaluation methodology, a replication package, and the Multi-Layer Oracle Evaluation framework for distinguishing intent-aligned security repairs from scanner-passing false successes.
• Abstract（参考訳）: Terraformのインフラストラクチャ・アズ・コードにおけるセキュリティの誤設定は、クラウドデプロイメントのリスクが高まっている。 既存の評価は、計画の妥当性、行動の変化、またはセキュリティ意図をチェックすることなく、目標となる静的分析がなくなると、修復が成功するように扱うことが多い。 本稿では,LDM支援Terraformセキュリティ修復を評価するための5層オラクルフレームワークであるTerraProbeについて述べる。 TerraProbe をgemini-2.5-flash-lite, GPT-4o, Claude 3.5 Sonnet で生成した 288 個のファーストパス修復に適用した。 以上の結果から,Checkov除去を標的としたオーバーステートの修復成功が示唆された。 ターゲット除去はプライマリモデルで83.3%に達するが、フルスキャンのクリーン化は10.4%に低下し、Terraformプランニングは39.6%で成功し、プラン比較は38.5%で到達できる。 人間の判断はさらに、計画に適合した現実世界の修復の71.4パーセントが、基盤となる脆弱性を残しながら自動チェックをパスする偽りの修正であることを示している。 このパターンは3つのモデルで統計的に区別がつかず、偽りの固定率は57.1%から71.4%、フィッシャーは0.10以上である。 本稿では, コーエン・カッパの0.78, クリッペンドルフの0.76で検証した, 偽装の4次元分類法を提案する。 IAMパーミッション分析は、9つのCKV2 AWS 11偽装フィックスケースすべてにおいて、ワイルドカードリソースの付与が持続していることを確認する。 TerraProbeは、評価方法論、レプリケーションパッケージ、そして、意図に沿ったセキュリティ修正とスキャナが通過する偽の成功を区別するMulti-Layer Oracle Evaluationフレームワークにコントリビュートしている。

関連論文リスト

• BenchShield: Formal Model-Backed Instrumentation for Reward Integrity in LLM-Agent Evaluation Infrastructure [47.61632934139226]
  LMエージェントベンチマークは、ますますインタラクティブな評価基盤として機能する。 この対話性は、評価を報酬ハッキングに脆弱にする。 本稿では、報酬整合性のためのモデル支援インスツルメンテーション層であるBenchShieldについて述べる。
  論文  参考訳（メタデータ） (2026-09-10T03:10:58Z)
• IdeaAMBIG: Benchmarking Implementation-Critical Gaps in Research-Idea Specifications [52.570108663867046]
  研究のアイデアは、新しく、一貫性があり、科学的に妥当であるが、その提案された手法は、忠実な実装のために不十分に指定されている。 提案手法は,実装を対象とする研究手法仕様の体系化の可否を,有能な実装者やコーディングエージェントに十分な方法論的情報を提供して,前提条件を満たさずに目的とする手法を構築することができるかを検討する。 IdeaAMBIGは660のエビデンス基底インスタンスのベンチマークで、レポートとGitHubの問題から163の現実世界のギャップと、コーディフィケーション対応のリファレンスに注入される合成ギャップを497のコントロールで管理する。
  論文  参考訳（メタデータ） (2026-09-09T17:59:04Z)
• Benchmarking Automated Security Patch Backporting: How Far Are We? [15.423124944381081]
  Porting Benchmarkは1,234のセキュリティパッチバックポートケースのキュレートされたデータセットである。 その結果,アライメント評価が明らかにパフォーマンスの状況を変えることが明らかとなった。 対象とするAPI認識の欠如,クロスバージョンセマンティックミスマッチ,非ローカル依存性伝搬障害,パッチ構築あるいはローカライゼーション障害)の4つの根本原因カテゴリを特定します。
  論文  参考訳（メタデータ） (2026-08-18T11:43:10Z)
• Apodex Discovery: Reality Benchmarks and Environments for Evaluating and Building Discoverative Artificial Intelligence [86.61561123749011]
  Apodex Discovery(アポデックスディスカバリー)は、重度解法を用いて発見的AIを構築し評価するためのフレームワークである。 まず16のセクターで511の業界を調査し、423の高価値現実問題を集め、最初のリリースで20を選定した。 第二に、共通の環境-タスク-エピソード抽象化は、データ、ツール、制約、フィードバック、軌跡記録、中間成果物と最終提出物の検証を提供する。
  論文  参考訳（メタデータ） (2026-08-11T18:48:40Z)
• Efficient Visual Pointing for Embodied AI:Agent-Driven Data Synthesis, Cross-Block Attention, and Iterative Correction [55.11480729304395]
  PointArena 2026は77.2%の精度でベンチマークで2位である。 ap proachは3つの障害モードをターゲットにしている。第一に、エージェント駆動のシンセシスは大きなセマンティクスとアンカー相対的な候補プールを構築する。 次に、determinis tic steerable-dataパイプラインは、認証された10,000サンプルのメインセットと、マスク、テンプレート、パス検証を使用するリザーブサンプルを生成する。
  論文  参考訳（メタデータ） (2026-06-29T06:39:03Z)
• Paired-CSLiDAR: Height-Stratified Registration for Cross-Source Aerial-Ground LiDAR Pose Refinement [46.13526676100776]
  Paired-CSLiDAR(英語版)は、シングルスキャンポーズリファインメントのためのクロスソース空地LiDARベンチマークである。 このベンチマークには6つの評価サイトで12,683組の地上空対が含まれている。 本稿では,RGSR(Residual-Guided Stratified Registration)を提案する。
  論文  参考訳（メタデータ） (2026-05-01T13:14:20Z)
• Towards Optimal Agentic Architectures for Offensive Security Tasks [3.93181912653522]
  20のインタラクティブなターゲット(Web/API10とバイナリ10)のベンチマークを導入する。 それぞれ、ホワイトボックスとブラックボックスモードで評価された、ワンリーチ可能な地上真実の脆弱性を露呈する。 MAS-Indepは最も高い検出率(64.2%)を獲得し、SASは最も高い効率のベースラインである0.058ドルである。
  論文  参考訳（メタデータ） (2026-04-20T18:17:51Z)
• Broken by Default: A Formal Verification Study of Security Vulnerabilities in AI-Generated Code [0.0]
  Broken by Defaultは、500のセキュリティクリティカルなプロンプトにまたがる7つの広くデプロイされたLLMによって生成される3500のコードアーティファクトの正式な検証研究である。 すべてのモデル全体で、55.8%のアーティファクトは少なくとも1つのCOBALT識別された脆弱性を含んでいる。 GPT-4oは62.4%(グレードF)、Gemini 2.5 Flashは48.4%(グレードD)である。
  論文  参考訳（メタデータ） (2026-04-07T00:55:42Z)
• Your Agent, Their Asset: A Real-World Safety Analysis of OpenClaw [87.97230960702274]
  本稿では,OpenClawの安全性評価について紹介する。 エージェントの永続状態を3次元に統一するCIK分類法を導入する。 評価では、ライブOpenClawインスタンス上の12のアタックシナリオをカバーしています。
  論文  参考訳（メタデータ） (2026-04-06T15:27:05Z)
• Why LLMs Fail: A Failure Analysis and Partial Success Measurement for Automated Security Patch Generation [0.0]
  この研究では、Vul4Jベンチマークから64のJava脆弱性にまたがる319のLarge Language Models (LLM)生成セキュリティパッチを分析した。 三軸評価を用いて分析したところ、パッチの24.8%だけが完全な正当性を達成し、51.4%はセキュリティと機能の両方に失敗していることがわかった。 提案されたSecurity repair Score (SRS)はこのギャップを定量化し、LLMが機能を保存する(平均0.832)が、セキュリティに苦しむ(平均0.251)。
  論文  参考訳（メタデータ） (2026-03-10T05:34:56Z)
• VulnRepairEval: An Exploit-Based Evaluation Framework for Assessing Large Language Model Vulnerability Repair Capabilities [41.85494398578654]
  VulnRepairEvalは、関数型Proof-of-Conceptエクスプロイトに固定された評価フレームワークである。 我々のフレームワークは、再現可能な微分評価を可能にする包括的でコンテナ化された評価パイプラインを提供する。
  論文  参考訳（メタデータ） (2025-09-03T14:06:10Z)
• VADER: A Human-Evaluated Benchmark for Vulnerability Assessment, Detection, Explanation, and Remediation [0.8087612190556891]
  VADERは174の現実世界のソフトウェア脆弱性で構成されており、それぞれがGitHubから慎重にキュレーションされ、セキュリティ専門家によって注釈付けされている。 各脆弱性ケースに対して、モデルは欠陥を特定し、Common Weaknession(CWE)を使用して分類し、その根本原因を説明し、パッチを提案し、テストプランを策定する。 ワンショットプロンプト戦略を用いて、VADER上で6つの最先端LCM(Claude 3.7 Sonnet, Gemini 2.5 Pro, GPT-4.1, GPT-4.5, Grok 3 Beta, o3)をベンチマークする。 我々の結果は現在の状態を示している。
  論文  参考訳（メタデータ） (2025-05-26T01:20:44Z)
• BountyBench: Dollar Impact of AI Agent Attackers and Defenders on Real-World Cybersecurity Systems [62.17474934536671]
  我々は、現実世界のシステムを進化させる際に、攻撃的かつ防御的なサイバー能力を捕獲する最初の枠組みを紹介する。 脆弱性ライフサイクルを捉えるために、3つのタスクタイプを定義します。検出(新たな脆弱性の検出)、エクスプロイト(特定の脆弱性の探索)、パッチ(特定の脆弱性のパッチ)。 Claude Code,OpenAI Codex CLI with o3-high and o4-mini,カスタムエージェント with o3-high, GPT-4.1, Gemini 2.5 Pro Preview, Claude 3.7 Sonnet Thinking, DeepSeek-R1。
  論文  参考訳（メタデータ） (2025-05-21T07:44:52Z)
• Certified Defences Against Adversarial Patch Attacks on Semantic Segmentation [44.13336566131961]
  Demasked Smoothingは、パッチ攻撃に対するセマンティックセグメンテーションモデルの堅牢性を証明するための最初のアプローチである。 Demasked Smoothingは、さまざまなマスキング戦略を使用して、認証検出と認定回復の両方に適用することができる。 大規模な実験では、Demasked Smoothingが検出タスクにおける1%パッチの画素予測の64%、ADE20Kデータセットのリカバリタスクの0.5%パッチに対して48%を平均で認証できることが示されている。
  論文  参考訳（メタデータ） (2022-09-13T13:24:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。