論文の概要: Verifier-First Evaluation of Agentic LLMs for Infrastructure-as-Code Generation

• arxiv url: http://arxiv.org/abs/2607.20478v1
• Date: Fri, 29 May 2026 12:43:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-27 00:46:13.191758
• Title: Verifier-First Evaluation of Agentic LLMs for Infrastructure-as-Code Generation
• Title（参考訳）: インフラストラクチャ・アズ・コード生成のためのエージェントLDMの検証-第1報
• Abstract要約: 自然言語からインフラストラクチャ・アズ・コード(IaC)を生成するには、プロバイダのスキーマ、依存関係の計画、組織的なポリシの制約を満たす必要がある。 Rego v1ポリシを備えた186タスクのAWS/TerraformベンチマークであるIaC-Eval v2で評価されたTerraform生成のための7つのエージェント戦略に関する検証初の実験的研究を示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Infrastructure-as-Code (IaC) generation from natural language requires satisfying provider schemas, dependency planning, and organizational policy constraints, not merely producing syntactically plausible configurations. We present a verifier-first empirical study of seven agentic strategies for Terraform generation evaluated on IaC-Eval v2, a modernized 186-task AWS/Terraform benchmark with Rego v1 intent policies. Our evaluation separates failures into three verifier stages (terraform validate, terraform plan, opa eval) and applies McNemar's test with Wilson confidence intervals on all pairwise comparisons (n=186, alpha=0.05). We report five principal findings. (1) Active retrieval via ReAct agents with MCP or ChromaDB-backed RAG raises Qwen2.5-Coder 7B from 14.0% to 45.7% pass@1 (p<0.0001), primarily by reducing VALIDATE_FAIL from 144 to 66 tasks. (2) Iterative refinement with verifier feedback achieves 62.9% (Qwen 7B) and 84.4% (GPT-4o) pass@1, exhibiting binary convergence -- tasks either resolve in one retry or exhaust the budget. (3) GEPA reflective instruction optimization raises the Active RAG baseline by +7.5 pp (p=0.026) using only 80 verifier-guided rollouts, providing evidence that prompt optimizers can improve verifiable IaC generation without weight updates. (4) SIMBA teacher-free demonstration injection achieves performance equivalent to Active RAG (p=1.0) without retrieval infrastructure, but fails to address the dominant SELF_DEFINED_PROPERTY error class (50% of failures). (5) A diagnostic Rego-injection experiment shows that 79% of post-refinement OPA failures are information-gap failures resolvable when policy text is visible (p=0.016), motivating policy
• Abstract（参考訳）: 自然言語からインフラストラクチャ・アズ・コード(IaC)を生成するには、単に構文的に妥当な設定を生成するだけでなく、プロバイダのスキーマ、依存関係の計画、組織的なポリシの制約を満たす必要がある。 我々は、IaC-Eval v2で評価されたTerraform生成のための7つのエージェント戦略に関する検証初の実験的研究を、Rego v1インテントポリシを備えた186タスクのAWS/Terraformベンチマークで提示する。 評価では, フェールを3つの検証段階(テラフォーム検証, テラフォーム計画, オパ・エバル)に分割し, 全てのペア比較(n=186, α=0.05)にウィルソン信頼区間を用いたマクネマール試験を適用した。 主な5つの所見を報告する。 1) MCP あるいは ChromaDB が支援する RAG を用いた ReAct エージェントによるアクティブ検索は,Qwen2.5-Coder 7B を 14.0% から 45.7% pass@1 (p<0.0001) に引き上げ,主に VALIDATE_FAIL を 144 から 66 タスクに削減する。 2)検証者フィードバックによる反復的改善は62.9%(Qwen 7B)と84.4%(GPT-4o)パス@1を達成する。 (3) GEPA反射的命令最適化は80個の検証器誘導ロールアウトしか使用せず, +7.5 pp (p=0.026) でアクティブRAGベースラインを上昇させる。 (4) SIMBA教師なしのデモインジェクションは,検索インフラを持たないアクティブRAG(p=1.0)と同等の性能を達成するが,支配的なSELF_DEFINED_PROPERTYエラークラス(障害の50%)に対処できない。 (5) Rego-injection の診断実験により, 留置後OPA障害の79%は, 政策テキストの可視時に解決可能な情報ギャップ障害(p=0.016)であり, モチベーション政策であることがわかった。

関連論文リスト

• SEVA: Self-Evolving Verification Agent with Process Reward for Fact Attribution [6.908637308550535]
  SEVAは、エビデンスアライメント、ステップバイステップの推論チェーン、キャリブレーションされた信頼度、6カテゴリのエラー診断を発行する構造化検証エージェントである。 ClearFacts では、SEVA-3B は GPT-4o-mini (69.0 vs. 69.8 F1) と一致し、よりリッチで監査可能な出力を生成する。
  論文  参考訳（メタデータ） (2026-06-29T02:37:13Z)
• ACCORD: Action-Conditioned Contextual Grounding for Language Agents [69.73525608707764]
  ACCORD(Action-Conditioned Contextual Grounding)は、適応的なグラウンドのためのエージェントフレームワークである。 現状のエージェントは、しばしばそうすることができないことを示す。それらは、観察された特定の情報よりもむしろ仮定から行動し、収集した可能性のある情報を見落とし、既に返された証拠を組み込むことに失敗する。
  論文  参考訳（メタデータ） (2026-06-15T09:05:55Z)
• Automating Formal Verification with Reinforcement Learning and Recursive Inference [0.0]
  我々はダフニーで検証可能な報酬(RLVR)と検証者誘導推論時間探索を用いてオープンソースモデルを訓練する。 固定ベースモデルでは、証明修正器を備えた完全な足場は、直接修理中の初期VeriCodingパイロットセットのパスレートを46.2%から69.2%に改善する。 Rust $texttcurve25519-dalek$検証プロジェクトから派生した,レポジトリスケールのLeanベンチマークであるDalek-Benchについても紹介します。
  論文  参考訳（メタデータ） (2026-05-29T06:59:28Z)
• Rewarding the Scientific Process: Process-Level Reward Modeling for Agentic Data Analysis [68.28714988482703]
  プロセス・リワード・モデル(PRM)は、LLM(Large Language Models)の推論能力を増強することに成功した。 本稿では,一般ドメインのPRMがデータ分析エージェントの監督に苦慮していることを示す。 本稿では,新しい環境対応生成プロセス報酬モデルであるDataPRMを紹介する。
  論文  参考訳（メタデータ） (2026-04-27T09:00:30Z)
• Mitigating LLM Hallucinations through Domain-Grounded Tiered Retrieval [0.0]
  大型言語モデル (LLM) は前例のない流布を達成したが、「幻覚」の影響を受けないままである。 本研究では,LLMをパターンマッチングから真偽探索へシフトさせることにより,事実不正確さを検知する階層型検索・検証アーキテクチャを提案する。 システムは5つの多様なベンチマークから650のクエリで評価された。
  論文  参考訳（メタデータ） (2026-03-18T15:59:30Z)
• AgentAssay: Token-Efficient Regression Testing for Non-Deterministic AI Agent Workflows [0.0]
  AgentAssayは、非決定論的AIエージェントを回帰テストするための最初のトークン効率のよいフレームワークである。 厳密な統計保証を維持しながら78-100%のコスト削減を実現している。
  論文  参考訳（メタデータ） (2026-03-03T04:59:25Z)
• CARE What Fails: Contrastive Anchored-REflection for Verifiable Multimodal [84.71254539482369]
  検証可能な報酬を伴うグループ相対的強化学習(RLVR)は、しばしば、すでに失敗している最も情報に富むデータを浪費する。 エラーを監督するマルチモーダル推論のための,障害中心のポストトレーニングフレームワークであるCAREを提案する。 CAREは正確さを改善し、スムーズさをトレーニングすると同時に、障害からの学習信号のシェアを明示的に増やします。
  論文  参考訳（メタデータ） (2025-12-22T16:34:21Z)
• DoVer: Intervention-Driven Auto Debugging for LLM Multi-Agent Systems [48.971606069204825]
  DoVerは、大規模言語モデル(LLM)ベースのマルチエージェントシステムのための介入駆動デバッグフレームワークである。 ターゲットの介入を通じて、アクティブな検証によって仮説生成を増強する。 DoVerは失敗試験の18～28%を成功させ、最大16%のマイルストーンを達成し、失敗仮説の30～60%を検証または否定する。
  論文  参考訳（メタデータ） (2025-12-07T09:23:48Z)
• Eigen-1: Adaptive Multi-Agent Refinement with Monitor-Based RAG for Scientific Reasoning [53.45095336430027]
  暗黙的な検索と構造化された協調を組み合わせた統合フレームワークを開発する。 Humanity's Last Exam (HLE) Bio/Chem Goldでは,48.3%の精度を実現している。 SuperGPQAとTRQAの結果はドメイン間の堅牢性を確認した。
  論文  参考訳（メタデータ） (2025-09-25T14:05:55Z)
• SOPBench: Evaluating Language Agents at Following Standard Operating Procedures and Constraints [59.645885492637845]
  SOPBenchは、各サービス固有のSOPコードプログラムを実行可能な関数の有向グラフに変換する評価パイプラインである。 提案手法では,各サービス固有のSOPコードプログラムを実行可能関数の有向グラフに変換し,自然言語SOP記述に基づいてこれらの関数を呼び出しなければならない。 我々は18の先行モデルを評価し、上位モデルでさえタスクが困難であることを示す。
  論文  参考訳（メタデータ） (2025-03-11T17:53:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。