論文の概要: SWE-InfraBench: Evaluating Language Models on Cloud Infrastructure Code

• arxiv url: http://arxiv.org/abs/2606.05249v1
• Date: Wed, 03 Jun 2026 12:48:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-05 22:39:44.27994
• Title: SWE-InfraBench: Evaluating Language Models on Cloud Infrastructure Code
• Title（参考訳）: SWE-InfraBench: クラウドインフラストラクチャコードの言語モデル評価
• Abstract要約: クラウドコンピューティングにおけるインフラストラクチャ・アズ・コード(IaC)の構築は重要な課題である。 当社のベンチマークでは、AWS CDKのような命令型ツールを使用して、企業開発で一般的なインクリメンタルなコード編集を反映しています。 SWE-InfraBenchは、数十の現実世界IaCから得られた多様な評価データセットである。
• 参考スコア（独自算出の注目度）: 0.6695324715259999
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Building infrastructure-as-code (IaC) in cloud computing is a critical task, underpinning the reliability, scalability, and security of modern software systems. Despite the remarkable progress of large language models (LLMs) in software engineering -- demonstrated across many dedicated benchmarks -- their capabilities in developing IaC remain underexplored. Unlike existing IaC benchmarks that predominantly center on declarative paradigms such as Terraform and involve generating entire codebases from scratch, our benchmark reflects the incremental code edits common in enterprise development with imperative tools like the AWS CDK. We present SWE-InfraBench, a diverse evaluation dataset sourced from dozens of real-world IaC codebases that challenge LLMs to perform realistic code modifications in AWS CDK repositories. Each example requires models to implement changes to existing codebases based on natural language instructions, with success determined by passing provided test cases. These tasks demand sophisticated reasoning about cloud resource dependencies and implementation patterns beyond conventional code generation challenges. Our evaluation results reveal significant limitations in current LLMs showing that even state-of-the-art systems struggle with many tasks -- the best model, Sonnet 3.7, succeeds in only 34\% of cases, while specialized reasoning models like DeepSeek R1 achieve just 24% success. The SWE-InfraBench dataset is available at: https://www.kaggle.com/datasets/64e59070fd51c0278560b01eb5dc4f3c447d5268cdabe5a350d2969e4413fea5
• Abstract（参考訳）: クラウドコンピューティングにおけるインフラストラクチャ・アズ・コード(IaC)の構築は、現代のソフトウェアシステムの信頼性、スケーラビリティ、セキュリティを支える重要なタスクである。 ソフトウェアエンジニアリングにおける大きな言語モデル(LLM)の顕著な進歩にも関わらず、IaCの開発におけるその能力は未定のままである。 Terraformのような宣言的パラダイムを中心に、スクラッチからコードベース全体を生成する既存のIaCベンチマークとは異なり、当社のベンチマークは、AWS CDKのような命令型ツールを使用して、企業開発で一般的な漸進的なコード編集を反映しています。 私たちはSWE-InfraBenchを紹介します。これは、AWS CDKリポジトリで現実的なコード修正を実行するためにLLMに挑戦する、現実世界のIaCコードベースからソースされた多様な評価データセットです。 それぞれの例では、用意されたテストケースをパスすることで、自然言語命令に基づいて、既存のコードベースの変更を実装するモデルが必要です。 これらのタスクは、従来のコード生成の課題を超えて、クラウドリソースの依存関係や実装パターンに関する洗練された推論を必要とする。 我々の評価結果は、現在のLLMにおいて、最先端のシステムでさえ多くのタスクに苦しむことを示します -- 最高のモデルであるSonnet 3.7はわずか346%のケースで成功し、DeepSeek R1のような特殊な推論モデルはわずか24%の成功しか達成していません。 https://www.kaggle.com/datasets/64e59070fd51c0278560b01eb5dc4f3c447d5268cdabe5a350d2969e4413fea5

関連論文リスト

• OpenCompass: A Universal Evaluation Platform for Large Language Models [62.59671563145442]
  汎用大規模言語モデル (LLM) は, 技術の進歩において重要なリンクとなっている。 メインストリームベンチマークデータセットは、タスクタイプの多様性、一貫性のない評価基準、データと処理の断片化といった課題に直面している。 本稿では,ワンストップ,スケーラブル,高精度な汎用評価プラットフォームであるOpen LLMをオープンソースとして提案する。
  論文  参考訳（メタデータ） (2026-05-19T02:50:11Z)
• RealBench: A Repo-Level Code Generation Benchmark Aligned with Real-World Software Development Practices [54.956760584923295]
  コード生成にLLM(Large Language Models)を使用することで、研究者は大幅に進歩した。 しかしながら、開発者は一般的に、生の自然言語記述ではなく、構造化された設計や仕様に基づいたコードを書く。 既存のベンチマークと実際の産業開発プラクティスのギャップは、現在のベンチマークスコアが、どれだけのコード生成が開発タスクの自動化に役立つかを正確に反映していないことを意味する。
  論文  参考訳（メタデータ） (2026-04-24T15:35:54Z)
• Code Fingerprints: Disentangled Attribution of LLM-Generated Code [7.515488307576106]
  生成したコードに責任を負うソースLLMを決定することを目的とした,モデルレベルのコード属性の問題について検討する。 本稿では、ソース非依存のセマンティック情報とソース-特異なスタイル表現を分離するDisentangled Code Attribution Network (DCAN)を提案する。 4つのプログラミング言語で広く使われている4つの大規模言語モデル(LLM)が生成するコードからなる,最初の大規模ベンチマークデータセットを構築した。
  論文  参考訳（メタデータ） (2026-03-04T15:58:36Z)
• ArkEval: Benchmarking and Evaluating Automated CodeRepair for ArkTS [12.977178538993806]
  HarmonyOSエコシステムは、TypeScriptの静的型付け拡張であるArkTSに大きく依存している。 その重要性は増しているが、自動化されたコード修復のための堅牢なツールが欠如している。 本稿では,ArkTSの自動修復ワークフロー評価とベンチマーク構築のための統合フレームワークであるArkEvalを紹介する。
  論文  参考訳（メタデータ） (2026-02-09T16:28:29Z)
• Environment-Aware Code Generation: How far are We? [52.69113158357018]
  大規模言語モデル(LLM)がユーザの特定の環境に適した実行可能コードを確実に生成できるかどうかは不明である。 本稿では,環境対応コード生成(EACG)の最初の体系的研究について述べる。 その結果,現在のLLMは環境固有のコード生成に苦しむ一方で,環境の適合性や実行性も向上していることがわかった。
  論文  参考訳（メタデータ） (2026-01-18T04:58:15Z)
• ABC-Bench: Benchmarking Agentic Backend Coding in Real-World Development [72.4729759618632]
  本稿では,現実的かつ実行可能なワークフロー内でエージェントバックエンドコーディングを評価するベンチマークであるABC-Benchを紹介する。 オープンソースリポジトリから8つの言語と19のフレームワークにまたがる224の実践的なタスクをキュレートしました。 我々の評価は、最先端モデルでさえ、これらの総合的なタスクに対して信頼性の高いパフォーマンスを提供するのに苦労していることを示している。
  論文  参考訳（メタデータ） (2026-01-16T08:23:52Z)
• SWE-Compass: Towards Unified Evaluation of Agentic Coding Abilities for Large Language Models [59.90381306452982]
  ソフトウェアエンジニアリングのための大規模言語モデル(LLM)の評価は、タスクカバレッジの狭さ、言語バイアス、現実世界の開発者との整合性の不足によって制限されている。 SWE-1は、不均一なコード関連評価を構造化および生産整合性のあるフレームワークに統合する包括的なベンチマークである。 SWE-は8つのタスクタイプ、8つのプログラミングシナリオ、10のプログラミング言語にまたがる。
  論文  参考訳（メタデータ） (2025-11-07T18:01:32Z)
• Multi-IaC-Eval: Benchmarking Cloud Infrastructure as Code Across Multiple Formats [12.813627159588032]
  LLM(Large Language Models)に基づくIaC生成と突然変異を評価するための新しいベンチマークデータセットであるMulti-IaC-Benchを提案する。 データセットは、初期IaCテンプレート、自然言語修正要求、およびそれに対応する更新テンプレートを含む三つ組で構成されている。 我々は,Multi-IaC-Bench 上での最先端 LLM の評価を行い,現代 LLM は構文的に有効な IaC の生成において高い成功率 (>95%) を達成できるが,意味的アライメントや複雑なインフラストラクチャパターンの処理には大きな課題が残っていることを示した。
  論文  参考訳（メタデータ） (2025-08-21T22:37:18Z)
• Dynamic Benchmark Construction for Evaluating Large Language Models on Real-World Codes [33.80591142965565]
  CODE2BENCHは、実世界のGitHubリポジトリから、堅牢で汚染に強いベンチマークを動的に構築するためのパイプラインである。 特に、CODE2BENCHは、(1) トレーニングデータの汚染を最小限に抑えるために、最近のコードの周期的取り込みによって達成される自動ダイナミズム、(2) 依存レベルの制御されたベンチマークインスタンスへの関数の構造化可能なスコープグラフベースの依存性分析、(3) 厳密なテストスイートの自動合成のためのプロパティベーステスト(PBT)の3つの重要なイノベーションを紹介している。
  論文  参考訳（メタデータ） (2025-08-10T05:06:36Z)
• The SWE-Bench Illusion: When State-of-the-Art LLMs Remember Instead of Reason [1.6249398255272318]
  本稿では,SWE-Bench-Verifiedの性能向上は,真の問題解決よりも記憶によってもたらされる可能性があることを示す。 現状のモデルでは,リポジトリ構造にアクセスすることなく,問題記述のみを用いて,バグのあるファイルパスを識別する精度を最大76%向上することを示す。 これらの結果は、既存の結果の有効性に関する懸念を提起し、より堅牢で汚染に強いベンチマークの必要性を浮き彫りにした。
  論文  参考訳（メタデータ） (2025-06-14T00:25:26Z)
• SIMCOPILOT: Evaluating Large Language Models for Copilot-Style Code Generation [5.880496520248658]
  SIMCOPILOTは、対話型"コパイロット"スタイルのコーディングアシスタントとして、大規模言語モデル(LLM)の役割をシミュレートするベンチマークである。 ベンチマークには、Java(SIMCOPILOTJ)とPython用の専用のサブベンチマークが含まれている。
  論文  参考訳（メタデータ） (2025-05-21T04:59:44Z)
• Prompting Large Language Models to Tackle the Full Software Development Lifecycle: A Case Study [72.24266814625685]
  DevEvalでソフトウェア開発ライフサイクル全体にわたって、大きな言語モデル(LLM)のパフォーマンスを調査します。 DevEvalは4つのプログラミング言語、複数のドメイン、高品質なデータ収集、各タスクに対して慎重に設計および検証されたメトリクスを備えている。 GPT-4を含む現在のLLMは、DevEvalで提示される課題を解決できないことが実証研究によって示されている。
  論文  参考訳（メタデータ） (2024-03-13T15:13:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。