論文の概要: InfraDev: Can Coding Agents Develop AI Infrastructure, and How Can We Tell?

• arxiv url: http://arxiv.org/abs/2610.36589v1
• Date: Tue, 27 Oct 2026 03:47:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-29 04:15:49.2266
• Title: InfraDev: Can Coding Agents Develop AI Infrastructure, and How Can We Tell?
• Title（参考訳）: InfraDev: コーディングエージェントはAIインフラストラクチャを開発することができるか?
• Abstract要約: InfraDevは現実世界のプルリクエストからMegatron-LM, vLLM, verlに構築された36のタスクのベンチマークである。 各タスクはエージェントに、多くのファイルにまたがる真の変更を再実装するよう要求する。 タスク間の依存関係やアーティファクトを再利用し,ストレージを52～57%削減し,Megatron-LMとvLLMでビルド時間を13～14%短縮する共有実行環境を設計する。
• 参考スコア（独自算出の注目度）: 3.2714937600999687
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Coding agents are beginning to develop the production-grade AI infrastructure that trains and serves large models, yet existing benchmarks cover only single kernels or single-GPU tasks, and grade with tests and prompts that misjudge both correct and incorrect patches. We introduce InfraDev, a benchmark of 36 tasks built from real-world pull requests to Megatron-LM, vLLM, and verl, covering infrastructure development for training, inference, and reinforcement learning. Each task asks an agent to reimplement a real change that spans many files and must run correctly across many GPUs. To grade such changes, we jointly synthesize hidden probes, which enforce the requirements the original tests leave unchecked, and a prompt that states every interface the probes call without revealing the solution. We also design a shared execution environment that reuses dependencies and artifacts across tasks, cutting storage by 52-57% and build time by 13-14% on Megatron-LM and vLLM. Across six frontier models, the best resolves only 38.9% of the tasks; the probes reject 32% of the submissions that pass every official test, and with the original pull request descriptions as prompts, no model resolves a single task. Failure analysis shows that structural and state errors dominate and that agents' own tests rarely check memory, time, or traffic. Turning these findings into an agent skill raises the resolved rate of a frontier model on the Megatron-LM tasks by 10.5%.
• Abstract（参考訳）: コーディングエージェントは、大規模なモデルをトレーニングし、機能するプロダクショングレードのAIインフラストラクチャの開発を始めていますが、既存のベンチマークでは、シングルカーネルまたはシングルGPUタスクのみをカバーし、テストと誤ったパッチの両方を誤った判断で評価しています。 InfraDevは、現実世界のプルリクエストからMegatron-LM、vLLM、verlに構築された36のタスクのベンチマークで、トレーニング、推論、強化学習のためのインフラ開発をカバーしています。 各タスクはエージェントに、多くのファイルにまたがる真の変更を再実装するよう要求する。 このような変更を正すために、元のテストが未確認のままである要求を強制する隠れプローブを共同で合成し、プローブが呼び出すすべてのインターフェースを、解を明かさずに記述するプロンプトを作成します。 また,タスク間の依存関係やアーティファクトを再利用し,ストレージを52～57%削減し,Megatron-LMとvLLMでビルド時間を13～14%短縮する共有実行環境も設計する。 6つのフロンティアモデル全体では、最良解はタスクの38.9%に過ぎず、プローブは全ての公式テストに合格する提案の32%を拒絶し、元のプルリクエスト記述をプロンプトとして、モデルが1つのタスクを解決しない。 フェール分析は、構造的エラーと状態的エラーが支配的であり、エージェント自身のテストがメモリ、時間、トラフィックをチェックすることは滅多にないことを示している。 これらの知見をエージェントスキルに変換することで、Megatron-LMタスクにおけるフロンティアモデルの解決率を10.5%向上させる。

関連論文リスト

• AdaPRA: Process Reward Agents with Adaptive Rubrics for Data Science [61.06192512211444]
  データサイエンスエージェントはエンドツーエンドの機械学習を自動化することができるが、人間のリーダーボードとの競争には程遠い。 我々はこれらの問題に対処するためにAdaPRAを提案する: 同一タスクの試行にまたがって知識を蓄積する永続的符号化エージェントと、エラーを特定し修正するルーリック誘導プロセス監視。 AdaPRAはタスク毎の5つの試行により、80B QwenモデルのパーセンタイルをDSPredict-Easyで24.5ポイント、DS-Hardで14.8ポイント改善し、プロセスエラーを減らす。
  論文  参考訳（メタデータ） (2026-10-23T19:46:55Z)
• FDE-Bench: Evaluating LLM Agents for Deployment Environment Configuration [3.4732047142551288]
  FDE-BenchはDockerイメージ、マルチサービスComposeスタック、診断・修復モードにまたがるデプロイメント設定タスクを評価している。 エージェントは、プリスタント環境で収集、再構築、再デプロイされる宣言的アーティファクトを提出する。 準備は最大の障害ステージであり、313エピソードのうち110エピソードが未解決である。
  論文  参考訳（メタデータ） (2026-09-23T08:51:01Z)
• Do AI Agents Know When a Task Is Simple? Toward Complexity-Aware Reasoning and Execution [1.733151600403503]
  大規模言語モデル(LLM)エージェントは、ますます多段階のエンジニアリングと情報処理を自動化する。 彼らはしばしば、最大コンテキストファーストの戦略に従い、ファイルや依存関係を読み取り、一行の編集を小さなコードベースの監査に切り替える。 タスク対応型実行-スコープ推定の欠如を論じる。
  論文  参考訳（メタデータ） (2026-07-14T17:59:31Z)
• DeepSWE: Measuring Frontier Coding Agents on Original, Long-Horizon Engineering Tasks [1.7623000586936592]
  DeepSWEは、コーディングエージェントを評価するための、113のオリジナルで長期のソフトウェアエンジニアリングタスクのベンチマークである。 タスクは91のアクティブなオープンソースリポジトリと5つの言語でスクラッチから書かれており、上流にコントリビュートされることはない。 SWE-Bench Proのプロンプトの約半分の長さにもかかわらず、DeepSWEのプロンプトは参照ソリューションが5.5倍のコードに触れるタスクを記述する。
  論文  参考訳（メタデータ） (2026-07-08T21:45:34Z)
• EnactToM: An Evolving Benchmark for Functional Theory of Mind in Embodied Agents [75.01735520608075]
  既存のベンチマークは、直観的信念を問うことで、主にリテラル・オブ・マインド(ToM)をテストする。 EnactToMは, 3D 家庭で設定された300個のマルチエージェントタスクの進化ベンチマークである。 ハードスプリットでは、7つの評価されたフロンティアモデルすべてが機能的なタスク完了時に0.0%のPass3を獲得し、リテラルな信念プローブでは平均45.0%であった。
  論文  参考訳（メタデータ） (2026-05-11T00:04:19Z)
• Where LLM Agents Fail and How They can Learn From Failures [62.196870049524364]
  大規模言語モデル(LLM)エージェントは、複雑なマルチステップタスクの解決において有望であることを示す。 単一ルート原因エラーがその後の決定を通じて伝播する、障害のカスケードに対する脆弱性を増幅する。 現在のシステムは、モジュール的で体系的な方法でエージェントエラーを包括的に理解できるフレームワークを欠いている。 AgentErrorTaxonomyは、メモリ、リフレクション、計画、アクション、システムレベルの操作にまたがる障害モードのモジュール分類である。
  論文  参考訳（メタデータ） (2025-09-29T18:20:27Z)
• Which Agent Causes Task Failures and When? On Automated Failure Attribution of LLM Multi-Agent Systems [50.29939179830491]
  LLMマルチエージェントシステムにおける障害帰属は、まだ調査が過小評価されており、労働集約的である。 本稿では,3つの自動故障帰属手法の開発と評価を行い,その欠点と欠点を要約する。 最良の方法は、障害に応答するエージェントを特定する際に53.5%の精度を達成するが、故障の特定には14.2%しか役に立たない。
  論文  参考訳（メタデータ） (2025-04-30T23:09:44Z)
• Beyond Final Code: A Process-Oriented Error Analysis of Software Development Agents in Real-World GitHub Scenarios [31.749442120603774]
  問題解決フェーズにおけるPythonの実行エラーは、低解像度率と推論オーバーヘッドの増加と相関している。 私たちは、ModuleNotFoundErrorやTypeErrorのような最も一般的なエラーを特定し、OSErrorやデータベース関連の問題のような特に困難なエラーを強調しました。
  論文  参考訳（メタデータ） (2025-03-16T06:24:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。