論文の概要: FDE-Bench: Evaluating LLM Agents for Deployment Environment Configuration
- arxiv url: http://arxiv.org/abs/2609.27571v1
- Date: Wed, 23 Sep 2026 08:51:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-25 00:05:17.959705
- Title: FDE-Bench: Evaluating LLM Agents for Deployment Environment Configuration
- Title（参考訳）: FDE-Bench: デプロイメント環境設定のためのLLMエージェントの評価
- Abstract要約: FDE-BenchはDockerイメージ、マルチサービスComposeスタック、診断・修復モードにまたがるデプロイメント設定タスクを評価している。
エージェントは、プリスタント環境で収集、再構築、再デプロイされる宣言的アーティファクトを提出する。
準備は最大の障害ステージであり、313エピソードのうち110エピソードが未解決である。
- 参考スコア（独自算出の注目度）: 3.4732047142551288
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deployment requires an agent to turn application code into a running system whose services connect, become ready, and remain observable. FDE-Bench evaluates this capability with 136 deployment-configuration tasks spanning Docker images, multi-service Compose stacks, and Kubernetes, in greenfield and diagnose-and-repair modes. Agents submit declarative artifacts that are collected, rebuilt, and redeployed in a pristine environment. Four gated binary check layers measure build, readiness, behavior, and conformance to the deployment specification, using programmatic checks without an LLM judge. A four-arm release gate requires a resolving reference solution and rejects tasks solved by do-nothing, specification-transcription, or generic-stub submissions. The released check annotations expose the link between 2,145 checks and their specifications, including seven documented gaps. Three additional adversarial strategies test shortcuts in the grading signals; none resolves any of the 135 tasks they cover, while a vacuous health probe passes readiness and exposes the need for downstream checks. On the 136-task evaluation grid, seven language models from four providers use the same four-tool scaffold and resolve 52.9-75.0 percent of tasks. The three zero-intelligence floors resolve none and reach a mean Deployment Score of at most 0.44. Readiness is the largest failure stage, accounting for 110 of 313 unresolved episodes. Mean resolution rate is 30.7 percentage points higher on the repair task group than on the disjoint greenfield group, with a positive gap for every model; ten tasks resist all seven. In a 25-task case study, one practicing engineer directing Claude-Sonnet-5 resolves 92 percent against 72 percent for the autonomous baseline. FDE-Bench links deployment success and failure to artifacts that can be inspected and replayed.
- Abstract（参考訳）: デプロイでは、エージェントがアプリケーションのコードを、サービスが接続し、準備が整い、監視可能な実行システムに変換する必要がある。
FDE-Bench氏は、グリーンフィールドとリペアモードでDockerイメージ、マルチサービスComposeスタック、Kubernetesにまたがる136のデプロイメント設定タスクでこの機能を評価している。
エージェントは、プリスタント環境で収集、再構築、再デプロイされる宣言的アーティファクトを提出する。
4つのゲート付きバイナリチェックレイヤは、LCM判事なしでプログラムによるチェックを使用して、ビルド、準備、振る舞い、デプロイメント仕様への準拠を測定する。
4つのアームリリースゲートは、解決する参照ソリューションを必要とし、do-nothing、仕様の書き起こし、ジェネリック-スタブのサブミッションによって解決されたタスクを拒否する。
リリースされたチェックアノテーションは、2,145のチェックと仕様のリンクを公開している。
その他の3つの敵戦略は、グレーディング信号でショートカットをテストする。135のタスクのどれも解決せず、空虚なヘルスプローブは準備が整い、下流のチェックの必要性を露呈する。
136タスク評価グリッドでは、4つのプロバイダの7つの言語モデルが同じ4ツールの足場を使用して52.9-75.0パーセントのタスクを解決している。
3つのゼロ・インテリジェンス・フロアは解決せず、平均デプロイスコアは0.44である。
準備は最大の障害ステージであり、313エピソードのうち110エピソードが未解決である。
平均分解率は修理作業群よりも30.7ポイント高く、全てのモデルに正の差があり、10タスクは7つ全てに抵抗する。
25タスクのケーススタディでは、Claude-Sonnet-5を指揮するエンジニアが、自律ベースラインの52%に対して92%を解決している。
FDE-Benchは、デプロイメントの成功と失敗を、検査や再生が可能なアーティファクトにリンクする。
関連論文リスト
- Grow the Harness, Not the Context: From Strategy-Free Scaffolds to Reusable Specialist Agents [40.22528682803753]
大きな言語モデル(LLM)エージェントは、しばしば関連するタスクのストリームを処理するが、標準的なハーネスは、各タスクのコンテキスト内で同じ制御決定を再構築するようモデルに繰り返し要求する。
タスク固有のセマンティック推論のためのLCMコールを保存しながら、繰り返し制御を再利用可能なコードに変換することができるかどうかを検討する。
我々は,障害誘導型トレーニングパラダイムであるGrowing Harnessを紹介し,エージェント自身を戦略のない足場から学習する。
論文 参考訳（メタデータ） (2026-09-22T17:40:45Z) - VABench: Measuring Embodied Spatial Intelligence through Visual Demonstrations, Active Perception, and Metric Control [57.5995346750474]
VA-Benchを導入し、完全なオブザーバ・レアソン・アクト・リビジョンループを評価する。
汎用MLLMは、RGBのみのデモンストレーションから手続き的コンテキストを学習する。
モデルには特権オブジェクトのポーズ、オラクルの軌跡、学習されたアクションヘッドは含まれない。
論文 参考訳（メタデータ） (2026-09-17T01:24:51Z) - AgentAudit: An Open, Extensible Framework for Full-Lifecycle Trust Evaluation of AI Agents [2.8000808592516293]
AgentAuditは10の能力、グラウンド、セキュリティ、振る舞いの次元にわたって、実行トレース全体を評価する。
記録された実行トレースのみを読み出し、エージェントの実行方法に干渉しない。
我々は,9つの言語モデル(OpenAI GPT-5, Claude Sonnet 5, Sarvam 105B, Llama 3.3 70B, Gemini 2.5 Flash)を,9つの能力と対向タスクで評価した。
論文 参考訳（メタデータ） (2026-09-09T08:29:16Z) - SWE-Test: Benchmarking LLM Vulnerability Discovery via Input Prediction [13.719725391379276]
脆弱性発見は、大規模言語モデル(LLM)エージェントの重要な機能である。
我々は、その測定を、クローズドな決定論的基底真理を持つ入力予測タスクとして再放送する。
これにより、発見は15ドメインにまたがる22の現実世界のC/C++プログラムで3つのタスクモードに分解される。
論文 参考訳（メタデータ） (2026-09-05T19:04:41Z) - CalibForge: Adversarial Solver Calibration for Scaling Learnable Terminal Tasks [87.1086886770395]
CalibForgeは、自律型ターミナルタスク合成システムである。
検証されたソルバの挙動を用いて、逆ソルバの校正によって候補タスクを修正する。
CalibForgeを使って5,431の端末タスクを構築します。
論文 参考訳（メタデータ） (2026-08-06T17:53:18Z) - AgentDebugX: An Open-Source Toolkit for Failure Observability, Attribution, and Recovery in LLM Agents [83.37969790806069]
LLMエージェントのエラーは、エラーが表面化するステップが原因ではないことが多いため、デバッグが難しい。
Agent DebuggerXはオープンソースのフレームワークで、デバッグをDe Detect, Attribute, Recover, Rerunのクローズドループとして整理する。
コアとなるDeep Debuggerは、グローバルな軌跡理解を通じてマルチターン根本原因診断を行う。
論文 参考訳（メタデータ） (2026-07-21T06:21:13Z) - CFAgentBench: A Reproducible Environment and Benchmark for Autonomous Construction-Finance Agents [0.0]
CFAgentBenchは、自律的な建設ファイナンスエージェントのベンチマークである。
8つのドメインと77のファミリーにまたがる1014のマシングレード可能なタスク仕様を含んでいる。
最強のエージェントはpass1 = 0.67に達するが、pass5 = 0.38のみである。
論文 参考訳（メタデータ） (2026-06-20T11:34:52Z) - Auditing Reward Hackability in Code RL Training Environments [0.0]
コードRL環境が誤った解を正しく受け入れる速度を計測する。
SWE-bench Verifiedの49タクのサンプルでは、28.5%のタスクがテストスイートが弱く、Dockerで検証された不正確なパッチがそれらをパスしている。
論文 参考訳（メタデータ） (2026-06-14T23:31:42Z) - ClawMark: A Living-World Benchmark for Multi-Turn, Multi-Day, Multimodal Coworker Agents [77.22389710754452]
マルチターンマルチデイタスクを中心に構築された同僚エージェントのベンチマークであるベンチを紹介する。
現在のリリースには、13のプロのシナリオにわたる100のタスクが含まれており、5つのステートフルなサンドボックスサービスに対して実行される。
最強のモデルは75.8の重み付きスコアに達するが、最も厳格なタスク成功率は20.0%に過ぎず、部分的な進歩が一般的であることを示している。
論文 参考訳（メタデータ） (2026-04-26T16:05:02Z) - SOPBench: Evaluating Language Agents at Following Standard Operating Procedures and Constraints [59.645885492637845]
SOPBenchは、各サービス固有のSOPコードプログラムを実行可能な関数の有向グラフに変換する評価パイプラインである。
提案手法では,各サービス固有のSOPコードプログラムを実行可能関数の有向グラフに変換し,自然言語SOP記述に基づいてこれらの関数を呼び出しなければならない。
我々は18の先行モデルを評価し、上位モデルでさえタスクが困難であることを示す。
論文 参考訳（メタデータ） (2025-03-11T17:53:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。