論文の概要: Can LLM Agents Be Forward-Deployed Engineers? Requirement Discovery and Delivery for Enterprise Text-to-SQL
- arxiv url: http://arxiv.org/abs/2611.03551v1
- Date: Mon, 02 Nov 2026 18:13:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-04 23:36:30.631051
- Title: Can LLM Agents Be Forward-Deployed Engineers? Requirement Discovery and Delivery for Enterprise Text-to-SQL
- Title（参考訳）: LLMエージェントは前方展開エンジニアになれるか? エンタープライズテキストからSQLへのディスカバリとデリバリの必要性
- Abstract要約: コーディングエージェントは、モデルポストトレーニングをますます自動化することができるが、前方デプロイエンジニア(FDE)エージェントとして機能するかどうかは不明だ。
我々は、実際のユースケースの要求に基づいて、実企業におけるテキスト・ツー・エンゲージメント(シミュレートされた顧客)について、これを研究する。
エージェントは、発見フェーズで受け入れ基準、データパーミッション、ハードウェア制約を発見し、その後、デリバリフェーズでトレーニング後のレシピを計画して実行する必要があります。
- 参考スコア（独自算出の注目度）: 42.89056244302612
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: LLM coding agents can increasingly automate model post-training, but whether they can act as forward-deployed engineer (FDE) agents, discovering customer requirements and turning them into deployment decisions, remains unclear. We study this on a real enterprise text-to-SQL engagement: a simulated customer, grounded in the real use case's requirements, starts with an ambiguous request. An agent must discover acceptance criteria, data permissions, and hardware constraints in the discovery phase, then plan and execute a post-training recipe in the delivery phase. Across 15 models, the strongest discover over 80% of withheld requirements and open-weight models discover 40-50%; in the delivery phase, only 25% of runs across eight coding-agent configurations pass all acceptance criteria. We identify four bottlenecks in this engagement: (1) incomplete discovery, with 40% of withheld requirements missing or misrepresented; (2) unreliable execution; (3) underused compute budgets and a lack of systematic comparisons across base models and post-training methods; and (4) benchmark accuracy does not guarantee production readiness. We suggest human review of discovered requirements, monitoring of the agent's plan during execution, and an explicit experiment-environment specification covering hardware, budget scope, and production checks.
- Abstract（参考訳）: LLMコーディングエージェントは、モデルポストトレーニングをますます自動化することができるが、前もってデプロイされたエンジニア(FDE)エージェントとして機能し、顧客の要求を発見し、それらをデプロイメント決定に変換することができるかどうかは不明だ。
実ユースケースの要求に基づいてシミュレーションされた顧客が、あいまいな要求から始まります。
エージェントは、発見フェーズで受け入れ基準、データパーミッション、ハードウェア制約を発見し、デリバリフェーズでトレーニング後のレシピを計画して実行しなければなりません。
デリバリフェーズでは、8つのコーディングエージェント構成をまたいだ実行のわずか25%が、すべての受け入れ基準をパスしている。
このエンゲージメントにおけるボトルネックは,(1)未完成な発見,(4)未完成な要件の40%の欠如,(2)信頼性の低い実行,(3)未使用の計算予算,(3)ベースモデルとポストトレーニング手法の体系的比較の欠如,(4)ベンチマーク精度は生産準備の正確性を保証するものではない,の4つである。
我々は,発見要件の人間によるレビュー,実行中のエージェントの計画の監視,およびハードウェア,予算範囲,生産チェックをカバーする明示的な実験環境仕様を提案する。
関連論文リスト
- Instructions Are Evidence, Not Objectives: Measuring Outcome Alignment of Agents [11.784236909509362]
大規模言語モデルエージェントは、現実世界のタスクを解決するための複雑な人間の指示に従うことができる。
しかし実際には、初期命令はしばしば不完全である。
本研究では,ソフトウェア工学と研究タスクのベンチマークである textbfTiGanEval を構築した。
論文 参考訳（メタデータ） (2026-10-13T05:39:34Z) - AgentSWE: Can Coding Agents Build the Agent You Actually Want? [27.064072390170466]
本稿ではエージェント開発ライフサイクルの3段階にまたがるエージェントソフトウェアエンジニアリングのベンチマークであるエージェントSWEを紹介する。
25のタスクはそれぞれ、試験ではなく委員会としてフレーム化されている。
要求が要求するものを提供するにはほど遠いものはありません。
論文 参考訳（メタデータ） (2026-10-09T10:35:27Z) - Formal Verification of Agentic Systems over Operational Data [59.98246281888422]
大規模言語モデル(LLM)によって駆動されるエージェントシステムは、永続的な運用データを扱う現実世界にますます展開されている。
既存のアプローチはそのようなシステムレベルの保証を提供していません。
本稿では, 1 つの LLM とツールオーケストレーションハーネスからなるエージェントシステムのリレーショナル操作データに対する検証について述べる。
論文 参考訳（メタデータ） (2026-08-04T13:01:30Z) - DataClawEval: A Benchmark for Data Engineering Agents in Real Industrial Harness [8.716755570427184]
我々は,実世界のデータエンジニアリングシナリオにおいて,自律エージェントのエンドツーエンドタスク完了を評価するために設計された,最初の包括的なベンチマークであるDataClawEvalを紹介する。
PySpark、Hive、Presto/Trino、Flinkの5つの実行エンジンにまたがる100の厳格なエンドツーエンドタスクで構成されている。
決定論的アズ・ア・ジャッジスコアではなく、各タスクはケース固有で独立したサンドボックス内で実行され、ルールベースのスクリプトによってグレードされる。
論文 参考訳（メタデータ） (2026-07-30T11:17:27Z) - ORBIT: Scalable and Verifiable Data Generation for Search Agents on a Tight Budget [56.6320292944541]
ORBITは20Kの推論集約クエリと短い検証可能な回答を備えたトレーニングデータセットである。
私たちのフレームワーク、コード、データセットはオープンソースで公開されています。
論文 参考訳（メタデータ） (2026-04-01T17:42:41Z) - TRUST-SQL: Tool-Integrated Multi-Turn Reinforcement Learning for Text-to-SQL over Unknown Schemas [22.65474240295148]
我々はTRUST(Truthful Reasoning with Unknown via Tools)を提案する。
我々は,このタスクを,自律エージェントが構造化された4相プロトコルを用いて検証された推論を行う部分観測可能なマルコフ決定プロセスとして定式化する。
トークンレベルマスキングの利点を適用することで、この戦略は、調査報酬を実行結果から分離し、クレジットの割り当てを解決する。
論文 参考訳（メタデータ） (2026-03-17T12:30:42Z) - Data Verification is the Future of Quantum Computing Copilots [4.383971258193633]
検証を優先するアーキテクチャは、制約によって管理される領域における量子コピロとAI自動化に必要である、と我々は主張する。
検証されたトレーニングデータにより、モデルは統計的近似ではなく、学習された構造として正確な制約を内部化することができる。
論文 参考訳（メタデータ） (2026-02-03T23:15:05Z) - AGENTIF: Benchmarking Instruction Following of Large Language Models in Agentic Scenarios [51.46347732659174]
LLM(Large Language Models)は、現実世界のエージェントアプリケーションにおいて高度な機能を示す。
AgentIFは、エージェントシナリオでLLM命令に従う能力を体系的に評価する最初のベンチマークである。
論文 参考訳（メタデータ） (2025-05-22T17:31:10Z) - DS-Agent: Automated Data Science by Empowering Large Language Models with Case-Based Reasoning [56.887047551101574]
大規模言語モデル(LLM)エージェントとケースベース推論(CBR)を利用した新しいフレームワークであるDS-Agentを提案する。
開発段階では、DS-AgentはCBRフレームワークに従い、自動イテレーションパイプラインを構築する。
デプロイメントの段階では、DS-Agentは、シンプルなCBRパラダイムで低リソースのデプロイメントステージを実装し、LCMの基本能力に対する需要を大幅に削減する。
論文 参考訳（メタデータ） (2024-02-27T12:26:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。