論文の概要: Trains but Doesn't Learn: A Post-Training Delivery Benchmark for LLM Agents as Forward-Deployed Engineers
- arxiv url: http://arxiv.org/abs/2609.25237v1
- Date: Mon, 21 Sep 2026 18:01:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-23 18:04:04.059245
- Title: Trains but Doesn't Learn: A Post-Training Delivery Benchmark for LLM Agents as Forward-Deployed Engineers
- Title（参考訳）: 列車は学習しない - 前方展開エンジニアとしてのLDMエージェントのトレーニング後デリバリベンチマーク
- Abstract要約: ポストトレーニングがサービス(PT)になりつつある
フォワードデプロイエンジニア(FDE)は、予算の下で微調整され、評価され、デプロイされたモデルを返す。
L40S、A100、H200の4つのフロンティアエージェントを8Bから70Bのオープンベースで実行し、スコアの前にすべてのシナリオを認証します。
- 参考スコア（独自算出の注目度）: 3.2903279497624944
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Post-training is becoming a service (PTaaS): a customer hands an operator data and a goal, and a forward-deployed engineer (FDE) returns a fine-tuned, evaluated, and deployed model under a budget, a human-approval gate, and reproducibility requirements. Seating an LLM agent in the FDE seat raises a question existing benchmarks cannot answer: not whether an agent can raise a metric, but whether it can be trusted to deliver. We answer it on a governed delivery plane, where an agent drives ten stages and an oracle scores each stage from platform-recorded facts. The central silent failure is the run that trains but does not learn (TBDL): loss falls, every signal stays green, and the delivered model is no better than the base. An operator-run acceptance gate catches every such run before payment, and a detector calibrated on known-corrupted runs flags severe corruption mid-run. We ran four frontier agents (Claude Opus 5, GPT-5.6-luna, Gemini 3.7 Flash, DeepSeek V4-Pro) end to end on metered L40S, A100, and H200 GPUs across 8B to 70B open bases, certifying every scenario before scoring. We also ran a human FDE arm under the same oracle and compare every agent against it.
- Abstract（参考訳）: 顧客はオペレータデータと目標を手渡し、事前デプロイされたエンジニア(FDE)は、予算、人間承認ゲート、再現性要件の下で、微調整され、評価され、デプロイされたモデルを返す。
FDE 席に LLM エージェントを配置すると、既存のベンチマークでは答えられない問題が発生する。
エージェントが10段階を駆動し、神託がプラットフォームに記録された事実から各ステージを得点する。
中央のサイレント障害は列車を走らせるが学習しない(TBDL)ことであり、損失は減少し、全ての信号は緑色のままであり、納入されたモデルはベースほど良くない。
オペレーターが走行する受け入れゲートは、支払い前に全ての走行をキャッチし、既知の故障したランの旗を校正した検出器は、走行中に深刻な汚職を発生させる。
我々は、8Bから70Bのオープンベースにまたがる4つのフロンティアエージェント(Claude Opus 5, GPT-5.6-luna, Gemini 3.7 Flash, DeepSeek V4-Pro)を計測されたL40S、A100、H200 GPUでエンドツーエンドに実行し、スコアの前にすべてのシナリオを認証しました。
また、同じオラクルの下で人間のFDEアームを実行し、すべてのエージェントをそれと比較しました。
関連論文リスト
- AutoTuneBench: Trustworthy Measurement for Agent Auto-Tuning of LLM Serving Engines [8.951500258016974]
本稿では,信頼アーキテクチャを実現するベンチマークおよび測定プロトコルであるAutoTuneBenchを紹介する。
619モデルコールの4日間のパイロットコーパスから4つの障害モードを特徴付ける。
論文 参考訳（メタデータ） (2026-09-16T04:58:25Z) - AgentAudit: An Open, Extensible Framework for Full-Lifecycle Trust Evaluation of AI Agents [2.8000808592516293]
AgentAuditは10の能力、グラウンド、セキュリティ、振る舞いの次元にわたって、実行トレース全体を評価する。
記録された実行トレースのみを読み出し、エージェントの実行方法に干渉しない。
我々は,9つの言語モデル(OpenAI GPT-5, Claude Sonnet 5, Sarvam 105B, Llama 3.3 70B, Gemini 2.5 Flash)を,9つの能力と対向タスクで評価した。
論文 参考訳（メタデータ） (2026-09-09T08:29:16Z) - AI-Assisted Design of a Post-Quantum Cryptographic Accelerator: A Deployed-Silicon Case Study [0.4251773265892765]
我々は、標準の受け入れゲートを、事実上のゴールデンレファレンスオラクルに置き換える。
エージェント型大規模言語モデルがML-KEM-768とML-DSA-65アクセラレータを駆動する実験を232回報告した。
論文 参考訳（メタデータ） (2026-09-03T16:34:50Z) - Privacy-Preserving Topology-Guided Safety for LLM-Based Multi-Agent Systems via Federated Graph Learning [67.04448659688579]
FGLGuardは、AgentDojoのグランドサクセスレートを、ほぼ無防備なユーティリティ、APIコストゼロ、無視可能な機能損失で43%削減する。
フェデレーションはオプションではなく、オフ・ザ・シェルフ・トランスファーは流通シフトによって崩壊する。
Live FGLGuardは、AgentDojoのグランドサクセスレートを、ほぼ無防備なユーティリティ、APIコストゼロ、無視可能な機能損失で43%削減する。
論文 参考訳（メタデータ） (2026-09-02T07:57:12Z) - LMSM: LLM Security Framework Inspired by Linux Security Modules [56.93644694627783]
大規模言語モデル(LLM)は階層化されたディフェンスでデプロイされることが多いが、悪意のあるプロンプトはそれらをバイパスすることができる。
我々は,Language Model Security Modules (LMSM) という,Linux Security Modules (LSM) の背後にある分離を LLM サービスに適応させるセキュリティフレームワークを提案する。
論文 参考訳（メタデータ） (2026-08-26T12:13:05Z) - OSReward: Instituting Standardized Evaluation for Cross-Platform Computer-Use Reward Models [87.08963239083614]
コンピュータ利用エージェント(CUA)はデジタル世界で急速に進歩している。
この分野は、CUA軌道の審査員として、視覚言語モデル(VLM)に変わりつつある。
我々は,CUA軌道上のVLM判定値を評価する,現実的で高品質なベンチマークOSRewardを紹介する。
論文 参考訳（メタデータ） (2026-07-30T17:57:41Z) - ChipMATE: Multi-Agent Training via Reinforcement Learning for Enhanced RTL Generation [55.947962672433675]
ChipMATEは、RTL生成のための最初の自己学習型マルチエージェントフレームワークである。
ChipMATEは産業的な実践に触発され、VerilogエージェントとPythonのリファレンスモデルエージェントをペアにし、相互に出力を検証する。
ChipMATEは、VerilogEval V2で75.0%と80.1%パス@1を4Bと9Bベースモデルで達成している。
論文 参考訳（メタデータ） (2026-05-13T01:04:21Z) - Workspace Optimization: How to Train Your Agent [49.579258311548635]
我々はエージェントのEmphworkspaceであり、それが読み取り、書き込み、テストする構造化された外部基質であると主張している。
本稿では,重み空間トレーニングの構造を反映して,作業空間を進化させる原理的手法を提案する。
ARC-AGI-3のマルチエージェントハーネスであるDreamTeamのアイデアをインスタンス化する。
論文 参考訳（メタデータ） (2026-05-10T16:52:10Z) - PostTrainBench: Can LLM Agents Automate LLM Post-Training? [29.73325463650116]
AIエージェントは、この1年で驚くほどソフトウェア工学に精通している。
これらのシステムは、AI研究そのものを自動化する能力を拡張することができるのだろうか?
本稿では,LLMエージェントが有界な計算制約下で自律的に実行できることをベンチマークするためにPostTrainBenchを導入する。
論文 参考訳（メタデータ） (2026-03-09T17:18:00Z) - Where LLM Agents Fail and How They can Learn From Failures [62.196870049524364]
大規模言語モデル(LLM)エージェントは、複雑なマルチステップタスクの解決において有望であることを示す。
単一ルート原因エラーがその後の決定を通じて伝播する、障害のカスケードに対する脆弱性を増幅する。
現在のシステムは、モジュール的で体系的な方法でエージェントエラーを包括的に理解できるフレームワークを欠いている。
AgentErrorTaxonomyは、メモリ、リフレクション、計画、アクション、システムレベルの操作にまたがる障害モードのモジュール分類である。
論文 参考訳（メタデータ） (2025-09-29T18:20:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。