論文の概要: Closed-loop evaluation of LLM agents for embedded software development
- arxiv url: http://arxiv.org/abs/2610.11447v1
- Date: Thu, 08 Oct 2026 08:02:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-10 02:36:53.881338
- Title: Closed-loop evaluation of LLM agents for embedded software development
- Title（参考訳）: 組込みソフトウェア開発のためのLCMエージェントの閉ループ評価
- Abstract要約: 大規模言語モデル(LLM)は、ファイルの編集、ビルドとテストの実行、実行結果の検査、反復的にソフトウェアを修復するコーディングエージェントとして、ますます多くデプロイされている。
組込み符号化エージェントのクローズドループ評価のためのベンチマークを示す。
スイートには5つの組み込みコントロールタスクと4つのフィードバックシナリオが含まれている。
- 参考スコア（独自算出の注目度）: 43.63232795241617
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs) are increasingly deployed as coding agents that edit files, run builds and tests, inspect execution results, and repair software iteratively. Embedded firmware is a demanding target because correctness depends on closed-loop behavior under sensing, timing, and safety constraints, not only on static source quality. Yet embedded-agent evaluation remains limited and often emphasizes one-shot synthesis or offline correctness. We present a benchmark for closed-loop evaluation of embedded coding agents. Each task provides a plain-text engineering description, constrained workspace, and visible build-and-runtime surface. The agent must translate requirements into implementation and self-verification steps, then iterate until the required device behavior is achieved. The suite contains five embedded-control tasks and four feedback scenarios: one-shot generation, realistic self-verification, CI-style red/green feedback, and oracle-style detailed feedback. The implementation targets simulated ESP32 firmware for reproducibility. We evaluate seven GPT-family and Qwen-family configurations across five tasks and four scenarios, with three repetitions per condition for 420 runs. gpt-5.4 has the highest pass rate among evaluated configurations but does not saturate the benchmark; qwen3.5-27B is the strongest observed local model; and smaller local models degrade sharply in pass rate and search efficiency. These results suggest that capable local embedded coding agents are emerging.
- Abstract（参考訳）: 大規模言語モデル(LLM)は、ファイルの編集、ビルドとテストの実行、実行結果の検査、反復的にソフトウェアを修復するコーディングエージェントとして、ますます多くデプロイされている。
組込みファームウェアは、静的ソースの品質だけでなく、検知、タイミング、安全性の制約の下でのクローズドループの動作に依存しているため、需要の高いターゲットである。
しかし、組込みエージェントの評価は限定的であり、しばしばワンショット合成やオフラインの正しさを強調している。
組込み符号化エージェントのクローズドループ評価のためのベンチマークを示す。
各タスクは、平文のエンジニアリング記述、制約されたワークスペース、そして目に見えるビルドと実行時の表面を提供する。
エージェントは要件を実装と自己検証のステップに変換し、必要なデバイス動作が達成されるまで繰り返す必要がある。
スイートには5つの組み込みコントロールタスクと4つのフィードバックシナリオが含まれている。
この実装は再現性のためにESP32ファームウェアをシミュレートする。
我々は5つのタスクと4つのシナリオにまたがって7つのGPTファミリーとQwenファミリーの構成を評価し、420回のランで条件を3回繰り返した。
gpt-5.4は評価された構成の中で最高パスレートを持っているが、ベンチマークを飽和させていない; qwen3.5-27Bは最も観測されたローカルモデルであり、より小さなローカルモデルはパスレートと探索効率が急激に低下する。
これらの結果から,有能な局所符号化エージェントが出現していることが示唆された。
関連論文リスト
- Evaluating Local Language Model Agents for Reproducible Data Engineering: An Empirical Software Engineering Study of Mobility Workflows [74.39138492851343]
大規模言語モデル(LLM)エージェントは、ソフトウェアやデータエンジニアリングアシスタントとしてますます使われている。
ローカルオープンウェイトエージェントが正しい再現可能なデータエンジニアリングアーティファクトを作成できるかどうかを評価する。
論文 参考訳（メタデータ） (2026-10-08T08:26:46Z) - Self-Supervised Scaling of Terminal Environments for Scientific Domains [43.17162353852083]
ターミナルエージェントは、科学やその他の専門分野のソフトウェア工学を超えた展開が増えている。
本稿では,既存のソフトウェアケースから参照出力と検証対象を取得するセルフアウトプット・フレームワークであるSoftware-in-the-loopについて紹介する。
SWRを6つのドメインで500から46のソフトウェアファミリでインスタンス化する。
Qwen3.8-Maxはタスク毎に3回の試行を行い、838のタスクを解決し、1,422の検証軌道を生成します。
論文 参考訳（メタデータ） (2026-10-02T02:44:46Z) - RecreationWorld: Scalable and Verifiable Environments for Hybrid Computer-Use Agents [53.51359930826217]
真のデジタルワークには、端から端まで積み重ねるのではなく、両方をインターリーブする必要があります。
インターフェースを探索し、ソフトウェアを実装し、それらのアーティファクトを実行し、視覚的に検証するタイミングを自律的に決定するハイブリッドCUAについて研究する。
レクリエーションを中心に構築された5プラットフォームフレームワークであるRecreationWorldを紹介します。
論文 参考訳（メタデータ） (2026-09-18T17:00:56Z) - SA-Bench: Evaluating Semantic Alignment in LLM-Based Paper Reproduction [12.71956248550879]
LLMエージェントは再生コードを生成することができるが、科学的に不誠実な実装をしばしば生成する。
我々は、この障害モードをセマンティックドリフトと定義し、生成されたコードは紙の仕様から静かに分岐する。
ICLR、ICML、NeurIPS 2025の30論文をカバーする診断ベンチマークであるSemanticAlign-Benchを紹介した。
論文 参考訳（メタデータ） (2026-08-25T08:48:48Z) - SCDBench: A Benchmark for LLM-Based Smart Contract Decompilers [55.39407031861402]
本稿では,スマートコントラクトデコンパイルのためのデータセットとベンチマーク手法であるSCDBenchを紹介する。
データセットには600の現実のSolidityコントラクトと、ペア化されたバイトコード入力、地味なソースコード、再生可能なセマンティックチェックポイントが含まれている。
我々は,GLM-5の変種を含むゼロショット逆コンパイル設定において,Claude Opus 4.7,GPT-5.3-Codex,GLM-5を評価した。
論文 参考訳（メタデータ） (2026-05-27T20:08:47Z) - POSTCONDBENCH: Benchmarking Correctness and Completeness in Formal Postcondition Inference [10.01438318022033]
実世界のソフトウェアからメソッドレベルの後条件生成を評価するベンチマークであるPOSTCONDBENCHを紹介する。
自動評価を可能にするため、POSTCONDBENCHは実行可能な実行環境を提供し、欠陥識別を通じて完全性を運用する。
以上の結果から,リポジトリレベルの依存関係とメソッドの複雑性が,このギャップを悪化させることを示す。
論文 参考訳（メタデータ） (2026-05-05T04:29:38Z) - LiveFMBench: Unveiling the Power and Limits of Agentic Workflows in Specification Generation [75.05397479715576]
大規模言語モデル(LLM)とエージェントは有望な進歩を示しているが、その真の能力と失敗モードは未だ不明である。
CプログラムのためのLCMおよびエージェントベースの形式仕様生成に関する、最初の体系的および汚染に配慮した研究を提案する。
論文 参考訳（メタデータ） (2026-05-02T11:31:33Z) - SPARC: Scenario Planning and Reasoning for Automated C Unit Test Generation [1.0010193170880752]
本稿では,高レベルのプログラム意図とポインタ演算と手動メモリ管理の厳密な構文制約とのギャップを埋める,ニューロシンボリックなシナリオベースのフレームワークを提案する。
我々は、59の現実世界およびアルゴリズムの被験者で評価し、バニラプロンプト生成ベースラインを31.36%、分岐カバレッジ26.01%、突然変異スコア20.78%で上回り、シンボリック実行ツールKLEEに適合または超えている。
論文 参考訳（メタデータ） (2026-02-18T18:09:03Z) - Can Large Language Models Detect Real-World Android Software Compliance Violations? [3.7278558081099544]
現在のモデルは、さまざまな法律フレームワークにわたるAndroidアプリケーションのコンプライアンス違反を検出するのに苦労している。
コンプライアンス違反を検知するLLMの能力を評価するための新しい評価フレームワークであるemphCompliBenchを提案する。
GPT-4OやClaude-3.5を含む6つのモデルによる実験では、emphCompliBenchはコンプライアンス検出を改善している。
論文 参考訳（メタデータ） (2025-11-01T16:58:33Z) - MCP-Universe: Benchmarking Large Language Models with Real-World Model Context Protocol Servers [86.00932417210477]
MCP-Universeは,実世界のMPPサーバとのインタラクションを通じて,現実的かつ困難なタスクにおいてLLMを評価するために設計された,初めての総合ベンチマークである。
私たちのベンチマークでは、ロケーションナビゲーション、リポジトリ管理、財務分析、3Dデザイン、ブラウザ自動化、Web検索という、11の異なるMSPサーバにまたがる6つのコアドメインを網羅しています。
GPT-5 (43.72%) やGrok-4 (33.33%) やClaude-4.0-Sonnet (29.44%) のようなSOTAモデルでさえ、大幅な性能制限がある。
論文 参考訳（メタデータ） (2025-08-20T13:28:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。