論文の概要: Evaluating Local Language Model Agents for Reproducible Data Engineering: An Empirical Software Engineering Study of Mobility Workflows

• arxiv url: http://arxiv.org/abs/2610.11482v1
• Date: Thu, 08 Oct 2026 08:26:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:53.892266
• Title: Evaluating Local Language Model Agents for Reproducible Data Engineering: An Empirical Software Engineering Study of Mobility Workflows
• Title（参考訳）: 再現可能なデータエンジニアリングのためのローカル言語モデルエージェントの評価:モビリティワークフローの実証ソフトウェア工学的研究
• Abstract要約: 大規模言語モデル(LLM)エージェントは、ソフトウェアやデータエンジニアリングアシスタントとしてますます使われている。 ローカルオープンウェイトエージェントが正しい再現可能なデータエンジニアリングアーティファクトを作成できるかどうかを評価する。
• 参考スコア（独自算出の注目度）: 74.39138492851343
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Context: Large language model (LLM) agents are increasingly used as software and data-engineering assistants, yet evidence about locally deployable open-weight agents remains limited. Existing evaluations often emphasize textual responses or isolated code generation rather than the validity of complete engineering artifacts. Objectives: We evaluate whether local LLM agents can produce correct and reproducible data-engineering artifacts, quantify the effect of a closed-loop workspace condition, and examine trade-offs in model scale, architecture, quantization, runtime, tool use, and failure. Methods: We introduce a benchmark of fifteen mobility-workflow tasks covering data discovery, connectors, transport-feed processing, semantic enrichment, feature engineering, validation, visualization, and reporting. Deterministic checkers assess generated scripts, tables, structured files, figures, and reports. Ten local configurations are evaluated in one-shot and closed-loop conditions, with five repetitions per model, mode, and task, yielding 1,500 scored attempts on a consumer-grade GPU. Results: Among models larger than two billion parameters, the workspace condition increases pass rates by 26.7-52.0 percentage points over one-shot generation. The strongest configuration reaches 85.3% artifact-level success, and a quantized 9-billion-parameter model reaches 69.3% with an approximately 6.5 GB memory footprint. Gains are largest when intermediate artifacts expose errors the agent can inspect and repair. Conclusion: Local open-weight agents can support a meaningful subset of software-intensive data-engineering work, but reliability depends on model capability, task verifiability, and deterministic validation. The benchmark provides a reproducible method for evaluating complete agent configurations before adoption in engineering workflows.
• Abstract（参考訳）: コンテキスト: 大規模言語モデル(LLM)エージェントは、ソフトウェアやデータエンジニアリングアシスタントとしてますます使われているが、ローカルにデプロイ可能なオープンウェイトエージェントに関する証拠は限られている。 既存の評価では、完全なエンジニアリング成果物の妥当性よりも、テキスト応答や孤立したコード生成を強調していることが多い。 目的: ローカルLLMエージェントが正しい再現可能なデータエンジニアリング成果物を生成できるかどうかを評価し, クローズドループのワークスペース条件の効果を定量化し, モデルスケール, アーキテクチャ, 量子化, 実行時, ツール使用時, 障害時のトレードオフを検討する。 方法: データ発見,コネクタ,トランスポートフィード処理,セマンティックエンリッチメント,機能工学,検証,可視化,レポートを含む15のモビリティワークフロータスクのベンチマークを紹介する。 決定論的チェッカーは生成されたスクリプト、テーブル、構造化ファイル、図形、レポートを評価する。 10のローカル構成をワンショットおよびクローズドループ条件で評価し、モデル、モード、タスク毎に5回繰り返し、コンシューマグレードのGPUで1,500の試験結果が得られる。 結果: 20億以上のモデルのうち、ワークスペース条件は1ショット世代で26.7-52.0ポイントの割合でパスレートを上昇させる。 最も強力な構成は85.3%のアーティファクトレベルに到達し、量子化された9ビリオンパラメータモデルは約6.5GBのメモリフットプリントで69.3%に達する。 中間アーティファクトがエラーを露呈すると、エージェントが検査し、修復できる場合、ゲインは最大になる。 結論: ローカルなオープンウェイトエージェントは、ソフトウェア集約型データエンジニアリング作業の有意義なサブセットをサポートすることができるが、信頼性はモデル能力、タスクの妥当性、決定論的検証に依存する。 このベンチマークは、エンジニアリングワークフローを採用する前に、完全なエージェント構成を評価する再現可能な方法を提供する。

関連論文リスト

• StructureClaw: Traceable LLM Agents and an Executable Benchmark for Structural Engineering Workflows [15.552044829103373]
  構造工学要求のためのアーティファクト中心のワークベンチであるStructureClawを紹介します。 また、150の制御シナリオの実行可能なベンチマークであるStructureClaw-Benchを紹介します。 同じ50の標準ケースで評価された10のエージェントモデル構成の中で、平均成功率は56.8%、ジェネリックスキルベースラインは88.6%、完全な自動ワークフローは88.6%となっている。
  論文  参考訳（メタデータ） (2026-07-16T12:13:41Z)
• Code2UML: Agentic LLMs with context engineering for scalable software visualization [7.069738194755401]
  本稿では,ソースコードリポジトリからの自動ダイアグラム生成のためのコンテキストエンジニアリングを備えたエージェントアーキテクチャを提案する。 PlannerAgent、Analyzer DiagramAgent、CorrectorAgent、DependencyAnalyzerAgentの5つの特別なエージェントの階層を採用しており、Claude Agent SDK上に構築されている。 決定論的で重み付けされたIR圧縮層は、完全なプロジェクトIRをトークン制約に適合するように保証されたダイアグラム固有のビューに変換する。
  論文  参考訳（メタデータ） (2026-05-23T08:01:26Z)
• Compiled AI: Deterministic Code Generation for LLM-Based Workflow Automation [3.225273674498579]
  我々は,大言語モデルがコンパイルフェーズ中に実行可能なコードアーティファクトを生成するパラダイムであるコンパイルAIについて研究し,その後,さらなるモデル実行を必要とせずに決定的に実行する。 当社のコントリビューションは、ハイテイクなランタイムエンタープライズへの適用に関するシステム指向の研究です。
  論文  参考訳（メタデータ） (2026-04-06T20:25:20Z)
• MEnvAgent: Scalable Polyglot Environment Construction for Verifiable Software Engineering [54.236614097082395]
  本稿では,自動環境構築のためのフレームワークであるMEnvAgentを紹介する。 MEnvAgentは、建設失敗を自律的に解決するマルチエージェント計画実行検証アーキテクチャを採用している。 MEnvData-SWEは,これまでで最大の,現実的な検証可能なDocker環境のポリグロットデータセットである。
  論文  参考訳（メタデータ） (2026-01-30T11:36:10Z)
• LLM Agents for Interactive Workflow Provenance: Reference Architecture and Evaluation Methodology [3.470217255779291]
  本稿では,対話型大規模言語モデル(LLM)エージェントをランタイムデータ解析に活用する評価手法,参照アーキテクチャ,オープンソース実装を提案する。 提案手法では,自然言語を構造化された前処理クエリに変換する軽量なメタデータ駆動型設計を用いる。 LLaMA、GPT、Gemini、Claudeにまたがる評価では、多様なクエリクラスと現実世界の化学ワークフローを網羅し、モジュール設計、即時チューニング、Retrieval-Augmented Generation (RAG)が正確で洞察に富んだエージェント応答を可能にすることを示している。
  論文  参考訳（メタデータ） (2025-09-17T13:51:29Z)
• OmniEAR: Benchmarking Agent Reasoning in Embodied Tasks [52.87238755666243]
  OmniEARは,言語モデルが身体的相互作用やツールの使用,マルチエージェントの協調にどう影響するかを評価するためのフレームワークである。 我々は、家庭と工業領域にまたがる1500のシナリオにおける連続的な物理的特性と複雑な空間的関係をモデル化する。 我々の体系的な評価は、モデルが制約から推論しなければならない場合、厳しい性能劣化を示す。
  論文  参考訳（メタデータ） (2025-08-07T17:54:15Z)
• DiscoveryBench: Towards Data-Driven Discovery with Large Language Models [50.36636396660163]
  我々は、データ駆動探索の多段階プロセスを形式化する最初の包括的なベンチマークであるDiscoveryBenchを紹介する。 我々のベンチマークには、社会学や工学などの6つの分野にまたがる264のタスクが含まれている。 私たちのベンチマークでは、自律的なデータ駆動型発見の課題を説明し、コミュニティが前進するための貴重なリソースとして役立ちます。
  論文  参考訳（メタデータ） (2024-07-01T18:58:22Z)
• MLAgentBench: Evaluating Language Agents on Machine Learning Experimentation [96.71370747681078]
  我々は,CIFAR-10におけるモデル性能の改善から,BabyLMのような最近の研究課題まで,13のタスクからなるMLAgentBenchを紹介した。 各タスクに対して、エージェントはファイルの読み書き、コードの実行、出力の検査などのアクションを実行することができる。 我々は、Claude v1.0、Claude v2.1、Claude v3 Opus、GPT-4、GPT-4-turbo、Gemini-Pro、Mixtralに基づいてベンチマークエージェントをベンチマークし、Claude v3 Opusエージェントが成功率の点で最高であることを示す。
  論文  参考訳（メタデータ） (2023-10-05T04:06:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。