論文の概要: Software Engineering LLMs: Why We Need Them and How Software Engineering Helps Build Them

• arxiv url: http://arxiv.org/abs/2610.33851v1
• Date: Sat, 24 Oct 2026 18:45:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.462955
• Title: Software Engineering LLMs: Why We Need Them and How Software Engineering Helps Build Them
• Title（参考訳）: ソフトウェアエンジニアリング LLMs: なぜ私たちに必要なのか、そしてソフトウェアエンジニアリングがテーマを構築するのにどのように役立つのか
• Abstract要約: ソフトウェアエンジニアリング(SE)の専門知識は、大規模言語モデル(LLM)のコーディング方法と、どのエンジニアリング能力を習得するかを形作ることができる。 確立されたSE知識が、エンジニアリング能力の選択、検証可能なトレーニングデータの構築、モデル改善の評価をいかに導くかを実証する。 306のPythonリポジトリで、RefactorForgeは5,704の実行可能なタスクを生成し、合計72.5100万のトークンで4,572の認証済みの教師トラジェクトリを保持した。
• 参考スコア（独自算出の注目度）: 4.900983516442284
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Software engineering (SE) expertise can shape how coding large language models (LLMs) are trained and which engineering capabilities they acquire. We examine this role through an industrial case study of capability-focused training for a 92B-parameter coding LLM serving more than 100,000 developers. We demonstrate how established SE knowledge can guide the selection of engineering capabilities, the construction of verifiable training data, and the evaluation of model improvements. To target repository-level refactoring, we developed RefactorForge, a pipeline that combines refactoring knowledge, established SE tools, and verification techniques to construct training data. Across 306 Python repositories, RefactorForge generated 5,704 executable tasks and retained 4,572 verified teacher trajectories totaling 72.51 million tokens. Incremental supervised fine-tuning on these trajectories, accounting for 0.46% of the preceding coding mixture's tokens, improved RefactorBench performance by 18.00 percentage points and SWE-Bench ProMax performance by 7.06 points. Under OpenCode, these improvements extended to SWE issue resolution, with gains of 4.97 points on SWE-Bench Verified and 1.23 points on SWE-Bench Pro. Improvements also persisted across other coding-agent harnesses, while greenfield repository generation showed mixed results. We report lessons from constructing capability-focused training data and evaluating its effects across engineering workloads. Building on this industrial experience, we propose a research agenda for expanding SE's role in transforming coding LLMs into SE LLMs: incorporating SE knowledge into model training, applying engineering methods to model development and maintenance, and systematically defining the engineering capabilities these models should acquire.
• Abstract（参考訳）: ソフトウェアエンジニアリング(SE)の専門知識は、大規模言語モデル(LLM)のコーディング方法と、どのエンジニアリング能力を習得するかを形作ることができる。 92B パラメータ符号化 LLM を10万人以上の開発者に提供するため,この役割を産業ケーススタディで検証した。 確立されたSE知識が、エンジニアリング能力の選択、検証可能なトレーニングデータの構築、モデル改善の評価をいかに導くかを実証する。 リポジトリレベルのリファクタリングを目標とするために、リファクタリングの知識、確立されたSEツール、トレーニングデータを構築するための検証テクニックを組み合わせたパイプラインであるRefactorForgeを開発しました。 306のPythonリポジトリで、RefactorForgeは5,704の実行可能なタスクを生成し、合計72.5100万のトークンで4,572の認証済みの教師トラジェクトリを保持した。 これらの軌道の微調整は前回の符号混合のトークンの0.46%を占め、RefactorBenchのパフォーマンスは18.00ポイント改善され、SWE-Bench ProMaxのパフォーマンスは7.06ポイント向上した。 OpenCodeでは、これらの改善はSWEイシュー解決まで拡張され、SWE-Bench Verifiedでは4.97ポイント、SWE-Bench Proでは1.23ポイントを獲得した。 他のコーディングエージェントハーネスにも改善が継続され、Greenfieldリポジトリの生成にはさまざまな結果が得られた。 機能中心のトレーニングデータの構築と,その影響をエンジニアリングワークロード全体で評価することから教訓を報告する。 本研究は, この産業経験を基盤として, SE の知識をモデルトレーニングに取り入れ, 開発・保守に工学的手法を適用し, それらのモデルが獲得すべき工学的能力を体系的に定義する,という, LLM をSE LLM に変換する SE の役割を拡大するための研究課題を提案する。

関連論文リスト

• Evaluating Local Language Model Agents for Reproducible Data Engineering: An Empirical Software Engineering Study of Mobility Workflows [74.39138492851343]
  大規模言語モデル(LLM)エージェントは、ソフトウェアやデータエンジニアリングアシスタントとしてますます使われている。 ローカルオープンウェイトエージェントが正しい再現可能なデータエンジニアリングアーティファクトを作成できるかどうかを評価する。
  論文  参考訳（メタデータ） (2026-10-08T08:26:46Z)
• SWE-Tester: Training Open-Source LLMs for Issue Reproduction in Real-World Repositories [4.70019882353957]
  SWE-Testerは、問題再現テストを生成するためにオープンソースのLLMをトレーニングするための新しいパイプラインである。 まず、オープンソースのGitHubリポジトリ2.6Kから41Kインスタンスの高品質なトレーニングデータセットをキュレートします。 微調整されたモデルでは、SWT-Bench Verifiedにおける最大10%の成功率と21%の変更カバレッジの絶対的な改善を実現している。
  論文  参考訳（メタデータ） (2026-01-20T08:10:56Z)
• From Code Foundation Models to Agents and Applications: A Practical Guide to Code Intelligence [150.3696990310269]
  大規模言語モデル(LLM)は、自然言語記述を直接関数コードに変換することによって、自動ソフトウェア開発を変革した。 コードLLMに関する総合的な合成と実践的ガイド(一連の解析および探索実験)を提供する。 一般LLM(GPT-4, Claude, LLaMA)とコード特殊化LLM(StarCoder, Code LLaMA, DeepSeek-Coder, QwenCoder)のコード機能の解析を行う。
  論文  参考訳（メタデータ） (2025-11-23T17:09:34Z)
• Co-Evolving LLM Coder and Unit Tester via Reinforcement Learning [48.66688117533318]
  本稿では,専用の報酬設計を備えた新しい強化学習フレームワークCUREを提案する。 CUREは、その相互作用の結果に基づいて、コーディングと単体テスト生成機能を共進化させる。 我々のモデルは,ベースモデルに基づく強化学習に有効な報奨モデルとして機能することを発見した。
  論文  参考訳（メタデータ） (2025-06-03T17:58:42Z)
• MANTRA: Enhancing Automated Method-Level Refactoring with Contextual RAG and Multi-Agent LLM Collaboration [44.75848695076576]
  本稿では,包括的Large Language ModelsエージェントベースのフレームワークであるMANTRAを紹介する。 ManTRAは、コンテキスト対応検索強化生成、協調型マルチエージェントコラボレーション、および言語強化学習を統合している。 MANTRA はベースライン LLM モデルを大幅に上回ることを示す実験結果が得られた。
  論文  参考訳（メタデータ） (2025-03-18T15:16:51Z)
• SnipGen: A Mining Repository Framework for Evaluating LLMs for Code [51.07471575337676]
  言語モデル(LLM)は、コードリポジトリを含む広範なデータセットに基づいてトレーニングされる。 それらの有効性を評価することは、トレーニングに使用されるデータセットと評価に使用されるデータセットとが重複する可能性があるため、大きな課題となる。 SnipGenは、コード生成のために、様々な下流タスクをまたいだ迅速なエンジニアリングを活用するように設計された包括的なリポジトリマイニングフレームワークである。
  論文  参考訳（メタデータ） (2025-02-10T21:28:15Z)
• ML-Bench: Evaluating Large Language Models and Agents for Machine Learning Tasks on Repository-Level Code [76.84199699772903]
  ML-Benchは、既存のコードリポジトリを利用してタスクを実行する現実世界のプログラミングアプリケーションに根ざしたベンチマークである。 LLM(Large Language Model)とAIエージェントの両方を評価するために、事前に定義されたデプロイメント環境でLLMのテキスト-コード変換を評価するML-LLM-Benchと、Linuxサンドボックス環境でエンドツーエンドのタスク実行で自律エージェントをテストするML-Agent-Benchの2つの設定が採用されている。
  論文  参考訳（メタデータ） (2023-11-16T12:03:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。