論文の概要: Using Copilot Agent Mode to Automate Library Migration: A Quantitative Assessment
- arxiv url: http://arxiv.org/abs/2510.26699v1
- Date: Thu, 30 Oct 2025 17:05:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-31 16:05:09.917581
- Title: Using Copilot Agent Mode to Automate Library Migration: A Quantitative Assessment
- Title(参考訳): Copilot Agent Mode を用いたライブラリマイグレーションの自動化: 定量的評価
- Authors: Aylton Almeida, Laerte Xavier, Marco Tulio Valente,
- Abstract要約: ソフトウェアシステムを最新の状態に保つことは、技術的負債、セキュリティ上の脆弱性、そしてレガシーシステムの典型的な剛性を避けるために不可欠である。
大規模言語モデル(LLM)やエージェントプログラミングシステムの最近の進歩は、そのような保守作業を自動化する新しい機会を提供する。
- 参考スコア(独自算出の注目度): 0.5735035463793009
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Keeping software systems up to date is essential to avoid technical debt, security vulnerabilities, and the rigidity typical of legacy systems. However, updating libraries and frameworks remains a time consuming and error-prone process. Recent advances in Large Language Models (LLMs) and agentic coding systems offer new opportunities for automating such maintenance tasks. In this paper, we evaluate the update of a well-known Python library, SQLAlchemy, across a dataset of ten client applications. For this task, we use the Github's Copilot Agent Mode, an autonomous AI systema capable of planning and executing multi-step migration workflows. To assess the effectiveness of the automated migration, we also introduce Migration Coverage, a metric that quantifies the proportion of API usage points correctly migrated. The results of our study show that the LLM agent was capable of migrating functionalities and API usages between SQLAlchemy versions (migration coverage: 100%, median), but failed to maintain the application functionality, leading to a low test-pass rate (39.75%, median).
- Abstract(参考訳): ソフトウェアシステムを最新の状態に保つことは、技術的負債、セキュリティ上の脆弱性、そしてレガシーシステムの典型的な剛性を避けるために不可欠である。
しかし、ライブラリやフレームワークの更新には時間がかかり、エラーが発生しやすい。
大規模言語モデル(LLM)やエージェントプログラミングシステムの最近の進歩は、そのような保守作業を自動化する新しい機会を提供する。
本稿では,有名なPythonライブラリであるSQLAlchemyを10のクライアントアプリケーションのデータセットで評価する。
このタスクでは、マルチステップのマイグレーションワークフローを計画および実行可能な自律型AIシステムであるGithubのCopilot Agent Modeを使用します。
また、自動マイグレーションの有効性を評価するために、API使用率の比率を正確に移行するメトリクスであるマイグレーションカバレッジも導入する。
調査の結果、LLMエージェントはSQLAlchemyバージョン間の機能とAPI使用率の移行が可能であった(移行カバレッジは100%、中央値)が、アプリケーションの機能を維持することができず、テストパス率が低い(中央値39.75%)。
関連論文リスト
- FreshBrew: A Benchmark for Evaluating AI Agents on Java Code Migration [2.981397088242044]
我々は、プロジェクトレベルのJavaマイグレーションでAIエージェントを評価するための新しいベンチマークであるFreshBrewを紹介する。
我々は、いくつかの最先端のLCMをベンチマークし、それらの性能を既存のルールベースのツールと比較する。
228リポジトリのこのベンチマークにおけるAIエージェントの評価は、最高のパフォーマンスモデルである2.5 Gemini Flashがプロジェクトの52.3%を17.5%に移行できることを示している。
論文 参考訳(メタデータ) (2025-10-06T14:39:58Z) - Automatic Qiskit Code Refactoring Using Large Language Models [39.71511919246829]
大規模言語モデル(LLM)を用いたQiskit符号の新しい手法を提案する。
まず、公式のQiskitドキュメントのさまざまなソースから、マイグレーションシナリオの分類を抽出することから始めます。
この分類法は、元のPythonソースコードとともに、LLMへの入力として提供され、コード内の移行シナリオのインスタンスを識別する。
論文 参考訳(メタデータ) (2025-06-17T14:00:48Z) - Which Agent Causes Task Failures and When? On Automated Failure Attribution of LLM Multi-Agent Systems [50.29939179830491]
LLMマルチエージェントシステムにおける障害帰属は、まだ調査が過小評価されており、労働集約的である。
本稿では,3つの自動故障帰属手法の開発と評価を行い,その欠点と欠点を要約する。
最良の方法は、障害に応答するエージェントを特定する際に53.5%の精度を達成するが、故障の特定には14.2%しか役に立たない。
論文 参考訳(メタデータ) (2025-04-30T23:09:44Z) - AutoML-Agent: A Multi-Agent LLM Framework for Full-Pipeline AutoML [56.565200973244146]
自動機械学習(Automated Machine Learning, ML)は、開発パイプライン内のタスクを自動化することによって、AI開発を加速する。
近年の作業では,そのような負担を軽減するために,大規模言語モデル(LLM)の利用が始まっている。
本稿では,フルパイプのAutoMLに適した新しいマルチエージェントフレームワークであるAutoML-Agentを提案する。
論文 参考訳(メタデータ) (2024-10-03T20:01:09Z) - Automated Machine Learning in Insurance [0.0]
本稿では,ドメイン知識のないユーザや経験のないユーザが,数行のコードを書くだけで,堅牢で労力のかかるMLデプロイメントを実現するためのAutoMLワークフローを紹介する。
提案されたAutoMLは、データ前処理のバランシングステップ、アンサンブルパイプライン、カスタマイズされた損失関数などの機能を備えた、保険アプリケーションに特化している。
論文 参考訳(メタデータ) (2024-08-26T14:55:40Z) - Spider2-V: How Far Are Multimodal Agents From Automating Data Science and Engineering Workflows? [73.81908518992161]
我々は、プロのデータサイエンスとエンジニアリングに焦点を当てた最初のマルチモーダルエージェントベンチマークであるSpider2-Vを紹介する。
Spider2-Vは、本物のコンピュータ環境における現実世界のタスクを特徴とし、20のエンタープライズレベルのプロフェッショナルアプリケーションを組み込んでいる。
これらのタスクは、エンタープライズデータソフトウェアシステムにおいて、コードを書き、GUIを管理することで、マルチモーダルエージェントがデータ関連のタスクを実行する能力を評価する。
論文 参考訳(メタデータ) (2024-07-15T17:54:37Z) - Example-Based Automatic Migration of Continuous Integration Systems [2.2836654317217326]
継続的インテグレーション(CI)は、コード変更の統合とテストの高速化に広く採用されているプラクティスです。
開発者はしばしば、マトリックスの構築やロギングの改善といった機能を追求して、CIシステム間で移行する。
この移行は、新しいCIシステムとその構文に関する知識が限られているため、集中的かつエラーを起こしやすい。
本稿では,CIシステムの自動マイグレーションのための新しいアプローチとして,CIMigを提案する。
論文 参考訳(メタデータ) (2024-07-02T20:19:21Z) - DS-Agent: Automated Data Science by Empowering Large Language Models with Case-Based Reasoning [56.887047551101574]
大規模言語モデル(LLM)エージェントとケースベース推論(CBR)を利用した新しいフレームワークであるDS-Agentを提案する。
開発段階では、DS-AgentはCBRフレームワークに従い、自動イテレーションパイプラインを構築する。
デプロイメントの段階では、DS-Agentは、シンプルなCBRパラダイムで低リソースのデプロイメントステージを実装し、LCMの基本能力に対する需要を大幅に削減する。
論文 参考訳(メタデータ) (2024-02-27T12:26:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。