論文の概要: Rethinking Technology Stack Selection with AI Coding Proficiency

• arxiv url: http://arxiv.org/abs/2509.11132v1
• Date: Sun, 14 Sep 2025 06:56:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-16 17:26:22.937008
• Title: Rethinking Technology Stack Selection with AI Coding Proficiency
• Title（参考訳）: AIコーディング習熟度による技術スタック選択の再考
• Authors: Xiaoyu Zhang, Weipeng Jiang, Juan Zhai, Shiqing Ma, Qingshuang Bao, Chenhao Lin, Chao Shen, Tianlin Li, Yang Liu,
• Abstract要約: 大規模言語モデル(LLM)は今やソフトウェア開発の不可欠な部分です。 我々は、LLMが与えられた技術を用いて高品質なコードスニペットを生成することができる、AI符号化能力という概念を提案する。 我々は,170のサードパーティ製ライブラリと61のタスクシナリオを対象とした,AI習熟度に関する初の総合的研究を行った。
• 参考スコア（独自算出の注目度）: 49.617080246389605
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) are now an integral part of software development workflows and are reshaping the whole process. Traditional technology stack selection has not caught up. Most of the existing selection methods focus solely on the inherent attributes of the technology, overlooking whether the LLM can effectively leverage the chosen technology. For example, when generating code snippets using popular libraries like Selenium (one of the most widely used test automation tools with over 33k GitHub stars), existing LLMs frequently generate low-quality code snippets (e.g., using deprecated APIs and methods, or containing syntax errors). As such, teams using LLM assistants risk choosing technologies that cannot be used effectively by LLMs, yielding high debugging effort and mounting technical debt. We foresee a practical question in the LLM era, is a technology ready for AI-assisted development? In this paper, we first propose the concept, AI coding proficiency, the degree to which LLMs can utilize a given technology to generate high-quality code snippets. We conduct the first comprehensive empirical study examining AI proficiency across 170 third-party libraries and 61 task scenarios, evaluating six widely used LLMs. Our findings reveal that libraries with similar functionalities can exhibit up to 84% differences in the quality score of LLM-generated code, while different models also exhibit quality gaps among their generation results using the same library. These gaps translate into real engineering costs and can steer developer choices toward a narrow set of libraries with high AI coding proficiency, threatening technological diversity in the ecosystem. We call on the community to integrate AI proficiency assessments into technology selection frameworks and develop mitigation strategies, preserving competitive balance in AI-driven development.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、今やソフトウェア開発ワークフローの不可欠な部分であり、プロセス全体を再構築しています。 従来の技術スタックの選択には追いついていません。 既存の選択手法の多くは、LLMが選択した技術を効果的に活用できるかどうかを見越して、技術固有の特性のみに焦点を当てている。 例えば、Selenium(GitHubスターが33万以上いる最も広く使われているテスト自動化ツールの1つ)のような人気ライブラリを使ってコードスニペットを生成する場合、既存のLLMは、しばしば低品質のコードスニペットを生成する(例えば、非推奨のAPIやメソッドを使ったり、構文エラーを含む)。 そのため、LLMアシスタントを使用するチームは、LLMが効果的に利用できない技術を選択するリスクがあり、高いデバッグ努力と技術的負債の積み上げにつながる。 LLM時代における実践的な疑問は、AI支援開発の準備が整っているだろうか? 本稿では,LLMが与えられた技術を用いて高品質なコードスニペットを生成できる程度,AI符号化能力という概念を最初に提案する。 我々は170のサードパーティライブラリと61のタスクシナリオにまたがるAI習熟度を調査し、6つの広く使用されているLCMを評価した最初の総合的な実証的研究を行った。 その結果, 類似機能を持つライブラリは, LLM生成したコードの品質スコアに最大84%の差があることがわかった。 これらのギャップは、実際のエンジニアリングコストに変換され、開発者の選択をAIコーディング能力の高い狭いライブラリのセットに委ねて、エコシステムの技術的多様性を脅かす可能性がある。 私たちはコミュニティに対して、AIの熟練度評価を技術選択フレームワークに統合し、AI駆動開発における競争力のバランスを保ちながら緩和戦略を開発するよう呼びかけています。

関連論文リスト

• Bridging LLM-Generated Code and Requirements: Reverse Generation technique and SBC Metric for Developer Insights [0.0]
  本稿では,SBCスコアと呼ばれる新しいスコアリング機構を提案する。 これは、大規模言語モデルの自然言語生成能力を活用するリバースジェネレーション技術に基づいている。 直接コード解析とは異なり、我々のアプローチはAI生成コードからシステム要求を再構築し、元の仕様と比較する。
  論文  参考訳（メタデータ） (2025-02-11T01:12:11Z)
• Creating an LLM-based AI-agent: A high-level methodology towards enhancing LLMs with APIs [0.0]
  大規模言語モデル(LLM)は、工学と科学の様々な側面に革命をもたらした。 この論文は総合的なガイドとして機能し、アプリケーションプログラミングインタフェース(API)を活用する能力を備えたLLMの強化のための多面的アプローチを解明する。 本稿では,Hugging Faceコミュニティの小さなモデルを用いて,携帯端末の機能を活用したオンデバイスアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2024-12-17T14:14:04Z)
• An Empirical Study on Automatically Detecting AI-Generated Source Code: How Far Are We? [8.0988059417354]
  本稿では,AI生成コード検出の性能向上のための様々な手法を提案する。 我々の最良のモデルは最先端のAI生成コード検出器(GPTSniffer)より優れており、F1スコアは82.55である。
  論文  参考訳（メタデータ） (2024-11-06T22:48:18Z)
• An Empirical Study on Usage and Perceptions of LLMs in a Software Engineering Project [1.433758865948252]
  大規模言語モデル(LLM)は人工知能の飛躍であり、人間の言語を用いたタスクに優れる。 本稿では、AI生成したコードを分析し、コード生成に使用するプロンプトと人間の介入レベルを分析し、コードをコードベースに統合する。 ソフトウェア開発の初期段階において,LSMが重要な役割を担っていることが示唆された。
  論文  参考訳（メタデータ） (2024-01-29T14:32:32Z)
• Machine Learning Insides OptVerse AI Solver: Design Principles and Applications [74.67495900436728]
  本稿では,Huawei CloudのOpsVerse AIソルバに機械学習(ML)技術を統合するための総合的研究について述べる。 本稿では,実世界の多面構造を反映した生成モデルを用いて,複雑なSATインスタンスとMILPインスタンスを生成する手法を紹介する。 本稿では,解解器性能を著しく向上させる,最先端パラメータチューニングアルゴリズムの導入について詳述する。
  論文  参考訳（メタデータ） (2024-01-11T15:02:15Z)
• ML-Bench: Evaluating Large Language Models and Agents for Machine Learning Tasks on Repository-Level Code [76.84199699772903]
  ML-Benchは、既存のコードリポジトリを利用してタスクを実行する現実世界のプログラミングアプリケーションに根ざしたベンチマークである。 LLM(Large Language Model)とAIエージェントの両方を評価するために、事前に定義されたデプロイメント環境でLLMのテキスト-コード変換を評価するML-LLM-Benchと、Linuxサンドボックス環境でエンドツーエンドのタスク実行で自律エージェントをテストするML-Agent-Benchの2つの設定が採用されている。
  論文  参考訳（メタデータ） (2023-11-16T12:03:21Z)
• Automated Machine Learning: A Case Study on Non-Intrusive Appliance Load Monitoring [81.06807079998117]
  非侵入的機器負荷モニタリング(NIALM)のための自動機械学習(AutoML)を実現する新しい手法を提案する。 NIALMは、電子機器や家電のエネルギー消費を測定するためのスマートメーターに代わる費用対効果を提供する。
  論文  参考訳（メタデータ） (2022-03-06T10:12:56Z)
• Technology Readiness Levels for Machine Learning Systems [107.56979560568232]
  機械学習システムの開発とデプロイは、現代のツールで簡単に実行できますが、プロセスは一般的に急ぎ、エンドツーエンドです。 私たちは、機械学習の開発と展開のための実証済みのシステムエンジニアリングアプローチを開発しました。 当社の「機械学習技術準備レベル」フレームワークは、堅牢で信頼性が高く、責任あるシステムを確保するための原則的なプロセスを定義します。
  論文  参考訳（メタデータ） (2021-01-11T15:54:48Z)
• Technology Readiness Levels for AI & ML [79.22051549519989]
  機械学習システムの開発は、現代的なツールで容易に実行できるが、プロセスは通常急いで、エンドツーエンドで実行される。 エンジニアリングシステムは、高品質で信頼性の高い結果の開発を効率化するために、明確に定義されたプロセスとテスト標準に従います。 我々は、機械学習の開発と展開のための実証されたシステムエンジニアリングアプローチを提案する。
  論文  参考訳（メタデータ） (2020-06-21T17:14:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。