論文の概要: How Robust are LLM-Generated Library Imports? An Empirical Study using Stack Overflow

• arxiv url: http://arxiv.org/abs/2507.10818v1
• Date: Mon, 14 Jul 2025 21:35:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-16 19:46:02.893384
• Title: How Robust are LLM-Generated Library Imports? An Empirical Study using Stack Overflow
• Title（参考訳）: LLM生成ライブラリはいかにロバストか?スタックオーバーフローを用いた実証的研究
• Authors: Jasmine Latendresse, SayedHassan Khatoonabadi, Emad Shihab,
• Abstract要約: 6つの大言語モデル(LLM)の実証的研究を行う。 我々は、インポートするライブラリの種類、それらのライブラリの特徴、レコメンデーションがすぐに使える範囲を分析します。 以上の結果から,LSMは標準ライブラリよりもサードパーティライブラリを優先し,成熟し,人気があり,寛容にライセンスされた依存関係を推奨することが多かった。
• 参考スコア（独自算出の注目度）: 3.076436880934678
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Software libraries are central to the functionality, security, and maintainability of modern code. As developers increasingly turn to Large Language Models (LLMs) to assist with programming tasks, understanding how these models recommend libraries is essential. In this paper, we conduct an empirical study of six state-of-the-art LLMs, both proprietary and open-source, by prompting them to solve real-world Python problems sourced from Stack Overflow. We analyze the types of libraries they import, the characteristics of those libraries, and the extent to which the recommendations are usable out of the box. Our results show that LLMs predominantly favour third-party libraries over standard ones, and often recommend mature, popular, and permissively licensed dependencies. However, we also identify gaps in usability: 4.6% of the libraries could not be resolved automatically due to structural mismatches between import names and installable packages, and only two models (out of six) provided installation guidance. While the generated code is technically valid, the lack of contextual support places the burden of manually resolving dependencies on the user. Our findings offer actionable insights for both developers and researchers, and highlight opportunities to improve the reliability and usability of LLM-generated code in the context of software dependencies.
• Abstract（参考訳）: ソフトウェアライブラリは、現代のコードの機能、セキュリティ、保守性の中心である。 開発者がプログラミングタスクを支援するためにLarge Language Models (LLM) に目を向けるにつれて、これらのモデルがどのようにライブラリを推奨するかを理解することが不可欠である。 本稿では,Stack Overflowから得られた実世界のPython問題の解決を促すことによって,プロプライエタリかつオープンソース両方の6つの最先端LLMを実証研究する。 我々は、インポートするライブラリの種類、それらのライブラリの特徴、レコメンデーションがすぐに使える範囲を分析します。 以上の結果から,LSMは標準ライブラリよりもサードパーティライブラリを優先し,成熟し,人気があり,寛容にライセンスされた依存関係を推奨することが多かった。 インポート名とインストール可能なパッケージの間の構造的ミスマッチのため,ライブラリの4.6%が自動的に解決できなかった。 生成されたコードは技術的に有効だが、コンテキストサポートの欠如により、ユーザへの依存関係を手作業で解決する作業が負担になる。 我々の発見は、開発者と研究者の両方に実用的な洞察を与え、ソフトウェア依存関係のコンテキストにおいて、LLM生成コードの信頼性とユーザビリティを向上させる機会を強調します。

関連論文リスト

• LLMs Love Python: A Study of LLMs' Bias for Programming Languages and Libraries [15.140178992235123]
  大規模言語モデル(LLM)は、コード生成においてますます大きな役割を果たす。 この研究は、コードを生成する際に使われるプログラミング言語やライブラリに対するLLMの嗜好について、初めて詳細に調査する。 その結果,LLMは言語に依存しない問題を解く上で,Pythonを強く好んでいることが明らかとなった。
  論文  参考訳（メタデータ） (2025-03-21T14:29:35Z)
• SWE-Fixer: Training Open-Source LLMs for Effective and Efficient GitHub Issue Resolution [56.9361004704428]
  大規模言語モデル(LLM)は、様々な複雑なタスクにまたがる顕著な習熟度を示している。 SWE-Fixerは、GitHubの問題を効果的かつ効率的に解決するために設計された、新しいオープンソースフレームワークである。 我々は,SWE-Bench LiteとVerifiedベンチマークに対するアプローチを評価し,オープンソースモデル間の競合性能を実現する。
  論文  参考訳（メタデータ） (2025-01-09T07:54:24Z)
• Codellm-Devkit: A Framework for Contextualizing Code LLMs with Program Analysis Insights [9.414198519543564]
  codellm-devkit (以下, CLDK') は,プログラム解析のプロセスを大幅に単純化したオープンソースライブラリである。 CLDKは開発者に対して直感的でユーザフレンドリなインターフェースを提供しています。
  論文  参考訳（メタデータ） (2024-10-16T20:05:59Z)
• What's Wrong with Your Code Generated by Large Language Models? An Extensive Study [80.18342600996601]
  大規模言語モデル(LLM)は、標準解に比べて短いがより複雑なコードを生成する。 3つのカテゴリと12のサブカテゴリを含む誤ったコードに対するバグの分類を開発し、一般的なバグタイプに対する根本原因を分析する。 そこで本研究では,LLMがバグタイプやコンパイラフィードバックに基づいて生成したコードを批判し,修正することのできる,自己批判を導入した新たな学習自由反復手法を提案する。
  論文  参考訳（メタデータ） (2024-07-08T17:27:17Z)
• ML-Bench: Evaluating Large Language Models and Agents for Machine Learning Tasks on Repository-Level Code [76.84199699772903]
  ML-Benchは、既存のコードリポジトリを利用してタスクを実行する現実世界のプログラミングアプリケーションに根ざしたベンチマークである。 LLM(Large Language Model)とAIエージェントの両方を評価するために、事前に定義されたデプロイメント環境でLLMのテキスト-コード変換を評価するML-LLM-Benchと、Linuxサンドボックス環境でエンドツーエンドのタスク実行で自律エージェントをテストするML-Agent-Benchの2つの設定が採用されている。
  論文  参考訳（メタデータ） (2023-11-16T12:03:21Z)
• Evaluating In-Context Learning of Libraries for Code Generation [35.57902679044737]
  大規模言語モデル(LLM)は高いレベルのコード生成と理解能力を示す。 近年の研究では、大規模プロプライエタリなLLMがデモから新しいライブラリの使用法を学習できることが示されている。
  論文  参考訳（メタデータ） (2023-11-16T07:37:25Z)
• LILO: Learning Interpretable Libraries by Compressing and Documenting Code [71.55208585024198]
  LILOは、反復的に合成、圧縮、文書化を行う、ニューロシンボリックなフレームワークである。 LILOは、LLM誘導プログラム合成と、Stitchから自動化された最近のアルゴリズムの進歩を組み合わせたものである。 LILOのシンセサイザーが学習した抽象化を解釈し、デプロイするのを手助けすることで、AutoDocがパフォーマンスを向上させることが分かりました。
  論文  参考訳（メタデータ） (2023-10-30T17:55:02Z)
• CodeTF: One-stop Transformer Library for State-of-the-art Code LLM [72.1638273937025]
  我々は、最先端のCode LLMとコードインテリジェンスのためのオープンソースのTransformerベースのライブラリであるCodeTFを紹介する。 我々のライブラリは、事前訓練されたコードLLMモデルと人気のあるコードベンチマークのコレクションをサポートします。 CodeTFが機械学習/生成AIとソフトウェア工学のギャップを埋められることを願っている。
  論文  参考訳（メタデータ） (2023-05-31T05:24:48Z)
• SequeL: A Continual Learning Library in PyTorch and JAX [50.33956216274694]
  SequeLは継続学習のためのライブラリで、PyTorchとJAXフレームワークの両方をサポートする。 それは、正規化ベースのアプローチ、リプレイベースのアプローチ、ハイブリッドアプローチを含む、幅広い連続学習アルゴリズムのための統一インターフェースを提供する。 私たちはSequeLをオープンソースライブラリとしてリリースし、研究者や開発者が自身の目的で簡単にライブラリを実験し拡張することができます。
  論文  参考訳（メタデータ） (2023-04-21T10:00:22Z)
• An Empirical Study of Library Usage and Dependency in Deep Learning Frameworks [12.624032509149869]
  ピトルチ、カフェ、シキットルンはプロジェクトの18%と14%で最も頻度の高い組み合わせである。 開発者は同じプロジェクトで2つか3つのdlライブラリを使用し、同じ関数と同じファイルの両方で異なる複数のdlライブラリを使用する傾向がある。
  論文  参考訳（メタデータ） (2022-11-28T19:31:56Z)
• Code Librarian: A Software Package Recommendation System [65.05559087332347]
  オープンソースライブラリ用のリコメンデーションエンジンであるLibrarianを提示する。 1)プログラムのインポートライブラリで頻繁に使用されること、2)プログラムのインポートライブラリと似た機能を持つこと、3)開発者の実装と似た機能を持つこと、4)提供されるコードのコンテキストで効率的に使用できること、である。
  論文  参考訳（メタデータ） (2022-10-11T12:30:05Z)
• MARLlib: A Scalable and Efficient Multi-agent Reinforcement Learning Library [82.77446613763809]
  本稿では,マルチエージェントタスクとアルゴリズムの組み合わせを高速に開発するためのライブラリであるMARLlibを紹介する。 MARLlibは、マルチエージェントタスクとアルゴリズムの学習過程を効果的に切り離すことができる。 ライブラリのソースコードはGitHubで公開されている。
  論文  参考訳（メタデータ） (2022-10-11T03:11:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。