論文の概要: Correct Code, Vulnerable Dependencies: A Large Scale Measurement Study of LLM-Specified Library Versions

• arxiv url: http://arxiv.org/abs/2605.06279v1
• Date: Thu, 07 May 2026 13:52:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-08 22:27:11.862246
• Title: Correct Code, Vulnerable Dependencies: A Large Scale Measurement Study of LLM-Specified Library Versions
• Title（参考訳）: 正しいコード, 脆弱性のある依存関係: LLM仕様ライブラリのバージョンの大規模測定
• Abstract要約: 大規模言語モデル(LLM)におけるバージョンレベルのリスクの大規模評価を初めて行った。 我々は1000のStack OverflowプログラミングタスクのベンチマークであるPinTrace上で10のLLMを評価した。 LLM バージョン選択は LLM ベース開発における第1級, 以前は見落とされたリスクサーフェスとして確認された。
• 参考スコア（独自算出の注目度）: 52.50730821321986
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) are now largely involved in software development workflows, and the code they generate routinely includes third-party library (TPL) imports annotated with specific version identifiers. These version choices can carry security and compatibility risks, yet they have not been systematically studied. We present the first large-scale measurement study of version-level risk in LLM-generated Python code, evaluating 10 LLMs on PinTrace, a curated benchmark of 1,000 Stack Overflow programming tasks. LLMs tend to specify version identifiers when directly prompted at 26.83%-95.18%, while down to 6.45%-59.19% in creating a manifest file directly. Among the specified versions, 36.70%-55.70% of tasks contain at least one known CVE, and 62.75%-74.51% of them carry Critical or High severity ratings. In 72.27%-91.37% of cases, the associated CVEs were publicly disclosed before the model's knowledge cutoff. The statistics show all models converge on the same small set of risky release versions, indicating a systemic bias rather than isolated model error. Static compatibility rates range from 19.70% to 63.20%, with installation failure as the dominant cause. The dynamic test cases confirm the pattern by 6.49%-48.62% pass rates. Further experiments confirm that these failures are attributable to version selection rather than code quality, and that externally anchored version constraints substantially reduce both vulnerability exposure and compatibility failures. Our findings reveal LLM version selection as a first-class, previously overlooked risk surface in LLM-based development. We disclosed these findings to the community of the evaluated models, and several confirmed the issue. All the code and dataset have been released for open science at https://github.com/dw763j/PinTrace.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、現在ではソフトウェア開発ワークフローに大きく関わっており、それらが日常的に生成するコードには、特定のバージョン識別子を付加したサードパーティ製ライブラリ(TPL)インポートが含まれている。 これらのバージョン選択は、セキュリティと互換性のリスクを負うことができるが、体系的に研究されていない。 我々は,1000のStack OverflowプログラムタスクをキュレートしたベンチマークであるPinTrace上で10個のLLMを評価し,LLM生成Pythonコードのバージョンレベルリスクの大規模評価を行った。 LLMは26.83%-95.18%で直接誘導される場合のバージョン識別子を指定する傾向があり、マニフェストファイルを直接作成する場合は6.45%-59.19%まで低下する。 特定のバージョンのうち、36.70%-55.70%のタスクは少なくとも1つの既知のCVEを含んでおり、62.75%-74.51%はクリティカルまたはハイシヴァリティの格付けを持っている。 72.27%-91.37%のケースにおいて、関連するCVEは、モデルの知識が遮断される前に公表された。 統計は、すべてのモデルが同じ小さなリリースバージョンに収束していることを示し、孤立したモデルエラーよりも体系的なバイアスを示している。 静的互換性率は19.70%から63.20%であり、インストール障害が主な原因である。 動的テストケースでは、パターンを6.49%-48.62%のパスレートで確認する。 さらなる実験により、これらの障害はコード品質よりもバージョン選択に起因することが確認され、外部に固定されたバージョン制約によって脆弱性の露出と互換性の障害が大幅に減少する。 LLM バージョン選択は LLM ベース開発における第1級, 以前は見落とされたリスクサーフェスとして確認された。 これらの結果は, 評価モデルのコミュニティに公開し, いくつかは問題を確認した。 すべてのコードとデータセットが、https://github.com/dw763j/PinTrace.comで公開されている。

関連論文リスト

• SemVerBench: Benchmarking LLM Comprehension of Version-Constraint Resolution Semantics [15.233613140316791]
  SemVerBenchは、3つのエコシステムにわたるバージョン制約解決セマンティクスの最初のベンチマークである。 6つのフロンティアモデルを評価し,統計的に有意な自己評価は得られなかった。 タスクが検証可能で、100%正しいリゾルバが存在するため、ツールデリゲートは100%に達する。
  論文  参考訳（メタデータ） (2026-09-10T07:34:44Z)
• When LLMs Lag Behind: Knowledge Conflicts from Evolving APIs in Code Generation [12.67668690329239]
  コンテキスト・メモリ・コンフリクト(context-Memory conflict)は、モデルの内部パラメトリック知識と矛盾する場合に発生する。 本稿では8つのPythonライブラリから270のリアルタイム更新のベンチマークを示す。
  論文  参考訳（メタデータ） (2026-04-10T17:37:26Z)
• Diverse LLMs vs. Vulnerabilities: Who Detects and Fixes Them Better? [1.0026496861838445]
  DVDR-LLMは様々な大きな言語モデルの出力を組み合わせたアンサンブルフレームワークである。 評価の結果,DVDR-LLMは個々のモデルの平均性能よりも10-12%高い検出精度を示した。
  論文  参考訳（メタデータ） (2025-12-14T03:47:39Z)
• Hey, That's My Data! Label-Only Dataset Inference in Large Language Models [63.35066172530291]
  CatShiftはラベルのみのデータセット推論フレームワークである。 LLMは、新しいデータに晒されたとき、学習した知識を上書きする傾向にある。
  論文  参考訳（メタデータ） (2025-06-06T13:02:59Z)
• Preference Leakage: A Contamination Problem in LLM-as-a-judge [69.96778498636071]
  審査員としてのLLM(Large Language Models)とLLMに基づくデータ合成は、2つの基本的なLLM駆動型データアノテーション法として登場した。 本研究では, 合成データ生成器とLCMに基づく評価器の関連性に起因するLCM-as-a-judgeの汚染問題である選好リークを明らかにする。
  論文  参考訳（メタデータ） (2025-02-03T17:13:03Z)
• Cracks in The Stack: Hidden Vulnerabilities and Licensing Risks in LLM Pre-Training Datasets [5.0091559832205155]
  トレーニングデータの質を向上させるために,自動ソースコード自動計算手法を提案する。 Stack v2データセットを用いてこの手法を評価し,データセットのコードバージョンのうち17%に新しいバージョンがあることを確認した。 私たちは、AIツールが生成する出力の信頼性を高める可能性があり、自動データキュレーションのプロセス改善に刺激を与えることを期待しています。
  論文  参考訳（メタデータ） (2025-01-05T18:54:25Z)
• Exploring Response Uncertainty in MLLMs: An Empirical Evaluation under Misleading Scenarios [49.53589774730807]
  マルチモーダル大規模言語モデル(MLLM)は近年,視覚的質問応答から映像理解に至るまでのタスクにおいて,最先端のパフォーマンスを実現している。 12件のオープンソースMLLMが, 単一の偽装キューを受けた65%の症例において, 既往の正解を覆した。
  論文  参考訳（メタデータ） (2024-11-05T01:11:28Z)
• TESTEVAL: Benchmarking Large Language Models for Test Case Generation [15.343859279282848]
  大規模言語モデル(LLM)を用いたテストケース生成のための新しいベンチマークであるTESTEVALを提案する。 オンラインプログラミングプラットフォームLeetCodeから210のPythonプログラムを収集し、全体的なカバレッジ、ターゲットライン/ブランチカバレッジ、ターゲットパスカバレッジという3つの異なるタスクを設計します。 特定のプログラム行/ブランチ/パスをカバーするテストケースを生成することは、現在のLLMでは依然として困難である。
  論文  参考訳（メタデータ） (2024-06-06T22:07:50Z)
• OR-Bench: An Over-Refusal Benchmark for Large Language Models [65.34666117785179]
  大きな言語モデル(LLM)は、悪意のある出力を防ぐために慎重に安全アライメントを必要とする。 本研究では,大規模なオーバーリファレンスデータセットの自動生成手法を提案する。 OR-Benchは,最初の大規模オーバーリファレンスベンチマークである。
  論文  参考訳（メタデータ） (2024-05-31T15:44:33Z)
• LLMs Cannot Reliably Identify and Reason About Security Vulnerabilities (Yet?): A Comprehensive Evaluation, Framework, and Benchmarks [17.522223535347905]
  大規模な言語モデル(LLM)は、自動脆弱性修正に使用するために提案されているが、ベンチマークでは、セキュリティ関連のバグが一貫して欠如していることが示されている。 SecLLMHolmesは,LLMがセキュリティ関連のバグを確実に識別し,原因を判断できるかどうか,これまでで最も詳細な調査を行う,完全に自動化された評価フレームワークである。
  論文  参考訳（メタデータ） (2023-12-19T20:19:43Z)
• Do-Not-Answer: A Dataset for Evaluating Safeguards in LLMs [59.596335292426105]
  本稿では,大規模な言語モデルにおけるセーフガードを評価するための,最初のオープンソースデータセットを収集する。 我々は、自動安全性評価において、GPT-4に匹敵する結果を得るために、BERTライクな分類器をいくつか訓練する。
  論文  参考訳（メタデータ） (2023-08-25T14:02:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。