論文の概要: A Dataset and Preliminary Study of Using GPT-5 for Code-change Impact Analysis

• arxiv url: http://arxiv.org/abs/2512.19481v1
• Date: Mon, 22 Dec 2025 15:32:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-23 18:54:32.806931
• Title: A Dataset and Preliminary Study of Using GPT-5 for Code-change Impact Analysis
• Title（参考訳）: GPT-5を用いたコード変更影響解析のためのデータセットと予備的検討
• Authors: Katharina Stengg, Christian Macho, Martin Pinzger,
• Abstract要約: 本稿では,GPT-5およびGPT-5-miniのソースコード変更による影響を予測できる機能について検討する。 シード変更、ペアの変更、コミット毎の変更タイプに関する情報を含むデータセットを構築します。 実験では, 1) 種子変化情報と親コミットツリー, (2) 種子変化情報, 親コミットツリー, および各種子変化の差分ハンクの2つの構成でLCMを評価した。
• 参考スコア（独自算出の注目度）: 2.589821277860211
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Understanding source code changes and their impact on other code entities is a crucial skill in software development. However, the analysis of code changes and their impact is often performed manually and therefore is time-consuming. Recent advancements in AI, and in particular large language models (LLMs) show promises to help developers in various code analysis tasks. However, the extent to which this potential can be utilized for understanding code changes and their impact is underexplored. To address this gap, we study the capabilities of GPT-5 and GPT-5-mini to predict the code entities impacted by given source code changes. We construct a dataset containing information about seed-changes, change pairs, and change types for each commit. Existing datasets lack crucial information about seed changes and impacted code entities. Our experiments evaluate the LLMs in two configurations: (1) seed-change information and the parent commit tree and (2) seed-change information, the parent commit tree, and the diff hunk of each seed change. We found that both LLMs perform poorly in the two experiments, whereas GPT-5 outperforms GPT-5-mini. Furthermore, the provision of the diff hunks helps both models to slightly improve their performance.
• Abstract（参考訳）: ソースコードの変更と他のコードエンティティへの影響を理解することは、ソフトウェア開発において重要なスキルです。 しかし、コードの変更とその影響の分析は、しばしば手動で行われ、そのため時間がかかります。 AIの最近の進歩、特に大きな言語モデル(LLM)は、様々なコード分析タスクで開発者を支援することを約束している。 しかし、このポテンシャルがコードの変更を理解し、その影響が過小評価されている。 このギャップに対処するために、GPT-5とGPT-5-miniの能力を調べ、与えられたソースコードの変更によって影響を受けるコードエンティティを予測する。 シード変更、ペアの変更、コミット毎の変更タイプに関する情報を含むデータセットを構築します。 既存のデータセットには、シード変更や影響のあるコードエンティティに関する重要な情報がない。 実験では, 1) 種子変化情報と親コミットツリー, (2) 種子変化情報, 親コミットツリー, および各種子変化の差分ハンクの2つの構成でLCMを評価した。 GPT-5はGPT-5-miniより優れていた。 さらに、差分ハンクのプロビジョニングは、両方のモデルのパフォーマンスをわずかに改善するのに役立ちます。

関連論文リスト

• Multi-Agent Systems for Dataset Adaptation in Software Engineering: Capabilities, Limitations, and Future Directions [8.97512410819274]
  本稿では,データセット適応タスクにおいて,最先端のマルチエージェントシステムがどのように機能するかについて,最初の実証的研究を行う。 我々は、GitHub Copilotを評価し、ROCODEやLogHub2.0といったベンチマークリポジトリからSE研究成果物を適用する。 その結果、現在のシステムはキーファイルを識別し、部分的な適応を生成することができるが、正しい実装を生成することは滅多にない。
  論文  参考訳（メタデータ） (2025-11-26T13:26:11Z)
• EDIT-Bench: Evaluating LLM Abilities to Perform Real-World Instructed Code Edits [72.23150343093447]
  本稿では,実環境におけるコード編集機能の評価のためのベンチマークであるEDIT-Benchを紹介する。 EDIT-Benchは545の問題、複数の自然言語およびプログラミング言語、および様々な現実世界のユースケースからなる。 モデルの性能は、ユーザ命令のカテゴリによって異なります。
  論文  参考訳（メタデータ） (2025-11-06T16:05:28Z)
• Understanding Code Understandability Improvements in Code Reviews [79.16476505761582]
  GitHub上のJavaオープンソースプロジェクトからの2,401のコードレビューコメントを分析した。 改善提案の83.9%が承認され、統合され、1%未満が後に復活した。
  論文  参考訳（メタデータ） (2024-10-29T12:21:23Z)
• Where Is Self-admitted Code Generated by Large Language Models on GitHub? [14.13629953845785]
  本研究では,GitHub上のLarge Language Modelsによって生成された自己許容コードについて検討する。 ChatGPTとCopilotはコード生成を支配しており、他のLLMからのコントリビューションは最小限である。 ほとんどのコードコメントは LLM の使用しか記述していないが、プロンプトやヒューマン編集、コードテストステータスなどの詳細は少ない。
  論文  参考訳（メタデータ） (2024-06-27T21:47:27Z)
• Impact of the Availability of ChatGPT on Software Development: A Synthetic Difference in Differences Estimation using GitHub Data [49.1574468325115]
  ChatGPTは、ソフトウェア生産効率を向上させるAIツールである。 10万人あたりのgitプッシュ数、リポジトリ数、ユニークな開発者数に対するChatGPTの影響を見積もっています。 これらの結果は、ChatGPTのようなAIツールが開発者の生産性を大幅に向上させる可能性があることを示唆している。
  論文  参考訳（メタデータ） (2024-06-16T19:11:15Z)
• Unveiling the Impact of Coding Data Instruction Fine-Tuning on Large Language Models Reasoning [64.5243480989869]
  コーディングデータは、事前訓練中に推論能力を高めることで知られています。 IFTにおける内的推論能力の活性化におけるその役割はいまだ検討されている。 IFT段階におけるLLMの推論能力に及ぼす符号化データの影響について検討する。
  論文  参考訳（メタデータ） (2024-05-30T23:20:25Z)
• GrACE: Generation using Associated Code Edits [23.643567386291988]
  プリトレーニング済みの大規模言語モデル(LLM)に,事前の関連編集の知識を付与する。 LLMの生成能力は、コード変更の多様性と、事前編集時のコード生成の条件付けに役立ちます。 Codex と CodeT5 の2つの有名な LLM を,ゼロショット設定と微調整設定でそれぞれ評価した。
  論文  参考訳（メタデータ） (2023-05-23T14:55:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。