論文の概要: An Empirical Study on the Code Refactoring Capability of Large Language Models

• arxiv url: http://arxiv.org/abs/2411.02320v1
• Date: Mon, 04 Nov 2024 17:46:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-05 14:50:14.440935
• Title: An Empirical Study on the Code Refactoring Capability of Large Language Models
• Title（参考訳）: 大規模言語モデルのコードリファクタリング能力に関する実証的研究
• Authors: Jonathan Cordeiro, Shayan Noei, Ying Zou,
• Abstract要約: この研究は、30のオープンソースプロジェクトにわたるコードにおいて、コード生成に最適化されたLLMであるStarCoder2を実証的に評価する。 我々は,(1)コード品質の改善,(2)臭いの型と有効性,(3)ワンショットとチェーン・オブ・シークレットのプロンプトによる改善に焦点を当て,StarCoder2のパフォーマンスを人間開発者と比較した。
• 参考スコア（独自算出の注目度）: 0.5852077003870416
• License:
• Abstract: Large Language Models (LLMs) have shown potential to enhance software development through automated code generation and refactoring, reducing development time and improving code quality. This study empirically evaluates StarCoder2, an LLM optimized for code generation, in refactoring code across 30 open-source Java projects. We compare StarCoder2's performance against human developers, focusing on (1) code quality improvements, (2) types and effectiveness of refactorings, and (3) enhancements through one-shot and chain-of-thought prompting. Our results indicate that StarCoder2 reduces code smells by 20.1% more than developers, excelling in systematic issues like Long Statement and Magic Number, while developers handle complex, context-dependent issues better. One-shot prompting increases the unit test pass rate by 6.15% and improves code smell reduction by 3.52%. Generating five refactorings per input further increases the pass rate by 28.8%, suggesting that combining one-shot prompting with multiple refactorings optimizes performance. These findings provide insights into StarCoder2's potential and best practices for integrating LLMs into software refactoring, supporting more efficient and effective code improvement in real-world applications.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、コードの自動生成とリファクタリング、開発時間削減、コード品質の向上を通じて、ソフトウェア開発を強化する可能性を示している。 この研究は、30のオープンソースプロジェクトにわたるリファクタリングコードにおいて、コード生成に最適化されたLLMであるStarCoder2を実証的に評価する。 私たちは、(1)コード品質の改善、(2)リファクタリングのタイプと有効性、(3)ワンショットとチェーン・オブ・シークレットのプロンプトによる強化に焦点を当て、StarCoder2のパフォーマンスを人間開発者と比較します。 我々の結果は、StarCoder2が開発者よりも20.1%のコードの臭いを低減し、Long StatementやMagic Numberのような体系的な問題に優れ、開発者は複雑なコンテキストに依存した問題をより良く処理していることを示している。 ワンショットプロンプトはユニットテストの合格率を6.15%向上させ、コードの臭いを3.52%低減させる。 入力毎に5つのリファクタリングを生成することで、パスレートが28.8%向上し、ワンショットプロンプトと複数のリファクタリングを組み合わせることで、パフォーマンスが最適化される。 これらの発見は、ソフトウェアリファクタリングにLLMを統合するためのStarCoder2の可能性とベストプラクティスに関する洞察を与え、現実世界のアプリケーションでより効率的で効果的なコード改善をサポートする。

関連論文リスト

• Effi-Code: Unleashing Code Efficiency in Language Models [17.355845751737423]
  Effi-Codeは、大規模言語モデルにおけるコード生成を強化するアプローチである。 Effi-Codeは、AIシステムのコード生成を改善するためのスケーラブルで汎用的なアプローチを提供する。
  論文  参考訳（メタデータ） (2024-10-14T07:05:51Z)
• What's Wrong with Your Code Generated by Large Language Models? An Extensive Study [80.18342600996601]
  大規模言語モデル(LLM)は、標準解に比べて短いがより複雑なコードを生成する。 3つのカテゴリと12のサブカテゴリを含む誤ったコードに対するバグの分類を開発し、一般的なバグタイプに対する根本原因を分析する。 そこで本研究では,LLMがバグタイプやコンパイラフィードバックに基づいて生成したコードを批判し,修正することのできる,自己批判を導入した新たな学習自由反復手法を提案する。
  論文  参考訳（メタデータ） (2024-07-08T17:27:17Z)
• SOEN-101: Code Generation by Emulating Software Process Models Using Large Language Model Agents [50.82665351100067]
  FlowGenは、複数のLarge Language Model (LLM)エージェントに基づいたソフトウェアプロセスモデルをエミュレートするコード生成フレームワークである。 FlowGenScrumをHumanEval、HumanEval-ET、MBPP、MBPP-ETの4つのベンチマークで評価した。
  論文  参考訳（メタデータ） (2024-03-23T14:04:48Z)
• StepCoder: Improve Code Generation with Reinforcement Learning from Compiler Feedback [58.20547418182074]
  2つの主要コンポーネントからなるコード生成の新しいフレームワークであるStepCoderを紹介します。 CCCSは、長いシーケンスのコード生成タスクをCurriculum of Code Completion Subtaskに分割することで、探索課題に対処する。 FGOは、未実行のコードセグメントをマスクすることでのみモデルを最適化し、Fine-Grained Optimizationを提供する。 提案手法は,出力空間を探索し,対応するベンチマークにおいて最先端の手法より優れた性能を発揮する。
  論文  参考訳（メタデータ） (2024-02-02T13:14:31Z)
• ReGAL: Refactoring Programs to Discover Generalizable Abstractions [59.05769810380928]
  Generalizable Abstraction Learning (ReGAL)は、再利用可能な関数のライブラリをコード化して学習する手法である。 ReGALによって発見された共有関数ライブラリは、プログラムが様々な領域で容易に予測できることを示している。 CodeLlama-13Bでは、ReGALはLOGOで11.5%、日付理解で26.1%、TextCraftで8.1%という絶対精度が向上し、3つのドメインのうち2つでGPT-3.5を上回った。
  論文  参考訳（メタデータ） (2024-01-29T18:45:30Z)
• LLM-Assisted Code Cleaning For Training Accurate Code Generators [53.087019724256606]
  コードの品質を調査した結果,より構造化され,読みやすくなれば,コード生成性能が向上することがわかった。 私たちは、これらの原則を使って既存のプログラムを変換する、新しいデータクリーニングパイプラインを構築します。 提案手法を2つのアルゴリズムコード生成ベンチマークで評価した結果,微調整のCodeLLaMa-7Bでは,元のデータセットの微調整に比べて最大30%性能が向上していることがわかった。
  論文  参考訳（メタデータ） (2023-11-25T02:45:50Z)
• Empirical Evaluation of a Live Environment for Extract Method Refactoring [0.0]
  我々は,抽出手法を視覚的に識別し,推奨し,適用するLive Refactoring Environmentを開発した。 私たちの結果は、追加の助けなしに手作業で行うコードとは大きく異なり、改善されました。
  論文  参考訳（メタデータ） (2023-07-20T16:36:02Z)
• Do code refactorings influence the merge effort? [80.1936417993664]
  複数のコントリビュータがソースコードを並行して変更して,新機能の実装やバグの修正,既存のコードの変更などを行っている。 これらの同時変更は、ソースコードの同じバージョンにマージする必要がある。 研究によると、すべてのマージの試みの10～20%が衝突を起こしており、これはプロセスを完了するために手動開発者の介入を必要とする。
  論文  参考訳（メタデータ） (2023-05-10T13:24:59Z)
• How We Refactor and How We Document it? On the Use of Supervised Machine Learning Algorithms to Classify Refactoring Documentation [25.626914797750487]
  リファクタリングは、外部の振る舞いを変えることなく、システムの設計を改善する技術である。 この研究はコミットを、従来のBugFixやFunctionalのカテゴリとともに、内部QA、外部QA、Code Smell Resolutionの3つのカテゴリに分類する。 分類結果をよりよく理解するために、私たちはコミットメッセージを分析して、開発者が定期的に臭いを説明するために使用するパターンを抽出しました。
  論文  参考訳（メタデータ） (2020-10-26T20:33:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。