Fugu-MT 論文翻訳(概要): Using Large Language Models for Commit Message Generation: A Preliminary Study

論文の概要: Using Large Language Models for Commit Message Generation: A Preliminary Study

arxiv url: http://arxiv.org/abs/2401.05926v1
Date: Thu, 11 Jan 2024 14:06:39 GMT
ステータス: 処理完了
システム内更新日: 2024-01-12 14:15:57.865842
Title: Using Large Language Models for Commit Message Generation: A Preliminary Study
Title（参考訳）: 大規模言語モデルを用いたメッセージ生成 : 予備的検討
Authors: Linghao Zhang, Jingshu Zhao, Chong Wang, Peng Liang
Abstract要約: 大規模言語モデル(LLM)は、コミットメッセージの自動生成に効果的に使用できる。 366サンプルの78%では, LLMが生成したコミットメッセージが人間によって最高のものと評価された。
参考スコア（独自算出の注目度）: 5.5784148764236114
License: http://creativecommons.org/licenses/by/4.0/
Abstract: A commit message is a textual description of the code changes in a commit, which is a key part of the Git version control system (VCS). It captures the essence of software updating. Therefore, it can help developers understand code evolution and facilitate efficient collaboration between developers. However, it is time-consuming and labor-intensive to write good and valuable commit messages. Some researchers have conducted extensive studies on the automatic generation of commit messages and proposed several methods for this purpose, such as generation-based and retrieval-based models. However, seldom studies explored whether large language models (LLMs) can be effectively used for the automatic generation of commit messages. To this end, this paper designed and conducted a series of experiments to comprehensively evaluate the performance of popular open-source and closed-source LLMs, i.e., Llama 2 and ChatGPT, in commit message generation. The results indicate that considering the BLEU and Rouge-L metrics, LLMs surpass existing methods in certain indicators but lag behind in others. After human evaluations, however, LLMs show a distinct advantage over all these existing methods. Especially, in 78% of the 366 samples, the commit messages generated by LLMs were evaluated by humans as the best. This work not only reveals the promising potential of using LLMs to generate commit messages, but also explores the limitations of commonly used metrics in evaluating the quality of automatically generated commit messages.
Abstract（参考訳）: コミットメッセージ(commit message)は、gitバージョン管理システム(vcs)の重要な部分であるコミットのコード変更のテキスト記述である。ソフトウェアアップデートの本質を捉えています。したがって、コードの進化を理解し、開発者間の効率的なコラボレーションを促進するのに役立つ。しかし、善良で価値のあるコミットメッセージを書くのは時間と労力がかかります。一部の研究者はコミットメッセージの自動生成に関する広範囲な研究を行い、この目的のために世代ベースや検索ベースモデルといったいくつかの方法を提案した。しかし、大規模言語モデル(llm)がコミットメッセージの自動生成に効果的に使用できるかどうかについての研究はほとんどない。そこで本稿は,Llama 2 と ChatGPT のコミットメッセージ生成におけるオープンソースおよびクローズドソース LLM の性能を総合的に評価するための一連の実験を設計・実施した。その結果,BLEU と Rouge-L の測定値を考えると,LLM は特定の指標において既存の手法を上回り,他の指標では遅れていることがわかった。しかし、人間による評価の後、LLMはこれらの既存の手法に対して明確な優位性を示している。特に, 366サンプルの78%では, LLMが生成するコミットメッセージが人間によって最も優れていると評価された。この作業は、コミットメッセージを生成するためにLLMを使用するという有望な可能性だけでなく、自動生成されたコミットメッセージの品質を評価する上で一般的に使用されるメトリクスの制限についても調査している。

関連論文リスト

Towards Realistic Evaluation of Commit Message Generation by Matching Online and Offline Settings [77.20838441870151]
コミットメッセージ生成は、ソフトウェアエンジニアリングにおいて重要なタスクであり、正しく評価することが難しい。オンラインメトリック - VCSに生成されたメッセージをコミットする前にユーザが導入する編集回数 - を使用して、オフライン実験用のメトリクスを選択します。その結果,編集距離が最も高い相関を示すのに対し,BLEUやMETEORなどの類似度は低い相関を示すことがわかった。
論文参考訳（メタデータ） (2024-10-15T20:32:07Z)
HelloBench: Evaluating Long Text Generation Capabilities of Large Language Models [89.28591263741973]
長文生成における大規模言語モデルの性能を評価するために,階層長文生成ベンチマーク(HelloBench)を導入する。 HelloBenchはブルームの分類に基づいて、長いテキスト生成タスクをオープンエンドQA、要約、チャット、テキスト補完、テキスト生成の5つのサブタスクに分類する。また,人的評価に要する時間と労力を大幅に削減する人的評価手法である階層的長文評価(HelloEval)を提案する。
論文参考訳（メタデータ） (2024-09-24T15:38:11Z)
Context Conquers Parameters: Outperforming Proprietary LLM in Commit Message Generation [4.400274233826898]
オープンソースのLarge Language Modelsは、OMGが生成したものに匹敵するコミットメッセージを生成することができる。 4ビット量子化8BオープンソースLLMを用いたCMG手法であるlOcal MessagE GenerAtorを提案する。
論文参考訳（メタデータ） (2024-08-05T14:26:41Z)
Bug In the Code Stack: Can LLMs Find Bugs in Large Python Code Stacks [1.3586572110652484]
本研究では,大規模文書から文脈情報を取得する上でのLLM(Large Language Models)の機能について検討する。我々のベンチマークであるBug In The Code Stack (BICS)は、大規模なソースコード内の単純な構文バグを識別するLLMの能力を評価するために設計されている。その結果,(1)検索タスクのテキストベースの環境に比べ,コードベースの環境の方が有意に困難であり,(2)異なるモデル間の性能差が大きく,(3)コンテキスト長と性能劣化との間には顕著な相関関係があることが判明した。
論文参考訳（メタデータ） (2024-06-21T17:37:10Z)
RAG-Enhanced Commit Message Generation [8.858678357308726]
コミットメッセージ生成は研究ホットスポットになっている。手動でコミットメッセージを書くのに時間がかかります。本稿では,Retrieval-Augmented framework for CommiTメッセージ生成のためのREACTを提案する。
論文参考訳（メタデータ） (2024-06-08T16:24:24Z)
Commit Messages in the Age of Large Language Models [0.9217021281095906]
コード変更に基づいてコミットメッセージを生成するOpenAIのChatGPTの性能を評価する。本稿では、ChatGPTを用いて得られた結果と、コミットデータに特化して訓練された以前の自動コミットメッセージ生成手法を比較した。
論文参考訳（メタデータ） (2024-01-31T06:47:12Z)
LM-Polygraph: Uncertainty Estimation for Language Models [71.21409522341482]
不確実性推定(UE)手法は、大規模言語モデル(LLM)の安全性、責任性、効果的な利用のための1つの経路である。テキスト生成タスクにおけるLLMの最先端UEメソッドのバッテリを実装したフレームワークであるLM-PolygraphをPythonで統一したプログラムインタフェースで導入する。研究者によるUEテクニックの一貫した評価のための拡張可能なベンチマークと、信頼スコア付き標準チャットダイアログを強化するデモWebアプリケーションを導入している。
論文参考訳（メタデータ） (2023-11-13T15:08:59Z)
Large Language Model-Aware In-Context Learning for Code Generation [75.68709482932903]
大規模言語モデル(LLM)は、コード生成において印象的なコンテキスト内学習(ICL)能力を示している。コード生成のためのLAIL (LLM-Aware In-context Learning) という新しい学習ベース選択手法を提案する。
論文参考訳（メタデータ） (2023-10-15T06:12:58Z)
From Commit Message Generation to History-Aware Commit Message Completion [49.175498083165884]
コミットメッセージ生成からコミットメッセージ補完に焦点を移すことができれば、結果のコミットメッセージの品質と個人的な性質を大幅に改善できる、と私たちは論じています。既存のデータセットには履歴データがないため、20のプログラミング言語で107万のコミットを含むCommitChronicleと呼ばれる新しいデータセットを収集、共有しています。以上の結果から,コミットメッセージ補完は生成よりも優れた結果を示し,一般的にはGPT-3.5-turboはより悪い性能を示すが,長大かつ詳細なメッセージの可能性を示唆している。
論文参考訳（メタデータ） (2023-08-15T09:10:49Z)
LLMDet: A Third Party Large Language Models Generated Text Detection Tool [119.0952092533317]
大規模言語モデル(LLM)は、高品質な人間によるテキストに非常に近い。既存の検出ツールは、機械が生成したテキストと人間によるテキストしか区別できない。本稿では,モデル固有,セキュア,効率的,拡張可能な検出ツールであるLLMDetを提案する。
論文参考訳（メタデータ） (2023-05-24T10:45:16Z)
On the Evaluation of Commit Message Generation Models: An Experimental Study [33.19314967188712]
コミットメッセージは、コード変更の自然言語記述であり、プログラムの理解とメンテナンスに重要である。コミットメッセージを自動的に生成するために, 生成手法や検索手法を利用した様々な手法が提案されている。本稿では,最先端のモデルとデータセットの体系的,詳細な分析を行う。
論文参考訳（メタデータ） (2021-07-12T12:38:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。