論文の概要: Commit Messages in the Age of Large Language Models

• arxiv url: http://arxiv.org/abs/2401.17622v2
• Date: Fri, 2 Feb 2024 00:44:32 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-05 12:01:55.135742
• Title: Commit Messages in the Age of Large Language Models
• Title（参考訳）: 大規模言語モデルの時代におけるメッセージのコミット
• Authors: Cristina V. Lopes, Vanessa I. Klotzman, Iris Ma, Iftekar Ahmed
• Abstract要約: コード変更に基づいてコミットメッセージを生成するOpenAIのChatGPTの性能を評価する。 本稿では、ChatGPTを用いて得られた結果と、コミットデータに特化して訓練された以前の自動コミットメッセージ生成手法を比較した。
• 参考スコア（独自算出の注目度）: 0.9217021281095906
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Commit messages are explanations of changes made to a codebase that are stored in version control systems. They help developers understand the codebase as it evolves. However, writing commit messages can be tedious and inconsistent among developers. To address this issue, researchers have tried using different methods to automatically generate commit messages, including rule-based, retrieval-based, and learning-based approaches. Advances in large language models offer new possibilities for generating commit messages. In this study, we evaluate the performance of OpenAI's ChatGPT for generating commit messages based on code changes. We compare the results obtained with ChatGPT to previous automatic commit message generation methods that have been trained specifically on commit data. Our goal is to assess the extent to which large pre-trained language models can generate commit messages that are both quantitatively and qualitatively acceptable. We found that ChatGPT was able to outperform previous Automatic Commit Message Generation (ACMG) methods by orders of magnitude, and that, generally, the messages it generates are both accurate and of high-quality. We also provide insights, and a categorization, for the cases where it fails.
• Abstract（参考訳）: コミットメッセージは、バージョン管理システムに格納されたコードベースの変更の説明である。 コードベースの進化を開発者が理解するのに役立ちます。 しかし、コミットメッセージを書くことは、開発者の間で退屈で一貫性がない可能性がある。 この問題に対処するために、ルールベース、検索ベース、学習ベースのアプローチなど、さまざまな方法でコミットメッセージを自動生成しようと試みている。 大きな言語モデルの進歩は、コミットメッセージを生成する新しい可能性を提供する。 本研究では,コード変更に基づいてコミットメッセージを生成するOpenAIのChatGPTの性能を評価する。 chatgptで得られた結果と、特にコミットデータに基づいてトレーニングされた以前の自動コミットメッセージ生成手法を比較した。 我々のゴールは、大規模事前訓練された言語モデルが定量的かつ質的に許容できるコミットメッセージを生成できる範囲を評価することである。 その結果,ChatGPTは,従来のACMG(Automatic Commit Message Generation)メソッドを桁違いに上回り,一般的には,生成したメッセージは正確かつ高品質であることがわかった。 また、失敗した場合の洞察や分類も提供しています。

関連論文リスト

• Using Large Language Models for Commit Message Generation: A Preliminary Study [5.5784148764236114]
  大規模言語モデル(LLM)はコミットメッセージを自動かつ効果的に生成するために使用することができる。 366サンプルの78%では, LLMが生成したコミットメッセージが人間によって最高のものと評価された。
  論文  参考訳（メタデータ） (2024-01-11T14:06:39Z)
• From Commit Message Generation to History-Aware Commit Message Completion [49.175498083165884]
  コミットメッセージ生成からコミットメッセージ補完に焦点を移すことができれば、結果のコミットメッセージの品質と個人的な性質を大幅に改善できる、と私たちは論じています。 既存のデータセットには履歴データがないため、20のプログラミング言語で107万のコミットを含むCommitChronicleと呼ばれる新しいデータセットを収集、共有しています。 以上の結果から,コミットメッセージ補完は生成よりも優れた結果を示し,一般的にはGPT-3.5-turboはより悪い性能を示すが,長大かつ詳細なメッセージの可能性を示唆している。
  論文  参考訳（メタデータ） (2023-08-15T09:10:49Z)
• Delving into Commit-Issue Correlation to Enhance Commit Message Generation Models [13.605167159285374]
  コミットメッセージ生成は、自動化されたソフトウェアエンジニアリングにおいて難しいタスクである。 ツールとは,コミットとイシューの相関関係をモデルのトレーニングフェーズに導入する,新たなパラダイムだ。 その結果,元モデルと比較して,ツール強化モデルの性能は大幅に向上した。
  論文  参考訳（メタデータ） (2023-07-31T20:35:00Z)
• Using Developer Discussions to Guide Fixing Bugs in Software [51.00904399653609]
  我々は,タスク実行前に利用可能であり,また自然発生しているバグレポートの議論を,開発者による追加情報の必要性を回避して利用することを提案する。 このような議論から派生したさまざまな自然言語コンテキストがバグ修正に役立ち、オラクルのバグ修正コミットに対応するコミットメッセージの使用よりもパフォーマンスの向上につながることを実証する。
  論文  参考訳（メタデータ） (2022-11-11T16:37:33Z)
• Learning to Transfer Prompts for Text Generation [97.64625999380425]
  転送可能なテキスト生成のための新しいプロンプトベース手法(PTG)を提案する。 まず、PTGは、様々なソース生成タスクの一連のソースプロンプトを学習し、ターゲット生成タスクを実行するためのターゲットプロンプトとしてこれらのプロンプトを転送する。 広範な実験では、PTGは微調整法よりも競争力または優れた結果が得られる。
  論文  参考訳（メタデータ） (2022-05-03T14:53:48Z)
• ECMG: Exemplar-based Commit Message Generation [45.54414179533286]
  コミットメッセージは、コード差分の内容(つまり、コードの変更)とそれらの背後にある意図を簡潔に記述する。 情報検索ベースの手法は、類似のコードdiffsのコミットメッセージを再利用し、ニューラルベースの手法は、コードdiffsとコミットメッセージ間のセマンティックな接続を学習する。 本稿では、類似のコミットメッセージを例に扱い、ニューラルネットワークモデルを誘導して正確なコミットメッセージを生成する、新しい例ベースのニューラルコミットメッセージ生成モデルを提案する。
  論文  参考訳（メタデータ） (2022-03-05T10:55:15Z)
• Jointly Learning to Repair Code and Generate Commit Message [78.4177637346384]
  バグの多いコード、固定コード、新しいタスクのコミットメッセージを含む多言語3重データセットを構築した。 カスケード方式の誤り伝搬問題に対処するため,コード修復とコミットメッセージ生成の両立が可能なジョイントモデルを提案する。 実験結果から,教師学習法とマルチタスク学習法を併用した拡張カスケードモデルにより,自動コード修復のメトリクスの最良のスコアが得られた。
  論文  参考訳（メタデータ） (2021-09-25T07:08:28Z)
• CommitBERT: Commit Message Generation Using Pre-Trained Programming Language Model [0.38073142980733]
  コミットメッセージ(Commit message)は、自然言語でソースコードの変更を要約する文書である。 我々はコミットメッセージを自動的に書き込むモデルを開発する。 コード修正とコミットメッセージからなる345Kデータセットを6つのプログラミング言語でリリースします。
  論文  参考訳（メタデータ） (2021-05-29T07:48:28Z)
• PALM: Pre-training an Autoencoding&Autoregressive Language Model for Context-conditioned Generation [92.7366819044397]
  自己指導型事前学習は、自然言語の理解と生成のための強力な技術として登場した。 本研究は,大規模未ラベルコーパス上で自己エンコーディングと自己回帰言語モデルを共同で事前学習する新しいスキームをPALMに提示する。 広範な実験により、PALMは様々な言語生成ベンチマークにおいて、新しい最先端の結果を達成することが示されている。
  論文  参考訳（メタデータ） (2020-04-14T06:25:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。