論文の概要: From Commit Message Generation to History-Aware Commit Message Completion

• arxiv url: http://arxiv.org/abs/2308.07655v1
• Date: Tue, 15 Aug 2023 09:10:49 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-16 13:32:22.886458
• Title: From Commit Message Generation to History-Aware Commit Message Completion
• Title（参考訳）: コミットメッセージ生成から履歴対応コミットメッセージ補完へ
• Authors: Aleksandra Eliseeva, Yaroslav Sokolov, Egor Bogomolov, Yaroslav Golubev, Danny Dig, Timofey Bryksin
• Abstract要約: コミットメッセージ生成からコミットメッセージ補完に焦点を移すことができれば、結果のコミットメッセージの品質と個人的な性質を大幅に改善できる、と私たちは論じています。 既存のデータセットには履歴データがないため、20のプログラミング言語で107万のコミットを含むCommitChronicleと呼ばれる新しいデータセットを収集、共有しています。 以上の結果から,コミットメッセージ補完は生成よりも優れた結果を示し,一般的にはGPT-3.5-turboはより悪い性能を示すが,長大かつ詳細なメッセージの可能性を示唆している。
• 参考スコア（独自算出の注目度）: 49.175498083165884
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Commit messages are crucial to software development, allowing developers to track changes and collaborate effectively. Despite their utility, most commit messages lack important information since writing high-quality commit messages is tedious and time-consuming. The active research on commit message generation (CMG) has not yet led to wide adoption in practice. We argue that if we could shift the focus from commit message generation to commit message completion and use previous commit history as additional context, we could significantly improve the quality and the personal nature of the resulting commit messages. In this paper, we propose and evaluate both of these novel ideas. Since the existing datasets lack historical data, we collect and share a novel dataset called CommitChronicle, containing 10.7M commits across 20 programming languages. We use this dataset to evaluate the completion setting and the usefulness of the historical context for state-of-the-art CMG models and GPT-3.5-turbo. Our results show that in some contexts, commit message completion shows better results than generation, and that while in general GPT-3.5-turbo performs worse, it shows potential for long and detailed messages. As for the history, the results show that historical information improves the performance of CMG models in the generation task, and the performance of GPT-3.5-turbo in both generation and completion.
• Abstract（参考訳）: コミットメッセージはソフトウェア開発に不可欠であり、開発者は変更を追跡し、効果的に協力することができる。 ユーティリティにもかかわらず、ほとんどのコミットメッセージは、高品質なコミットメッセージを書くのは面倒で時間を要するため、重要な情報がない。 コミットメッセージ生成(CMG)に関する活発な研究は、実際に広く採用されているわけではない。 コミットメッセージ生成からコミットメッセージ補完に重点を移し、以前のコミット履歴を追加コンテキストとして使用できれば、コミットメッセージの品質と個人的な性質が大幅に向上する、と私たちは主張しています。 本稿では,これら2つの新しいアイデアを提案し,評価する。 既存のデータセットには履歴データがないため、20言語にわたる107万のコミットを含むCommitChronicleと呼ばれる新しいデータセットを収集、共有しています。 本データセットを用いて,現状のCMGモデルとGPT-3.5-turboの完成状況と過去の文脈の有用性を評価する。 以上の結果から,コミットメッセージ補完は生成よりも優れた結果を示し,一般的にはGPT-3.5-turboはより悪い性能を示すが,長大かつ詳細なメッセージの可能性を示唆している。 歴史的情報により, 生成タスクにおけるCMGモデルの性能が向上し, 生成と完了の両方においてGPT-3.5-turboの性能が向上することを示す。

関連論文リスト

• Towards Realistic Evaluation of Commit Message Generation by Matching Online and Offline Settings [77.20838441870151]
  コミットメッセージ生成は、ソフトウェアエンジニアリングにおいて重要なタスクであり、正しく評価することが難しい。 オンラインメトリック - VCSに生成されたメッセージをコミットする前にユーザが導入する編集回数 - を使用して、オフライン実験用のメトリクスを選択します。 その結果,編集距離が最も高い相関を示すのに対し,BLEUやMETEORなどの類似度は低い相関を示すことがわかった。
  論文  参考訳（メタデータ） (2024-10-15T20:32:07Z)
• RAG-Enhanced Commit Message Generation [8.858678357308726]
  コミットメッセージ生成は研究ホットスポットになっている。 手動でコミットメッセージを書くのに時間がかかります。 本稿では,Retrieval-Augmented framework for CommiTメッセージ生成のためのREACTを提案する。
  論文  参考訳（メタデータ） (2024-06-08T16:24:24Z)
• COMET: Generating Commit Messages using Delta Graph Context Representation [2.5899040911480182]
  コミットメッセージはコミット中のコード変更を説明し、開発者間のコラボレーションを容易にする。 グラフベースの表現を用いて、コード変更のコンテキストをキャプチャする新しいアプローチであるCometを提案する。 テストによると、彗星は白ノルムと気象の指標で最先端の技術を上回っている。
  論文  参考訳（メタデータ） (2024-02-02T19:01:52Z)
• Commit Messages in the Age of Large Language Models [0.9217021281095906]
  コード変更に基づいてコミットメッセージを生成するOpenAIのChatGPTの性能を評価する。 本稿では、ChatGPTを用いて得られた結果と、コミットデータに特化して訓練された以前の自動コミットメッセージ生成手法を比較した。
  論文  参考訳（メタデータ） (2024-01-31T06:47:12Z)
• Using Large Language Models for Commit Message Generation: A Preliminary Study [5.5784148764236114]
  大規模言語モデル(LLM)はコミットメッセージを自動かつ効果的に生成するために使用することができる。 366サンプルの78%では, LLMが生成したコミットメッセージが人間によって最高のものと評価された。
  論文  参考訳（メタデータ） (2024-01-11T14:06:39Z)
• Delving into Commit-Issue Correlation to Enhance Commit Message Generation Models [13.605167159285374]
  コミットメッセージ生成は、自動化されたソフトウェアエンジニアリングにおいて難しいタスクである。 ツールとは,コミットとイシューの相関関係をモデルのトレーニングフェーズに導入する,新たなパラダイムだ。 その結果,元モデルと比較して,ツール強化モデルの性能は大幅に向上した。
  論文  参考訳（メタデータ） (2023-07-31T20:35:00Z)
• Grounded Keys-to-Text Generation: Towards Factual Open-Ended Generation [92.1582872870226]
  そこで我々は,新しい接地型キー・ツー・テキスト生成タスクを提案する。 タスクは、ガイドキーと接地パスのセットが与えられたエンティティに関する事実記述を生成することである。 近年のQAに基づく評価手法に着想を得て,生成した記述の事実的正当性を示す自動計量MAFEを提案する。
  論文  参考訳（メタデータ） (2022-12-04T23:59:41Z)
• Using Developer Discussions to Guide Fixing Bugs in Software [51.00904399653609]
  我々は,タスク実行前に利用可能であり,また自然発生しているバグレポートの議論を,開発者による追加情報の必要性を回避して利用することを提案する。 このような議論から派生したさまざまな自然言語コンテキストがバグ修正に役立ち、オラクルのバグ修正コミットに対応するコミットメッセージの使用よりもパフォーマンスの向上につながることを実証する。
  論文  参考訳（メタデータ） (2022-11-11T16:37:33Z)
• Learning to Transfer Prompts for Text Generation [97.64625999380425]
  転送可能なテキスト生成のための新しいプロンプトベース手法(PTG)を提案する。 まず、PTGは、様々なソース生成タスクの一連のソースプロンプトを学習し、ターゲット生成タスクを実行するためのターゲットプロンプトとしてこれらのプロンプトを転送する。 広範な実験では、PTGは微調整法よりも競争力または優れた結果が得られる。
  論文  参考訳（メタデータ） (2022-05-03T14:53:48Z)
• CoAuthor: Designing a Human-AI Collaborative Writing Dataset for Exploring Language Model Capabilities [92.79451009324268]
  我々は,GPT-3の創造的かつ議論的な記述を支援する能力を明らかにするために設計されたデータセットであるCoAuthorを提案する。 我々は、CoAuthorがGPT-3の言語、アイデア、コラボレーション機能に関する問題に対処できることを実証した。 インタラクション設計に関して,この作業がLMの約束や落とし穴に関して,より原則化された議論を促進する可能性について論じる。
  論文  参考訳（メタデータ） (2022-01-18T07:51:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。