論文の概要: CommitBench: A Benchmark for Commit Message Generation

• arxiv url: http://arxiv.org/abs/2403.05188v1
• Date: Fri, 8 Mar 2024 09:56:45 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-11 20:17:46.286249
• Title: CommitBench: A Benchmark for Commit Message Generation
• Title（参考訳）: CommitBench: コミットメッセージ生成のためのベンチマーク
• Authors: Maximilian Schall, Tamara Czinczoll, Gerard de Melo
• Abstract要約: 既存のデータセットはコミット選択の品質など,さまざまな問題を示す。 新しい大規模データセットであるCommitBenchをコンパイルし、データセット作成のベストプラクティスを採用しています。 私たちはCommitBenchを使って既存のモデルを比較し、他のアプローチがソースコードで事前訓練されたTransformerモデルよりも優れていることを示す。
• 参考スコア（独自算出の注目度）: 22.03783968903916
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Writing commit messages is a tedious daily task for many software developers, and often remains neglected. Automating this task has the potential to save time while ensuring that messages are informative. A high-quality dataset and an objective benchmark are vital preconditions for solid research and evaluation towards this goal. We show that existing datasets exhibit various problems, such as the quality of the commit selection, small sample sizes, duplicates, privacy issues, and missing licenses for redistribution. This can lead to unusable models and skewed evaluations, where inferior models achieve higher evaluation scores due to biases in the data. We compile a new large-scale dataset, CommitBench, adopting best practices for dataset creation. We sample commits from diverse projects with licenses that permit redistribution and apply our filtering and dataset enhancements to improve the quality of generated commit messages. We use CommitBench to compare existing models and show that other approaches are outperformed by a Transformer model pretrained on source code. We hope to accelerate future research by publishing the source code( https://github.com/Maxscha/commitbench ).
• Abstract（参考訳）: コミットメッセージを書くことは、多くのソフトウェア開発者にとって面倒な作業であり、しばしば無視される。 このタスクの自動化は、メッセージが通知されることを保証しながら、時間を節約する可能性がある。 高品質データセットと客観的ベンチマークは、この目標に向けてしっかりとした研究と評価のための重要な前提条件である。 既存のデータセットはコミット選択の品質、小さなサンプルサイズ、重複、プライバシの問題、再配布のためのライセンスの欠如など、さまざまな問題を示す。 これは、データ内のバイアスによって劣ったモデルがより高い評価スコアを達成する、使用不可能なモデルや歪んだ評価につながる可能性がある。 新しい大規模データセットであるCommitBenchをコンパイルし、データセット作成のベストプラクティスを採用しています。 私たちは、再配布を許可するライセンスを持つさまざまなプロジェクトからのコミットをサンプリングし、生成されたコミットメッセージの品質を改善するためにフィルタリングとデータセットの拡張を適用します。 私たちはCommitBenchを使って既存のモデルを比較し、他のアプローチがソースコードで事前訓練されたTransformerモデルよりも優れていることを示す。 ソースコードを公開することで、将来の研究を加速したいと考えています(https://github.com/Maxscha/commitbench )。

関連論文リスト

• DiscoveryBench: Towards Data-Driven Discovery with Large Language Models [50.36636396660163]
  我々は、データ駆動探索の多段階プロセスを形式化する最初の包括的なベンチマークであるDiscoveryBenchを紹介する。 我々のベンチマークには、社会学や工学などの6つの分野にまたがる264のタスクが含まれている。 私たちのベンチマークでは、自律的なデータ駆動型発見の課題を説明し、コミュニティが前進するための貴重なリソースとして役立ちます。
  論文  参考訳（メタデータ） (2024-07-01T18:58:22Z)
• Multi-Candidate Speculative Decoding [82.05519287513444]
  大規模な言語モデルは、様々なNLPタスクで印象的な機能を示してきたが、その生成は自動回帰的に時間を要する。 これは高速なドラフトモデルから候補セグメントを生成し、ターゲットモデルによって並列に検証する。 本稿では,複数の候補をドラフトモデルから抽出し,検証のためにバッチにまとめる手法を提案する。 対象モデルの分布を維持しつつ,効率的な多候補検証のためのアルゴリズムを設計する。
  論文  参考訳（メタデータ） (2024-01-12T17:15:23Z)
• Boosting Commit Classification with Contrastive Learning [0.8655526882770742]
  コミット分類(CC)は、ソフトウェアのメンテナンスにおいて重要なタスクである。 対照的な学習に基づくコミット分類フレームワークを提案する。 われわれのフレームワークはCCの問題をシンプルに解決できるが、スプリットショットのシナリオでは効果的に解決できる。
  論文  参考訳（メタデータ） (2023-08-16T10:02:36Z)
• Delving into Commit-Issue Correlation to Enhance Commit Message Generation Models [13.605167159285374]
  コミットメッセージ生成は、自動化されたソフトウェアエンジニアリングにおいて難しいタスクである。 ツールとは,コミットとイシューの相関関係をモデルのトレーニングフェーズに導入する,新たなパラダイムだ。 その結果,元モデルと比較して,ツール強化モデルの性能は大幅に向上した。
  論文  参考訳（メタデータ） (2023-07-31T20:35:00Z)
• WeCheck: Strong Factual Consistency Checker via Weakly Supervised Learning [40.5830891229718]
  本稿では,複数のリソースを集約して,正確かつ効率的な実測値(WeCheck)をトレーニングする,弱教師付きフレームワークを提案する。 様々なタスクに関する総合的な実験は、平均してTRUEベンチマークにおける従来の最先端手法よりも3.4%の絶対的な改善を実現するWeCheckの強い性能を示す。
  論文  参考訳（メタデータ） (2022-12-20T08:04:36Z)
• A Closer Look at Debiased Temporal Sentence Grounding in Videos: Dataset, Metric, and Approach [53.727460222955266]
  テンポラル・センテンス・グラウンディング・イン・ビデオ(TSGV)は、未編集のビデオに自然言語文を埋め込むことを目的としている。 最近の研究では、現在のベンチマークデータセットには明らかなモーメントアノテーションバイアスがあることが判明している。 偏りのあるデータセットによる膨らませ評価を緩和するため、基礎的リコールスコアを割引する新しい評価基準「dR@n,IoU@m」を導入する。
  論文  参考訳（メタデータ） (2022-03-10T08:58:18Z)
• On the Evaluation of Commit Message Generation Models: An Experimental Study [33.19314967188712]
  コミットメッセージは、コード変更の自然言語記述であり、プログラムの理解とメンテナンスに重要である。 コミットメッセージを自動的に生成するために, 生成手法や検索手法を利用した様々な手法が提案されている。 本稿では,最先端のモデルとデータセットの体系的,詳細な分析を行う。
  論文  参考訳（メタデータ） (2021-07-12T12:38:02Z)
• Comparing Test Sets with Item Response Theory [53.755064720563]
  我々は,18の事前学習トランスフォーマーモデルから予測した29のデータセットを個別のテスト例で評価した。 Quoref、HellaSwag、MC-TACOは最先端のモデルを区別するのに最適である。 また、QAMRやSQuAD2.0のようなQAデータセットに使用されるスパン選択タスク形式は、強いモデルと弱いモデルとの差別化に有効である。
  論文  参考訳（メタデータ） (2021-06-01T22:33:53Z)
• Hidden Biases in Unreliable News Detection Datasets [60.71991809782698]
  データ収集中の選択バイアスがデータセットの望ましくないアーティファクトにつながることを示す。 クリーンスプリットでテストされたすべてのモデルに対して,列車/テストソースの重なりが無く,精度が大幅に低下した(>10%)。 将来的なデータセット生成には、困難/バイアスプローブとしての単純なモデルと、クリーンな非重複サイトと日付分割を使用する将来のモデル開発が含まれることを提案する。
  論文  参考訳（メタデータ） (2021-04-20T17:16:41Z)
• Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
  数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。 本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。 4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
  論文  参考訳（メタデータ） (2020-02-27T10:22:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。