論文の概要: Labelling Bug-Fixing Commits with Local Open-Weight Language Models

• arxiv url: http://arxiv.org/abs/2609.21616v1
• Date: Fri, 18 Sep 2026 11:00:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-21 18:40:17.026805
• Title: Labelling Bug-Fixing Commits with Local Open-Weight Language Models
• Title（参考訳）: 局所的オープンウェイト言語モデルを用いたラベリングバグ修正
• Abstract要約: 本稿では,コンテンツからのみコミットをバグ修正としてラベル付けできるかどうかを検討する。 キーワードのベースラインと、さまざまなサイズのオープンウェイトモデルのセットを比較し、それぞれにコミットメッセージとコード差分をトリガーします。 手動で検証されたコーパスでは、キーワードのベースラインが修正の半数未満をリカバリする一方、オープンウェイトモデルは大多数をリカバリし、統計的に重要なリポジトリでレポジトリを上回ります。
• 参考スコア（独自算出の注目度）: 1.3453511082493737
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Defect prediction depends on knowing which commits fix bugs, yet the labels that encode this are produced by routes that each introduce noise. Reused benchmarks carry documented data-quality problems, issue-tracker links are biased and the underlying reports are frequently mistyped, and matching keywords in commit messages is a coarse heuristic. This paper examines whether commits can be labelled as bug fixes from their content alone, using open-weight language models that run locally and therefore keep the process reproducible, inexpensive at corpus scale, usable on proprietary code, and independent of any issue tracker. Against datasets of manually validated and curated bug fixes spanning Java, Python, and JavaScript, we compare a keyword baseline with a set of open-weight models of varying size, prompting each with the commit message and the code diff. On the manually validated corpus the keyword baseline recovers fewer than half of the fixes, whereas the open-weight models recover the large majority and outperform it repository by repository with statistical significance, and larger models do not consistently outperform smaller ones. We further show that evaluation corpora without negative examples cannot support a precision-aware comparison of such classifiers. We release the labelling pipeline together with a labelled, multi-language corpus produced by the recommended configuration, as a reproducible silver-standard resource for building current, project-specific datasets.
• Abstract（参考訳）: 欠陥予測は、どのコミットがバグを修正するかを知ることに依存するが、これをエンコードするラベルは、それぞれノイズを発生させるルートによって生成される。 再利用可能なベンチマークには、文書化されたデータ品質の問題があり、イシュートラッカリンクはバイアスがあり、基礎となるレポートは頻繁に誤型化され、コミットメッセージのマッチングキーワードは粗悪なヒューリスティックである。 本稿では、ローカルで実行されるオープンウェイト言語モデルを用いて、コミットをコンテンツからのみバグ修正としてラベル付けできるかどうかを、コーパススケールで再現可能で、安価で、プロプライエタリなコードで使用でき、イシュートラッカから独立して扱うことができるかを検討する。 Java、Python、JavaScriptにまたがる手動検証およびキュレートされたバグ修正のデータセットに対して、キーワードベースラインとさまざまなサイズのオープンウェイトモデルのセットを比較し、コミットメッセージとコード差分をそれぞれ促します。 手動で検証されたコーパスでは、キーワードのベースラインが修正の半数未満を回復するのに対して、オープンウェイトモデルは大多数を回復し、統計学的に重要なリポジトリによってそのリポジトリを上回る。 さらに, 否定例のない評価コーパスは, これらの分類器の精度と精度を比較できないことを示す。 我々は、現在、プロジェクト固有のデータセットを構築するための再現可能な銀標準資源として、推奨設定によって生成されたラベル付き多言語コーパスとともにラベリングパイプラインをリリースする。

関連論文リスト

• RepoProbe: Benchmarking Architecture-Aware Repository Comprehension with Checklists [12.810164698494281]
  RepoProbeは、リポジトリレベルのコード理解を評価するための新しいベンチマークである。 本稿では,回答をアトミックで検証可能な事実に分解するチェックリストベースの検証プロトコルを提案する。
  論文  参考訳（メタデータ） (2026-08-05T12:49:36Z)
• Probing Pre-trained Language Models on Code Changes: Insights from ReDef, a High-Confidence Just-in-Time Defect Prediction Dataset [0.0]
  本稿では,22の大規模C/C++プロジェクトから得られた関数レベル修正の信頼性の高いベンチマークであるReDefを紹介する。 欠陥ケースはコミットの反転によって固定され、クリーンケースはポストホック履歴チェックによって検証される。 このパイプラインは3,164の欠陥と10,268のクリーンな修正をもたらし、既存のリソースよりも信頼性の高いラベルを提供する。
  論文  参考訳（メタデータ） (2025-09-11T07:07:11Z)
• The Medium Is Not the Message: Deconfounding Document Embeddings via Linear Concept Erasure [98.71456610527598]
  埋め込みベースの類似度メトリクスは、テキストのソースや言語のような刺激的な属性に影響される可能性がある。 本稿では,エンコーダ表現から観測された共同創設者に関する情報を除去するデバイアスアルゴリズムにより,これらのバイアスを最小の計算コストで大幅に低減することを示す。
  論文  参考訳（メタデータ） (2025-07-01T23:17:12Z)
• CommitBench: A Benchmark for Commit Message Generation [22.03783968903916]
  既存のデータセットはコミット選択の品質など,さまざまな問題を示す。 新しい大規模データセットであるCommitBenchをコンパイルし、データセット作成のベストプラクティスを採用しています。 私たちはCommitBenchを使って既存のモデルを比較し、他のアプローチがソースコードで事前訓練されたTransformerモデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-03-08T09:56:45Z)
• Delving into Commit-Issue Correlation to Enhance Commit Message Generation Models [13.605167159285374]
  コミットメッセージ生成は、自動化されたソフトウェアエンジニアリングにおいて難しいタスクである。 ツールとは,コミットとイシューの相関関係をモデルのトレーニングフェーズに導入する,新たなパラダイムだ。 その結果,元モデルと比較して,ツール強化モデルの性能は大幅に向上した。
  論文  参考訳（メタデータ） (2023-07-31T20:35:00Z)
• Understanding Factual Errors in Summarization: Errors, Summarizers, Datasets, Error Detectors [105.12462629663757]
  本研究では、既存の9つのデータセットから事実性エラーアノテーションを集約し、基礎となる要約モデルに従ってそれらを階層化する。 本稿では,この階層化ベンチマークにおいて,最近のChatGPTベースの指標を含む最先端の事実性指標の性能を比較し,その性能が様々な種類の要約モデルで大きく異なることを示す。
  論文  参考訳（メタデータ） (2022-05-25T15:26:48Z)
• Does Recommend-Revise Produce Reliable Annotations? An Analysis on Missing Instances in DocRED [60.39125850987604]
  テキスト修正方式は, 偽陰性サンプルと, 人気エンティティや関係性に対する明らかな偏見をもたらすことを示す。 より信頼性の高いドキュメントREモデルのテストセットとして機能するように、relabeledデータセットがリリースされている。
  論文  参考訳（メタデータ） (2022-04-17T11:29:01Z)
• XL-WiC: A Multilingual Benchmark for Evaluating Semantic Contextualization [98.61159823343036]
  単語の意味を正確にモデル化する能力を評価するために,Word-in-Context データセット (WiC) を提案する。 我々は、XL-WiCという大規模なマルチ言語ベンチマークを提案し、12の新しい言語でゴールドスタンダードを特徴付けました。 実験結果から、ターゲット言語にタグ付けされたインスタンスが存在しない場合でも、英語データのみにトレーニングされたモデルは、競争力のあるパフォーマンスが得られることが示された。
  論文  参考訳（メタデータ） (2020-10-13T15:32:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。