論文の概要: Bug Severity Classification with Fine-Tuned Open LLMs: A Paired Comparison with TF-IDF and CodeBERT Baselines on Eclipse Reports

• arxiv url: http://arxiv.org/abs/2610.34127v1
• Date: Sun, 25 Oct 2026 07:53:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.541308
• Title: Bug Severity Classification with Fine-Tuned Open LLMs: A Paired Comparison with TF-IDF and CodeBERT Baselines on Eclipse Reports
• Title（参考訳）: 細調整オープンLCMによるバグ重大度分類: EclipseレポートにおけるTF-IDFおよびCodeBERTベースラインとの比較
• Abstract要約: ラップトップで動かすのに十分な大きさのオープンな大規模言語モデル(LLM)は、自動バグの深刻度予測の候補である。 Bugzillaの重大度レベル4つのうちの1つをEclipseのバグレポートに割り当てる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Open large language models (LLMs) small enough to run on a laptop are an obvious candidate for automatic bug severity prediction. We measure what they add over cheaper classifiers on one task: assigning one of four Bugzilla severity levels (Critical, Major, Minor, Trivial) to Eclipse bug reports. From a public dump of 361,006 unique Eclipse reports we draw a class-balanced sample of 20,000 rows and compare eleven configurations of nine model types: six TF-IDF classifiers, a fine-tuned CodeBERT encoder, and Llama 3 8B and Qwen 2.5 7B, each run zero-shot and after QLoRA fine-tuning. All eleven are scored on the same 2,000 held-out reports, with bootstrap intervals and McNemar tests. The zero-shot runs reach macro-F1 0.305 and 0.321, below every TF-IDF model (0.430-0.489). The fine-tuned runs reach 0.526 and 0.485, but the zero-shot and fine-tuned setups also differ in checkpoint, serving runtime and decoding, so this gap cannot be credited to fine-tuning alone. Fine-tuned Llama 3 shows no detectable difference from CodeBERT (0.518; difference +0.007, 95% CI -0.017 to +0.032), and fine-tuned Qwen 2.5 is below it on macro-F1. The models differ more by class than in aggregate: fine-tuned Llama 3 finds 36% of Critical reports, Qwen 2.5 finds 69% but only 21% of Minor ones. The dump repeats 60,000 rows, and 8% of the test reports duplicate a training report; removing them lowers TF-IDF scores by up to 0.031 and leaves the LLMs almost unchanged. We release split identifiers, per-report predictions and the analysis script at https://github.com/tbayan/bug_finetuning_llm_artifacts, together with CyberTriage, a tool that serves the fine-tuned classifier locally.
• Abstract（参考訳）: ラップトップで動かすのに十分な大きさのオープンな大規模言語モデル(LLM)は、自動バグの深刻度予測の候補である。 Bugzillaの重大度レベル(Critical、Major、Major、Minor、Trivial)の4つのうちの1つをEclipseのバグレポートに割り当てる。 6つのTF-IDF分類器、微調整されたCodeBERTエンコーダ、Llama 3 8BとQwen 2.5 7Bで、それぞれがゼロショットを実行し、QLoRAを微調整した後である。 11人全員が同じ2000回の持ちこたえのレポートで、ブートストラップ間隔とマクネマールテストで得点した。 ゼロショットランはマクロF1 0.305と0.321に到達し、TF-IDFモデル(0.430-0.489)より下である。 微調整された実行は0.526と0.485に達するが、ゼロショットと微調整された設定もチェックポイント、実行時、デコードで異なるため、このギャップは微調整だけでは認められない。 微調整 Llama 3 は CodeBERT (0.518; difference +0.007, 95% CI -0.017 to +0.032) と検出可能な差を示さず、微調整された Qwen 2.5 はマクロF1 でその下にある。 微調整されたLlama 3はクリティカルな報告の36%、Qwen 2.5は69%、マイナーな報告の21%しか見つからない。 ダンプは6万行繰り返し、テストレポートの8%はトレーニングレポートを複製し、TF-IDFのスコアを0.031まで下げ、LSMをほとんど変わらないままにしている。 我々は、分割識別子、レポートごとの予測、分析スクリプトをhttps://github.com/tbayan/bug_finetuning_llm_artifactsでリリースします。

関連論文リスト

• EasyClassifier: Honest, Reproducible Machine-Learning Classification for Researchers Who Do Not Program [0.24554686192257416]
  オープンソースのPythonパッケージであるEasyClassifierは、ユーザがCSVやExcelファイルから、平易で複数選択の質問を連続して、完了した分析にガイドする。 EasyClassifierはMITライセンス下で、PyPI(pip install easyclassifier)、GitHub、Zenodoから利用できる。
  論文  参考訳（メタデータ） (2026-10-03T20:53:36Z)
• The Recall Trap: A Recall-Maximizing Retriever Configuration Reduces Issue Resolution in Fixed-Budget Code Context [45.88028371034407]
  コード修復における制御ケーススタディを報告し,新しい現象ではない。 私たちは、同じスタック上の1つのフラグ(1チャンク毎の重複)を切り替えます。 BM25(3.2pp、重要なパラダイム間相互作用)を逆転させる。 厳格な固定予算では、ファイルごとのハードダイドプリケートや、タスクに対するA/Bパッケージングポリシは、メトリックフラグを調整しないことが示されます。
  論文  参考訳（メタデータ） (2026-08-14T19:22:50Z)
• What Does 99% Accuracy Measure? A Reproducible Audit of Shortcut Learning in a Widely Used Fake News Corpus [0.0]
  ISOT/Kaggle "Fake and Real News"コーパスで訓練されたテキスト分類器は、常に精度を報告し、F1は0.98以上である。 コーパスを3つのリークチャネルと2つの分散シフトプロトコルに沿って監査し、すべてのコードと派生番号を解放する。 3つのモデルはいずれも最寄りのランキング(ROC-AUC 0.54-0.57)に落ち、最下位のベースラインには勝っていない。
  論文  参考訳（メタデータ） (2026-07-26T11:00:45Z)
• Benchmarking Large Language Models on Floating-Point Error Classification [0.0]
  本稿では,ソフトウェアコード中の浮動小数点誤りを静的に検出・分類する大規模言語モデルの有用性について検討する。 浮動小数点誤差の6つのカテゴリにまたがるLSMを評価するために,90個のCカーネルと1130個のテストサンプルのベンチマークであるInterFLOPBenchを紹介する。
  論文  参考訳（メタデータ） (2026-06-30T08:18:45Z)
• PyMETA: A Benchmark Dataset for Hierarchical Student Code Error Classification with Python-Interpreter-Based Labels [12.735875537372486]
  PyMETAは、48,646人の学生が提出した大規模なPythonコードのエラー分類データセットである。 データセットは、バイナリエラー/非エラーから、Pythonの公式例外階層に根ざした14のきめ細かいエラータイプまで、3レベルの階層的な分類を使用する。 マルチエラープロンプトでは、最高のモデルであるGemini 2.5 Proが81.8%のマクロF1を達成する。
  論文  参考訳（メタデータ） (2026-06-29T17:45:36Z)
• Automated Root-Cause Subclassification and No-Code Fix Generation for Invalid Bug Reports [0.0]
  無効なバグレポートはコードの変更を必要としない。 我々のゴールは、ルートを指向した無効なバグレポートのサブクラス化のための標準化された分類を導入することです。 金標準ベンチマークで異なる構成がどのように機能するかを研究する。
  論文  参考訳（メタデータ） (2026-05-17T17:45:13Z)
• Distributional Energy-Based Models for Uncertainty-Aware Structured LLM Reasoning [40.342912574072024]
  大規模言語モデルは、旅行計画やコードソリューションのような構造化されたアウトプットを生成する。 個々の推論ステップは正しく見えるが、アウトプット全体が予算に違反したり、テストケースに失敗したり、あるいは以前の推論に矛盾することがある。 構造化LCM出力の検証のための決定論的解析制約付き学習品質スコアラを提案する。
  論文  参考訳（メタデータ） (2026-05-15T17:08:27Z)
• Correct Code, Vulnerable Dependencies: A Large Scale Measurement Study of LLM-Specified Library Versions [52.50730821321986]
  大規模言語モデル(LLM)におけるバージョンレベルのリスクの大規模評価を初めて行った。 我々は1000のStack OverflowプログラミングタスクのベンチマークであるPinTrace上で10のLLMを評価した。 LLM バージョン選択は LLM ベース開発における第1級, 以前は見落とされたリスクサーフェスとして確認された。
  論文  参考訳（メタデータ） (2026-05-07T13:52:59Z)
• CITADEL: Context Similarity Based Deep Learning Framework Bug Finding [37.985497279785235]
  既存のDLフレームワークテストツールは非効率で、数百のテストケースを生成し、トリガのバグが少ない。 効率と有効性の観点からバグ発見を高速化する手法であるCitadelを提案する。
  論文  参考訳（メタデータ） (2024-06-18T01:51:16Z)
• Automatic Classification of Bug Reports Based on Multiple Text Information and Reports' Intention [37.67372105858311]
  本稿では,バグレポートの自動分類手法を提案する。 イノベーションは、バグレポートを分類する際に、レポートのテキスト情報に加えて、レポートの意図も考慮することである。 提案手法は性能が向上し,F-Measureは87.3%から95.5%に向上した。
  論文  参考訳（メタデータ） (2022-08-02T06:44:51Z)
• TACRED Revisited: A Thorough Evaluation of the TACRED Relation Extraction Task [80.38130122127882]
  TACREDはリレーショナル抽出(RE)において最も大きく、最も広く使われているクラウドソースデータセットの1つである パフォーマンスの天井に到達したのか、改善の余地はあるのか? ラベルエラーは絶対F1テストエラーの8%を占めており、例の50%以上を可逆化する必要がある。
  論文  参考訳（メタデータ） (2020-04-30T15:07:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。