論文の概要: Multi-task LLMs for Bug Classification: Efficient Inference with Auxiliary Decoding Heads

• arxiv url: http://arxiv.org/abs/2606.09956v1
• Date: Mon, 08 Jun 2026 11:15:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-10 15:40:58.087157
• Title: Multi-task LLMs for Bug Classification: Efficient Inference with Auxiliary Decoding Heads
• Title（参考訳）: バグ分類のためのマルチタスクLCM:補助復号ヘッドを用いた効率的な推論
• Authors: Nikolai Rozanov,
• Abstract要約: 3つの重要なコントリビューションを通じて制限に対処する,新しいラインレベルのバグローカライゼーションアプローチを導入する。 本手法は,行レベルのバグローカライゼーションとフルファイルコンテキストの類似した設定において,最先端の性能を実現する。 受け入れ次第、コード、モデル、データセットをオープンソースにします。
• 参考スコア（独自算出の注目度）: 0.25720523258095185
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: The rapid adoption of LLM-powered code generation has dramatically accelerated software development, yet effective verification methods remain severely underdeveloped. Existing bug localization techniques are either prohibitively expensive, requiring minutes of agentic reasoning and thousands of generated tokens per file, and/or operate at coarse function-level granularity unsuitable for precise debugging. While works that focus on line-level granularity and are more light-weight are often limited in their performance or context size. We introduce a novel line-level bug localization approach that addresses these limitations through three key contributions: (1) a token alignment algorithm that overcomes fundamental tokenization challenges in previous work, (2) a lightweight multi-task LLM for bug localization (MLC) enabling efficient line-level bug classification, and (3) an optimized training recipe for multi-line prediction. Our method achieves state-of-the-art performance among similar setups on line-level bug localization with full-file context. At the same time we reach comparable performance to agentic approaches on Defects4J and PypiBugs benchmarks while reducing inference latency by orders of magnitudes, requiring only a single generated token per file. We further demonstrate strong generalization by introducing and evaluating on a small out-of-domain evaluation datasets in Python. We will open source our code, models, and datasets upon acceptance.
• Abstract（参考訳）: LLMによるコード生成の急速な普及は、ソフトウェア開発を劇的に加速させたが、効果的な検証手法はいまだに未開発のままである。 既存のバグローカライゼーション技術は非常に高価で、エージェントによる推論に数分を要し、1ファイルあたり数千のトークンを生成し、/または、正確なデバッグには適さない関数レベルの粗い粒度で操作する。 ラインレベルの粒度にフォーカスし、より軽量な作業は、パフォーマンスやコンテキストサイズに制限されることが多い。 本稿では,(1)従来の作業における基本的なトークン化課題を克服するトークンアライメントアルゴリズム,(2)効率的なラインレベルのバグ分類を実現するための軽量マルチタスクLSM,(3)マルチライン予測のための最適化されたトレーニングレシピ,という3つの重要な貢献を通じて,これらの制限に対処する新しいラインレベルのバグローカライゼーションアプローチを紹介する。 本手法は,行レベルのバグローカライゼーションとフルファイルコンテキストの類似した設定において,最先端の性能を実現する。 同時に、Defects4JとPypiBugsベンチマークのエージェント的アプローチと同等のパフォーマンスに到達します。 さらに、Pythonの小さな領域外評価データセットを導入し、評価することで、強力な一般化を実証する。 受け入れ次第、コード、モデル、データセットをオープンソースにします。

関連論文リスト

• LLM-Based Detection of Tangled Code Changes for Higher-Quality Method-Level Bug Datasets [8.166584296080805]
  本稿では,コミットメッセージとメソッドレベルのコード差分の両方を活用することで,絡み合ったコード変化を検出するための大規模言語モデルの有用性について検討する。 その結果,コミットメッセージとコード差分を組み合わせることで,モデルの性能が著しく向上することがわかった。 49のオープンソースプロジェクトにアプローチを適用することで、バグギーと非バグギーメソッド間のコードのメトリクスの分散分離性が向上します。
  論文  参考訳（メタデータ） (2025-05-13T06:26:13Z)
• Fast Controlled Generation from Language Models with Adaptive Weighted Rejection Sampling [90.86991492288487]
  トークンの制約を評価するのは 違法にコストがかかる LCDは文字列上のグローバル分布を歪め、ローカル情報のみに基づいてトークンをサンプリングすることができる。 我々のアプローチは最先端のベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2025-04-07T18:30:18Z)
• Teaching Your Models to Understand Code via Focal Preference Alignment [70.71693365502212]
  既存の手法では、テストケースの成功率に基づいてn個の候補解が評価される。 このアプローチは、特定のエラーを特定するのではなく、失敗するコードブロック全体を整列するので、意味のあるエラーと訂正の関係を捉えるのに必要な粒度が欠けている。 我々は、人間の反復デバッグを模倣してコードLLMを洗練させる新しい優先順位調整フレームワークであるTarget-DPOを提案する。
  論文  参考訳（メタデータ） (2025-03-04T16:56:34Z)
• What's Wrong with Your Code Generated by Large Language Models? An Extensive Study [92.62952504133926]
  本研究は,3つの一般的なベンチマーク上で,3つの主要なクローズドソースLLMと6つの人気のあるオープンソースLLMの性能評価を行った。 間違ったコードに対するバグの分類を開発し、一般的なバグタイプに対する根本原因を分析した。 本稿では,自己批判を導入し,LLMが生成したコードに対する批判と修正を可能にする,新たな学習自由反復手法を提案する。
  論文  参考訳（メタデータ） (2024-07-08T17:27:17Z)
• CLLMs: Consistency Large Language Models [18.17892007267927]
  Jacobiデコーディングは、従来の自己回帰(AR)デコーディングと比較して、ほとんどスピードアップしない。 ヤコビ軌道上の任意の状態から固定点への高速収束を実現するための新しいアプローチを開発する。
  論文  参考訳（メタデータ） (2024-02-28T20:17:04Z)
• Confident Adaptive Language Modeling [95.45272377648773]
  CALMは、入力と生成時間ごとに異なる量の計算を動的に割り当てるフレームワークである。 ハイパフォーマンスを確実に維持しつつ、計算能力、潜在的スピードアップを最大3ドルまで削減する上で、我々のフレームワークの有効性を実証する。
  論文  参考訳（メタデータ） (2022-07-14T17:00:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。