論文の概要: Multi-task LLMs for Bug Classification: Efficient Inference with Auxiliary Decoding Heads
- arxiv url: http://arxiv.org/abs/2606.09956v1
- Date: Mon, 08 Jun 2026 11:15:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-10 15:40:58.087157
- Title: Multi-task LLMs for Bug Classification: Efficient Inference with Auxiliary Decoding Heads
- Title（参考訳）: バグ分類のためのマルチタスクLCM:補助復号ヘッドを用いた効率的な推論
- Abstract要約: 3つの重要なコントリビューションを通じて制限に対処する,新しいラインレベルのバグローカライゼーションアプローチを導入する。
本手法は,行レベルのバグローカライゼーションとフルファイルコンテキストの類似した設定において,最先端の性能を実現する。
受け入れ次第、コード、モデル、データセットをオープンソースにします。
- 参考スコア（独自算出の注目度）: 0.25720523258095185
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: The rapid adoption of LLM-powered code generation has dramatically accelerated software development, yet effective verification methods remain severely underdeveloped. Existing bug localization techniques are either prohibitively expensive, requiring minutes of agentic reasoning and thousands of generated tokens per file, and/or operate at coarse function-level granularity unsuitable for precise debugging. While works that focus on line-level granularity and are more light-weight are often limited in their performance or context size. We introduce a novel line-level bug localization approach that addresses these limitations through three key contributions: (1) a token alignment algorithm that overcomes fundamental tokenization challenges in previous work, (2) a lightweight multi-task LLM for bug localization (MLC) enabling efficient line-level bug classification, and (3) an optimized training recipe for multi-line prediction. Our method achieves state-of-the-art performance among similar setups on line-level bug localization with full-file context. At the same time we reach comparable performance to agentic approaches on Defects4J and PypiBugs benchmarks while reducing inference latency by orders of magnitudes, requiring only a single generated token per file. We further demonstrate strong generalization by introducing and evaluating on a small out-of-domain evaluation datasets in Python. We will open source our code, models, and datasets upon acceptance.
- Abstract（参考訳）: LLMによるコード生成の急速な普及は、ソフトウェア開発を劇的に加速させたが、効果的な検証手法はいまだに未開発のままである。
既存のバグローカライゼーション技術は非常に高価で、エージェントによる推論に数分を要し、1ファイルあたり数千のトークンを生成し、/または、正確なデバッグには適さない関数レベルの粗い粒度で操作する。
ラインレベルの粒度にフォーカスし、より軽量な作業は、パフォーマンスやコンテキストサイズに制限されることが多い。
本稿では,(1)従来の作業における基本的なトークン化課題を克服するトークンアライメントアルゴリズム,(2)効率的なラインレベルのバグ分類を実現するための軽量マルチタスクLSM,(3)マルチライン予測のための最適化されたトレーニングレシピ,という3つの重要な貢献を通じて,これらの制限に対処する新しいラインレベルのバグローカライゼーションアプローチを紹介する。
本手法は,行レベルのバグローカライゼーションとフルファイルコンテキストの類似した設定において,最先端の性能を実現する。
同時に、Defects4JとPypiBugsベンチマークのエージェント的アプローチと同等のパフォーマンスに到達します。
さらに、Pythonの小さな領域外評価データセットを導入し、評価することで、強力な一般化を実証する。
受け入れ次第、コード、モデル、データセットをオープンソースにします。
関連論文リスト
- ClarifyCodeBench: Evaluating LLMs on Clarifying Ambiguous Requirements for Code Generation [54.788849448970154]
我々はClarifyCodeBenchを紹介した。ClarifyCodeBenchは、要求のあいまいさを解決するためのLarge Language Modelsの機能を評価するための、インタラクティブなベンチマークだ。
ClarifyCodeBenchを用いて、6つの最先端LCMの体系的評価を行う。
1) 能力の疎結合: 強いコード生成性能は本質的には効果的な要求の明確化に変換されない; 2) 推論パラドックス: 計算思考の増大はコードの正確性を高めるが、あいまいさの識別において限界的な利益をもたらす。
論文 参考訳（メタデータ） (2026-07-01T09:58:59Z) - An Empirical Evaluation of Locally Deployed LLMs for Bug Detection in Python Code [0.0]
大規模言語モデル(LLM)は、幅広いソフトウェアエンジニアリングタスクにおいて強力なパフォーマンスを示している。
LLaMA 3.2 と Mistral という2つのローカルにデプロイされた LLM を実世界のPython バグ検出のために体系的に評価した。
機能レベルでのゼロショットプロンプトアプローチと,キーワードベースの自動評価フレームワークを用いて,17プロジェクトにわたる349のバグを評価した。
論文 参考訳（メタデータ） (2026-04-25T16:05:30Z) - HIPPO: Accelerating Video Large Language Models Inference via Holistic-aware Parallel Speculative Decoding [48.55833840968632]
投機的復号化は、出力品質を犠牲にすることなくLSM推論を加速するための有望なアプローチとして登場した。
提案するHIPPOは,汎用的な並列投機復号化フレームワークである。
6つのベンチマークで4つのビデオLLMの実験では、HIPPOの有効性が示され、最大3.51倍のスピードアップが達成された。
論文 参考訳（メタデータ） (2026-01-13T07:02:43Z) - Fine-Tuning Causal LLMs for Text Classification: Embedding-Based vs. Instruction-Based Approaches [0.0]
我々は、リソース制約下での下流テキスト分類のためのLLM(Large Language Models)を微調整する戦略について検討する。
1)事前訓練した因果LLMに分類ヘッドをアタッチしてタスクを微調整し,(2)分類のためのプロンプト>応答形式でLSMを指導する,という2つの手法を検討した。
論文 参考訳（メタデータ） (2025-12-14T13:02:06Z) - GLiClass: Generalist Lightweight Model for Sequence Classification Tasks [49.2639069781367]
本稿では,シーケンス分類タスクにGLiNERアーキテクチャを適用する新しい手法であるGLiClassを提案する。
提案手法は,ゼロショットおよび少数ショット学習シナリオに必要な柔軟性を維持しつつ,埋め込み方式に匹敵する高い精度と効率を実現する。
論文 参考訳（メタデータ） (2025-08-11T06:22:25Z) - LLM-Based Detection of Tangled Code Changes for Higher-Quality Method-Level Bug Datasets [8.166584296080805]
本稿では,コミットメッセージとメソッドレベルのコード差分の両方を活用することで,絡み合ったコード変化を検出するための大規模言語モデルの有用性について検討する。
その結果,コミットメッセージとコード差分を組み合わせることで,モデルの性能が著しく向上することがわかった。
49のオープンソースプロジェクトにアプローチを適用することで、バグギーと非バグギーメソッド間のコードのメトリクスの分散分離性が向上します。
論文 参考訳（メタデータ） (2025-05-13T06:26:13Z) - Fast Controlled Generation from Language Models with Adaptive Weighted Rejection Sampling [90.86991492288487]
トークンの制約を評価するのは 違法にコストがかかる
LCDは文字列上のグローバル分布を歪め、ローカル情報のみに基づいてトークンをサンプリングすることができる。
我々のアプローチは最先端のベースラインよりも優れていることを示す。
論文 参考訳（メタデータ） (2025-04-07T18:30:18Z) - Teaching Your Models to Understand Code via Focal Preference Alignment [70.71693365502212]
既存の手法では、テストケースの成功率に基づいてn個の候補解が評価される。
このアプローチは、特定のエラーを特定するのではなく、失敗するコードブロック全体を整列するので、意味のあるエラーと訂正の関係を捉えるのに必要な粒度が欠けている。
我々は、人間の反復デバッグを模倣してコードLLMを洗練させる新しい優先順位調整フレームワークであるTarget-DPOを提案する。
論文 参考訳（メタデータ） (2025-03-04T16:56:34Z) - PATCH: Empowering Large Language Model with Programmer-Intent Guidance and Collaborative-Behavior Simulation for Automatic Bug Fixing [34.768989900184636]
バグ修正は、ソフトウェア開発とメンテナンスにおいて重要な意味を持つ。
最近の研究は、ソフトウェアバグを自動的に解決する大規模言語モデル(LLM)の可能性を探ることに大きく貢献している。
論文 参考訳（メタデータ） (2025-01-27T15:43:04Z) - What's Wrong with Your Code Generated by Large Language Models? An Extensive Study [92.62952504133926]
本研究は,3つの一般的なベンチマーク上で,3つの主要なクローズドソースLLMと6つの人気のあるオープンソースLLMの性能評価を行った。
間違ったコードに対するバグの分類を開発し、一般的なバグタイプに対する根本原因を分析した。
本稿では,自己批判を導入し,LLMが生成したコードに対する批判と修正を可能にする,新たな学習自由反復手法を提案する。
論文 参考訳（メタデータ） (2024-07-08T17:27:17Z) - AgentFL: Scaling LLM-based Fault Localization to Project-Level Context [11.147750199280813]
本稿では,ChatGPTに基づくマルチエージェントシステムであるAgentFLについて述べる。
人間の開発者の振る舞いをシミュレートすることで、AgentFLはFLタスクを3段階のプロセスとしてモデル化する。
広く使用されているDefects4J-V1.2.0ベンチマークの評価は、AgentFLがTop-1内の395のバグのうち157をローカライズできることを示している。
論文 参考訳（メタデータ） (2024-03-25T01:58:19Z) - CLLMs: Consistency Large Language Models [18.17892007267927]
Jacobiデコーディングは、従来の自己回帰(AR)デコーディングと比較して、ほとんどスピードアップしない。
ヤコビ軌道上の任意の状態から固定点への高速収束を実現するための新しいアプローチを開発する。
論文 参考訳（メタデータ） (2024-02-28T20:17:04Z) - Confident Adaptive Language Modeling [95.45272377648773]
CALMは、入力と生成時間ごとに異なる量の計算を動的に割り当てるフレームワークである。
ハイパフォーマンスを確実に維持しつつ、計算能力、潜在的スピードアップを最大3ドルまで削減する上で、我々のフレームワークの有効性を実証する。
論文 参考訳（メタデータ） (2022-07-14T17:00:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。