論文の概要: LintEval: Benchmarking LLMs on Linter-Guided File Refactoring
- arxiv url: http://arxiv.org/abs/2610.20027v1
- Date: Wed, 14 Oct 2026 11:36:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-15 21:06:16.126349
- Title: LintEval: Benchmarking LLMs on Linter-Guided File Refactoring
- Title（参考訳）: LintEval: Linter-Guided File Refactoring上でのLLMのベンチマーク
- Abstract要約: 私たちはLintEvalを紹介します。LintEvalは、C++、Python、Javaにまたがるlinter-guidedファイルのベンチマークです。
機能保存、lintアラートの削減、新しいアラート回避、最小限の編集を共同で評価する。
クローズドソースの商用モデルは90.4%のReduce@Pに達するが、67.1%-68.3%のPass@1しか達成していない。
- 参考スコア（独自算出の注目度）: 10.998500313970354
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Linters are widely used in code maintenance and real-time IDE editing to surface lint alerts related to performance, style, error-prone, and other patterns in source files. However, existing code benchmarks do not explicitly evaluate linter-guided file refactoring, where models must reduce lint alerts in source files with correct initial functionality while satisfying functionality preservation. We introduce LintEval, a multilingual benchmark for linter-guided file refactoring across C++, Python, and Java, comprising 13,061 programs with correct initial functionality and 171,662 lint alerts extracted using language-specific linters. LintEval jointly evaluates functionality preservation, lint alert reduction, new alert avoidance, and edit minimality. Experiments reveal a persistent trade-off: closed-source commercial models reach up to 90.4% Reduction@P but achieve only 67.1%-68.3% Pass@1, while several open-source small models show low or negative Reduction@P. A controlled fine-tuning study further shows that supervision format matters: refactoring-oriented SFT raises Qwen2.5-Coder-7B Reduction@P from 24.7% to 76.0%. LintEval enables controlled evaluation of models that improve source files under functionality preservation.
- Abstract（参考訳）: リンタはコードメンテナンスやリアルタイムIDE編集で広く使われており、ソースファイル内のパフォーマンス、スタイル、エラー発生、その他のパターンに関するリンタ警告をサーフェスする。
しかし、既存のコードベンチマークでは、linter-guidedファイルのリファクタリングを明示的に評価していない。
我々はLintEvalを紹介した。LintEvalは、C++、Python、Javaにまたがるlinter-guidedファイルリファクタリングのための多言語ベンチマークで、13,061のプログラムと言語固有のlinterを使って171,662のlintアラートを抽出する。
LintEvalは機能保存、lintアラートの削減、新しいアラート回避、最小限の編集を共同で評価する。
クローズドソースの商用モデルは90.4%のReduce@Pに達するが、67.1%-68.3%のPass@1しか達成していない。
リファクタリング指向のSFTはQwen2.5-Coder-7B Reduction@Pを24.7%から76.0%に引き上げます。
LintEvalは、機能保存下でソースファイルを改善するモデルの評価制御を可能にする。
関連論文リスト
- Verication-driven closed-loop multi-agent large language modelframework for code-compliant structural design [4.011805372961053]
マルチエージェント大言語モデル(LLM)システムは構造設計に適用され、ほとんどの場合ワンショット生成を使用し、出力を検証できない。
このフレームワークは、外部物理ベースの検証器からのフィードバックをクローズドな修復ループに注入する。
論文 参考訳（メタデータ） (2026-08-08T07:26:44Z) - An Execution-Verified Multi-Language Benchmark for Code Semantic Reasoning [10.815335026032377]
TraceEvalは、コードセマンティック推論のための最初の実行検証されたマルチ言語ベンチマークである。
TraceEvalは、Python、JavaScript、Javaにまたがる1,600以上のオープンソースリポジトリから抽出された10,583の現実世界プログラムで構成されている。
最も強いClaude-Opus-4.6は、3つの言語で平均72.9%のF1に達する。
論文 参考訳（メタデータ） (2026-05-10T07:17:00Z) - Correct Code, Vulnerable Dependencies: A Large Scale Measurement Study of LLM-Specified Library Versions [52.50730821321986]
大規模言語モデル(LLM)におけるバージョンレベルのリスクの大規模評価を初めて行った。
我々は1000のStack OverflowプログラミングタスクのベンチマークであるPinTrace上で10のLLMを評価した。
LLM バージョン選択は LLM ベース開発における第1級, 以前は見落とされたリスクサーフェスとして確認された。
論文 参考訳（メタデータ） (2026-05-07T13:52:59Z) - Constraint-Guided Multi-Agent Decompilation for Executable Binary Recovery [47.704311990064554]
脱コンパイルは、セキュリティ分析、マルウェアのリバースエンジニアリング、レガシーソフトウェアメンテナンスに不可欠である。
マルチレベル制約誘導型デコンパイル(MCGD)により,デコンパイルされたコードを再実行可能なソースに変換するマルチエージェントフレームワークを提案する。
本フレームワークは,84～97%の再実行性を実現し,28～89ポイントのベースラインデコンパイラ出力を改善した。
論文 参考訳（メタデータ） (2026-04-27T01:28:11Z) - D-LiFT: Improving LLM-based Decompiler Backend via Code Quality-driven Fine-tuning [49.16469288280772]
逆コンパイラは、バイナリから可読なソースコードを再構築する。
近年の進歩にもかかわらず、そのアウトプットは構文上の誤りや意味的な誤りに悩まされ、読みにくいままである。
大規模言語モデル (LLMs) の出現により、研究者は逆コンパイラ出力を洗練するためのLLMの可能性を探り始めた。
D-LIFTは、微調整強化学習を施した拡張逆コンパイラLLMパイプラインである。
論文 参考訳（メタデータ） (2025-06-11T19:09:08Z) - LLM-Based Detection of Tangled Code Changes for Higher-Quality Method-Level Bug Datasets [8.166584296080805]
本稿では,コミットメッセージとメソッドレベルのコード差分の両方を活用することで,絡み合ったコード変化を検出するための大規模言語モデルの有用性について検討する。
その結果,コミットメッセージとコード差分を組み合わせることで,モデルの性能が著しく向上することがわかった。
49のオープンソースプロジェクトにアプローチを適用することで、バグギーと非バグギーメソッド間のコードのメトリクスの分散分離性が向上します。
論文 参考訳（メタデータ） (2025-05-13T06:26:13Z) - ReF Decompile: Relabeling and Function Call Enhanced Decompile [50.86228893636785]
逆コンパイルの目標は、コンパイルされた低レベルコード(アセンブリコードなど)を高レベルプログラミング言語に変換することである。
このタスクは、脆弱性識別、マルウェア分析、レガシーソフトウェアマイグレーションなど、さまざまなリバースエンジニアリングアプリケーションをサポートする。
論文 参考訳（メタデータ） (2025-02-17T12:38:57Z) - Utilizing Precise and Complete Code Context to Guide LLM in Automatic False Positive Mitigation [2.787944528438214]
静的アプリケーションセキュリティテスト(SAST)ツールは、ソフトウェア品質にとって重要なツールであり、開発中の潜在的なコード問題を特定する。
しばしば、手動でレビューし、開発を遅くする誤った肯定的な警告を発生させる。
本稿では,軽量かつ効率的な偽陽性緩和フレームワーク LLM4FPM を提案する。
論文 参考訳（メタデータ） (2024-11-05T13:24:56Z) - LLMs as Factual Reasoners: Insights from Existing Benchmarks and Beyond [135.8013388183257]
そこで我々は,SummEditsと呼ばれる10ドメインのベンチマークで不整合検出ベンチマークを作成し,実装する新しいプロトコルを提案する。
ほとんどのLLMはSummEditsで苦労しており、パフォーマンスはランダムに近い。
最も優れたモデルであるGPT-4は、推定された人間のパフォーマンスよりも8%低い。
論文 参考訳（メタデータ） (2023-05-23T21:50:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。