論文の概要: SieveFL: Hierarchical Runtime-Aware Pruning for Scalable LLM-Based Fault Localization

• arxiv url: http://arxiv.org/abs/2605.13491v1
• Date: Wed, 13 May 2026 13:16:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-14 23:30:28.064179
• Title: SieveFL: Hierarchical Runtime-Aware Pruning for Scalable LLM-Based Fault Localization
• Title（参考訳）: SieveFL: スケーラブルなLLMベースのフォールトローカライゼーションのための階層型ランタイム対応プルーニング
• Abstract要約: 自動障害ローカライゼーションは、観測されたテスト失敗を数千の候補にわたる責任あるメソッドに接続する必要がある。 攻撃的なLLM前フィルタリングによってこの緊張を解消する5段階階層型フレームワークであるSieveFLを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Automated fault localization requires connecting an observed test failure to the responsible method across thousands of candidates--a task that purely statistical approaches handle with limited precision and that LLMs cannot yet handle at full project scale due to prohibitive token cost and signal dilution. We present SieveFL, a five-stage hierarchical framework that resolves this tension through aggressive pre-LLM filtering. SieveFL converts a failing test into a natural-language failure description, uses dense vector retrieval to narrow the search to a small set of suspicious files, and then eliminates any method not executed during the failing test via JaCoCo runtime traces. Only the surviving candidates are passed to the LLM, which screens each method individually and re-ranks the confirmed suspects in a single comparative pass. We evaluate SieveFL on 395 bugs from Defects4J v1.2.0 using a mid-sized, openly available MoE model deployed on a commodity workstation (32 GB RAM, 8 GB GPU) via Ollama--no frontier APIs or datacenter hardware required. Treating 12 incomplete runs as failures, SieveFL achieves Top-1 accuracy of 41.8% (165/395 bugs) and an MRR of 0.469, outperforming the strongest prior agent-based baseline (AgentFL) by 2.1 pp in Top-1. Runtime pruning removes 79% of candidate methods and reduces input token consumption by 49%, while simultaneously improving ranking quality: Top-1 is preserved exactly and Top-3 through Top-10 improve by up to 2.4 pp. These results demonstrate that, with the right filtering architecture, capable fault localization does not require proprietary frontier models.
• Abstract（参考訳）: 自動障害ローカライゼーションは、観測されたテスト失敗を数千の候補にまたがる責任あるメソッドに接続する必要がある。 攻撃的なLLM前フィルタリングによってこの緊張を解消する5段階階層型フレームワークであるSieveFLを提案する。 SieveFLは、失敗するテストを自然言語の失敗記述に変換し、密度の高いベクトル検索を使用して、不審なファイルの小さなセットに絞り込み、JaCoCoランタイムトレースを介してフェールテスト中に実行されないメソッドを除去する。 生き残った候補のみがLSMに渡され、それぞれのメソッドを個別にスクリーニングし、確認された容疑者を1回の比較パスで再ランクする。 我々は、Defects4J v1.2.0の395のバグに対して、Ollama-no Frontier APIまたはデータセンターハードウェアを介して、コモディティワークステーション(32GB RAM、8GB GPU)にデプロイされた、中規模のオープンソースMoEモデルを使用してSieveFLを評価した。 12個の不完全な動作を障害として扱い、SieveFLはTop-1の精度を41.8%(165/395のバグ)で、MRRは0.469で、Top-1の2.1ppで最強のエージェントベースベースライン(AgentFL)を上回った。 実行時のプルーニングは、候補メソッドの79%を削除し、入力トークンの消費を49%削減すると同時に、ランキング品質も改善する。 これらの結果は、適切なフィルタリングアーキテクチャでは、有能なフォールトローカライゼーションはプロプライエタリなフロンティアモデルを必要としないことを示している。

関連論文リスト

• Free-Text Evaluation of LLMs for 5G Domain Knowledge and Fault Analysis using LLM-as-Judge [46.547776251310694]
  本稿では,5G領域の理解とフォールト解析を自由テキスト生成形式で評価する。 自由テキスト5Gドメイン知識と故障解析タスクに基づいて、3つの軽量LCM(Claude-Haiku-4.5, GPT-5.4-Mini, Gemini-3.1-Flash-Lite)を評価した。
  論文  参考訳（メタデータ） (2026-08-21T12:09:51Z)
• Measuring Five-Nines Reliability: Sample-Efficient LLM Evaluation in Saturated Benchmarks [45.86413490112477]
  大規模言語モデル(LLM)は信頼性に敏感なアプリケーションで使用される。 厳密な信頼境界を持つ稀な失敗確率を推定するには、違法に大きなLSM推論サイズが必要である。 そこで本研究では,クロスエントロピー手法を用いて,故障確率入力に集中したサンプリング分布を学習する。
  論文  参考訳（メタデータ） (2026-05-11T20:23:44Z)
• Correct Code, Vulnerable Dependencies: A Large Scale Measurement Study of LLM-Specified Library Versions [52.50730821321986]
  大規模言語モデル(LLM)におけるバージョンレベルのリスクの大規模評価を初めて行った。 我々は1000のStack OverflowプログラミングタスクのベンチマークであるPinTrace上で10のLLMを評価した。 LLM バージョン選択は LLM ベース開発における第1級, 以前は見落とされたリスクサーフェスとして確認された。
  論文  参考訳（メタデータ） (2026-05-07T13:52:59Z)
• Resource-Efficient Iterative LLM-Based NAS with Feedback Memory [49.44875022114861]
  ニューラルアーキテクチャサーチ(NAS)はネットワーク設計を自動化するが、従来の手法ではかなりの計算資源を必要とする。 本稿では,大規模言語モデル(LLM)を活用して,畳み込みニューラルネットワークアーキテクチャを反復的に生成し,評価し,洗練するクローズドループパイプラインを提案する。
  論文  参考訳（メタデータ） (2026-03-12T16:00:22Z)
• RefineBench: Evaluating Refinement Capability of Language Models via Checklists [71.02281792867531]
  本研究は,2つの改良モード(ガイドリファインメントと自己リファインメント)を評価する。 ガイド付き改良では、プロプライエタリなLMと大きなオープンウェイトLMの両方が目標フィードバックを利用して、5ターン以内のほぼ完全なレベルへの応答を洗練できる。 これらの結果は、フロンティアLMは誤った反応を自己調整するためにブレークスルーを必要とすることを示唆している。
  論文  参考訳（メタデータ） (2025-11-27T07:20:52Z)
• Black-Box Test Code Fault Localization Driven by Large Language Models and Execution Estimation [7.040370156228408]
  システムテストコードの欠陥ローカライゼーションのための,完全に静的なLLM駆動型アプローチを提案する。 私たちのメソッドは、テストの実行トレースを推定するために、単一障害実行ログを使用します。 事故事例の工業的データセットを用いて, 機能, ブロック, ラインレベルの評価を行った。
  論文  参考訳（メタデータ） (2025-06-23T19:04:51Z)
• MCTS-Refined CoT: High-Quality Fine-Tuning Data for LLM-Based Repository Issue Resolution [18.314436803012434]
  本稿では,モンテカルロ木探索(MCTS)に基づく中間推論ステップの動的検証と最適化を行うMCTS-INEを提案する。 SWE-bench LiteとSWE-bench Verifiedの実験は、我々のCoTデータセットで微調整されたLLMがベースラインよりも大幅に改善されたことを示す。
  論文  参考訳（メタデータ） (2025-06-15T05:42:01Z)
• LLM2: Let Large Language Models Harness System 2 Reasoning [65.89293674479907]
  大規模言語モデル(LLM)は、無数のタスクにまたがって印象的な機能を示してきたが、時には望ましくない出力が得られる。 本稿では LLM とプロセスベースの検証器を組み合わせた新しいフレームワーク LLM2 を紹介する。 LLMs2は妥当な候補を生成するのに責任を持ち、検証者は望ましい出力と望ましくない出力を区別するためにタイムリーなプロセスベースのフィードバックを提供する。
  論文  参考訳（メタデータ） (2024-12-29T06:32:36Z)
• Order Matters! An Empirical Study on Large Language Models' Input Order Bias in Software Fault Localization [17.03610523319531]
  本研究では,入力順序と文脈サイズが大規模言語モデル(LLM)の性能に及ぼす影響について検討する。 JavaプロジェクトのTop-1 FL精度は57%から20%に低下しますが、Pythonプロジェクトでは、コード順序を逆転すると38%から約3%に低下します。 入力を小さなコンテキストに分割することで、このバイアスを減らし、FLのパフォーマンスギャップを22%から6%に減らし、両方のベンチマークで1%に減らします。
  論文  参考訳（メタデータ） (2024-12-25T02:48:53Z)
• A Multi-Agent Approach to Fault Localization via Graph-Based Retrieval and Reflexion [8.22737389683156]
  従来のフォールトローカライゼーション技術は、広範なトレーニングデータセットと高い計算資源を必要とする。 大規模言語モデル(LLM)の最近の進歩は、コード理解と推論を強化することで、新たな機会を提供する。 LLM4FLは3つの特殊なLLMエージェントを利用するマルチエージェントの故障局所化フレームワークである。 14のJavaプロジェクトから675の障害を含むDefects4Jベンチマークで評価され、LLM4FLはAutoFLよりも18.55%、SoapFLより4.82%、Top-1の精度が18.55%向上した。
  論文  参考訳（メタデータ） (2024-09-20T16:47:34Z)
• Large Language Models for Test-Free Fault Localization [11.080712737595174]
  テストカバレッジ情報なしでバグの行を特定できる言語モデルに基づくフォールトローカライズ手法を提案する。 5億5000万、60億、160億のパラメータを持つ言語モデルを、手作業でキュレートされた小さなプログラムコーパスで微調整します。 実験により、LLMAOは最先端の機械学習フォールトローカライゼーション(MLFL)ベースラインを2.3%-54.4%改善し、トップ5の結果を14.4%-35.6%改善した。
  論文  参考訳（メタデータ） (2023-10-03T01:26:39Z)
• Large Language Models are Effective Text Rankers with Pairwise Ranking Prompting [65.00288634420812]
  Pairwise Ranking Prompting (PRP)は、大規模言語モデル(LLM)の負担を大幅に軽減する手法である。 本研究は,中等級のオープンソースLCMを用いた標準ベンチマークにおいて,最先端のランク付け性能を達成した文献としては初めてである。
  論文  参考訳（メタデータ） (2023-06-30T11:32:25Z)
• LLMs as Factual Reasoners: Insights from Existing Benchmarks and Beyond [135.8013388183257]
  そこで我々は,SummEditsと呼ばれる10ドメインのベンチマークで不整合検出ベンチマークを作成し,実装する新しいプロトコルを提案する。 ほとんどのLLMはSummEditsで苦労しており、パフォーマンスはランダムに近い。 最も優れたモデルであるGPT-4は、推定された人間のパフォーマンスよりも8%低い。
  論文  参考訳（メタデータ） (2023-05-23T21:50:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。