論文の概要: FlexFL: Flexible and Effective Fault Localization with Open-Source Large Language Models

• arxiv url: http://arxiv.org/abs/2411.10714v1
• Date: Sat, 16 Nov 2024 06:08:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-19 14:34:57.226994
• Title: FlexFL: Flexible and Effective Fault Localization with Open-Source Large Language Models
• Title（参考訳）: FlexFL: オープンソースの大規模言語モデルによるフレキシブルで効果的なフォールトローカライゼーション
• Authors: Chuyang Xu, Zhongxin Liu, Xiaoxue Ren, Gehao Zhang, Ming Liang, David Lo,
• Abstract要約: 我々は,FlexFL という新しい LLM ベースのFL フレームワークを提案し,様々な種類のバグ関連情報を柔軟に活用する。 軽量なオープンソースのLLM Llama3-8Bを持つFlexFLは、2つの最先端のLLMベースのFLアプローチであるAutoFLとAgentFLよりも42と63のバグを発見できることを示す。
• 参考スコア（独自算出の注目度）: 11.86369546251309
• License:
• Abstract: Due to the impressive code comprehension ability of Large Language Models (LLMs), a few studies have proposed to leverage LLMs to locate bugs, i.e., LLM-based FL, and demonstrated promising performance. However, first, these methods are limited in flexibility. They rely on bug-triggering test cases to perform FL and cannot make use of other available bug-related information, e.g., bug reports. Second, they are built upon proprietary LLMs, which are, although powerful, confronted with risks in data privacy. To address these limitations, we propose a novel LLM-based FL framework named FlexFL, which can flexibly leverage different types of bug-related information and effectively work with open-source LLMs. FlexFL is composed of two stages. In the first stage, FlexFL reduces the search space of buggy code using state-of-the-art FL techniques of different families and provides a candidate list of bug-related methods. In the second stage, FlexFL leverages LLMs to delve deeper to double-check the code snippets of methods suggested by the first stage and refine fault localization results. In each stage, FlexFL constructs agents based on open-source LLMs, which share the same pipeline that does not postulate any type of bug-related information and can interact with function calls without the out-of-the-box capability. Extensive experimental results on Defects4J demonstrate that FlexFL outperforms the baselines and can work with different open-source LLMs. Specifically, FlexFL with a lightweight open-source LLM Llama3-8B can locate 42 and 63 more bugs than two state-of-the-art LLM-based FL approaches AutoFL and AgentFL that both use GPT-3.5.
• Abstract（参考訳）: LLM(Large Language Models)の印象的なコード理解能力のため、LLMを利用してバグを見つけるためのいくつかの研究が提案されている。 しかし、まず、これらの手法は柔軟性に制限されている。 彼らはFLを実行するためにバグトリガテストケースに依存しており、バグレポートなど他の利用可能なバグ関連情報を利用できない。 第2に、データプライバシのリスクに直面する強力なものの、プロプライエタリなLLM上に構築されている。 これらの制約に対処するために,FlexFL という新しい LLM ベースのFL フレームワークを提案する。 FlexFLは2つのステージで構成されています。 最初の段階では、FlexFLは、さまざまなファミリーの最先端のFL技術を用いて、バグ関連コードの検索スペースを減らし、バグ関連メソッドの候補リストを提供する。 2段目では、FlexFLはLSMを活用してより深く掘り下げ、第一段で提案されたメソッドのコードスニペットをダブルチェックし、フォールトローカライゼーション結果を洗練します。 各ステージにおいてFlexFLは、いかなる種類のバグ関連情報も仮定せず、アウト・オブ・ザ・ボックス機能なしで関数呼び出しと対話できる同じパイプラインを共有するオープンソースのLLMに基づいてエージェントを構築する。 Defects4Jの大規模な実験結果によると、FlexFLはベースラインを上回り、異なるオープンソース LLM で動作する。 具体的には、軽量なオープンソースのLLM Llama3-8Bを持つFlexFLは、GPT-3.5を使用する2つの最先端のLLMベースのFLアプローチであるAutoFLとAgentFLよりも42と63のバグを見つけることができる。

関連論文リスト

• Enhancing Fault Localization Through Ordered Code Analysis with LLM Agents and Self-Reflection [8.22737389683156]
  大規模言語モデル(LLM)は、コード理解と推論を強化することによって、フォールトローカライゼーションの有望な改善を提供する。 LLM4FL は,SBFL ランキングと配当戦略を統合した新しい LLM4FL の故障局所化手法である。 以上の結果から,LLM4FLはTop-1の精度でAutoFLを19.27%上回り,DeepFLやGraceといった最先端の監視技術を上回っていることがわかった。
  論文  参考訳（メタデータ） (2024-09-20T16:47:34Z)
• Leveraging Open-Source Large Language Models for Native Language Identification [1.6267479602370543]
  ネイティブ言語識別(NLI)は、法医学、マーケティング、第二言語習得に応用されている。 本研究では,オープンソース生成型大規模言語モデル(LLM)をNLIに適用する可能性について検討する。
  論文  参考訳（メタデータ） (2024-09-15T08:14:18Z)
• Extend Model Merging from Fine-Tuned to Pre-Trained Large Language Models via Weight Disentanglement [72.97553348776425]
  我々は、FTからPT LLMへのマージ技術の適用性を拡大するための先駆的な取り組みを行っている。 WeIght DisENtanglement (WIDEN) に基づくアプローチを導入し、マージ範囲を効果的に拡張する。 Qwen1.5-Chat (FT LLM with instruction-following skills) と Sailor (PT LLM with multilingual abilities) を7Bおよび14Bモデルスケールにマージする。
  論文  参考訳（メタデータ） (2024-08-06T10:46:46Z)
• FOFO: A Benchmark to Evaluate LLMs' Format-Following Capability [70.84333325049123]
  FoFoは、大規模言語モデル(LLM)の複雑なドメイン固有のフォーマットに従う能力を評価するための先駆的なベンチマークである。 本稿では,大規模言語モデル(LLM)の複雑なドメイン固有フォーマットに従う能力を評価するための先駆的ベンチマークであるFoFoを提案する。
  論文  参考訳（メタデータ） (2024-02-28T19:23:27Z)
• Knowledge Fusion of Large Language Models [73.28202188100646]
  本稿では,大規模言語モデル(LLM)における知識融合の概念を紹介する。 我々は、それらの集合的知識と独特な強みを外部化し、それによってターゲットモデルの能力が、どのソースLLMよりも高められるようにします。 この結果から,LLMの融合により,推論やコモンセンス,コード生成など,対象モデルの性能が向上することが確認された。
  論文  参考訳（メタデータ） (2024-01-19T05:02:46Z)
• FederatedScope-LLM: A Comprehensive Package for Fine-tuning Large Language Models in Federated Learning [70.38817963253034]
  本稿では, ファインチューニング LLM のこれらの課題について論じ, 本パッケージ FS-LLM を主な貢献として紹介する。 我々は、FLシナリオにおける将来の拡張のために、包括的フェデレーションパラメータ効率の良い微調整アルゴリズムの実装と汎用プログラミングインタフェースを提供する。 本研究では, FS-LLM の有効性を検証し, FL 設定におけるパラメータ効率の高いパラメータ調整アルゴリズムを用いて, 高度な LLM のベンチマークを行う。
  論文  参考訳（メタデータ） (2023-09-01T09:40:36Z)
• A Quantitative and Qualitative Evaluation of LLM-Based Explainable Fault Localization [12.80414941523501]
  AutoFLは、提案された障害位置とともに、バグの説明を生成する。 JavaとPythonの798の現実世界のバグの実験では、AutoFLはメソッドレベルのcc@1を、ベースライン上で最大233.3%改善した。
  論文  参考訳（メタデータ） (2023-08-10T10:26:55Z)
• Integration of Large Language Models and Federated Learning [58.9876604258949]
  本稿では,LLMとFLの融合を3つの部分に分割する研究フレームワークを提案する。 まず,LLMの領域とFLを組み合わせた研究の現状について概説する。 次に、医療、金融、教育などの重要なシナリオにおけるLLMとFLの組み合わせの実践的応用について論じる。
  論文  参考訳（メタデータ） (2023-07-18T02:09:14Z)
• LLM-Pruner: On the Structural Pruning of Large Language Models [65.02607075556742]
  大規模言語モデル(LLM)は、言語理解と生成において顕著な能力を示している。 タスク非依存であり、元のトレーニングデータセットへの依存を最小限に抑えるという2つの制約の範囲内でLLMの圧縮に取り組む。 LLM-Prunerという名前のこの手法は、非臨界結合構造を選択的に除去する構造プルーニングを採用する。
  論文  参考訳（メタデータ） (2023-05-19T12:10:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。