論文の概要: Knowledge-Enhanced Program Repair for Data Science Code
- arxiv url: http://arxiv.org/abs/2502.09771v1
- Date: Thu, 13 Feb 2025 21:00:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-17 14:47:13.995723
- Title: Knowledge-Enhanced Program Repair for Data Science Code
- Title(参考訳): データサイエンスコードの知識向上プログラム修復
- Authors: Shuyin Ouyang, Jie M. Zhang, Zeyu Sun, Albert Merono Penuela,
- Abstract要約: DSrepair(DSrepair)は、LLMがデータサイエンス領域で生成したバグコードを修正するために設計された、知識に富んだプログラム修復手法である。
DSrepairは、API知識検索のための知識グラフベースのRAGと、LCMの修復プロンプトを構築するためのバグ知識の強化に使用されている。
- 参考スコア(独自算出の注目度): 10.151171702724074
- License:
- Abstract: This paper introduces DSrepair, a knowledge-enhanced program repair method designed to repair the buggy code generated by LLMs in the data science domain. DSrepair uses knowledge graph based RAG for API knowledge retrieval as well as bug knowledge enrichment to construct repair prompts for LLMs. Specifically, to enable knowledge graph based API retrieval, we construct DS-KG (Data Science Knowledge Graph) for widely used data science libraries. For bug knowledge enrichment, we employ an abstract syntax tree (AST) to localize errors at the AST node level. DSrepair's effectiveness is evaluated against five state-of-the-art LLM-based repair baselines using four advanced LLMs on the DS-1000 dataset. The results show that DSrepair surpasses all five baselines. Specifically, when compared to the second-best baseline, DSrepair demonstrates significant improvements, fixing 44.4%, 14.2%, 20.6%, and 32.1% more buggy code snippets for each of the four evaluated LLMs, respectively. Additionally, it achieves greater efficiency, reducing the number of tokens required per code task by 17.49%, 34.24%, 24.71%, and 17.59%, respectively.
- Abstract(参考訳): 本稿では,データサイエンス分野におけるLSMが生成するバグコードを修正するための知識強化型プログラム修復手法であるDSrepairを紹介する。
DSrepairは、API知識検索のための知識グラフベースのRAGと、LCMの修復プロンプトを構築するためのバグ知識の強化に使用されている。
具体的には、知識グラフに基づくAPI検索を可能にするために、広く使われているデータサイエンスライブラリ向けのDS-KG(Data Science Knowledge Graph)を構築する。
バグ知識の充実のために、ASTノードレベルでエラーをローカライズするために抽象構文木(AST)を使用します。
DS-1000データセット上の4つの高度なLCMを用いて、最先端のLCMベースの5つの修復ベースラインに対してDSrepairの有効性を評価する。
その結果、DSrepairは5つのベースライン全てを上回ることがわかった。
具体的には、第2位のベースラインと比較すると、DSrepairは44.4%、14.2%、20.6%、32.1%のバグコードスニペットをそれぞれ修正した。
さらに、コードタスクあたりに必要なトークン数を17.49%、34.24%、24.71%、17.59%削減する。
関連論文リスト
- Enhancing Fault Localization Through Ordered Code Analysis with LLM Agents and Self-Reflection [8.22737389683156]
大規模言語モデル(LLM)は、コード理解と推論を強化することによって、フォールトローカライゼーションの有望な改善を提供する。
LLM4FL は,SBFL ランキングと配当戦略を統合した新しい LLM4FL の故障局所化手法である。
以上の結果から,LLM4FLはTop-1の精度でAutoFLを19.27%上回り,DeepFLやGraceといった最先端の監視技術を上回っていることがわかった。
論文 参考訳(メタデータ) (2024-09-20T16:47:34Z) - CREF: An LLM-based Conversational Software Repair Framework for Programming Tutors [8.415004837059863]
既存の修復ベンチマークがLSMのトレーニングデータに影響を与え、データ漏洩を引き起こす可能性があることを認識することが重要である。
本研究は,TutorCode上の12LLMの補修性能,補修精度(TOP-5およびAVG-5)およびパッチ精度(RPSR)を評価する。
LLMの会話能力と強化情報の利点をフル活用するために,人間の教師を支援する対話型半自動修復フレームワークCREFを導入する。
論文 参考訳(メタデータ) (2024-06-20T03:36:34Z) - Supportiveness-based Knowledge Rewriting for Retrieval-augmented Language Modeling [65.72918416258219]
支援性に基づく知識書き換え(SKR)は、LLM生成に本質的に最適化された堅牢でプラガブルな知識書き換えである。
知識支援に基づき、まず、リライターモデルのためのトレーニングデータキュレーション戦略を設計する。
次に、生成したリライトを最適な支持度に調整するために、直接選好最適化(DPO)アルゴリズムを導入する。
論文 参考訳(メタデータ) (2024-06-12T11:52:35Z) - How Far Can We Go with Practical Function-Level Program Repair? [11.71750828464698]
本稿では,少数ショット学習機構と補修関連情報が機能レベルAPRに及ぼす影響について検討する。
補修関連情報のパワーを活用するために,デュアルLLM フレームワークを採用した LLM ベースの関数レベル APR 手法,すなわち SRepair を提案する。
論文 参考訳(メタデータ) (2024-04-19T12:14:09Z) - Aligning the Objective of LLM-based Program Repair [14.935596175148586]
本稿では,大規模言語モデル (LLM) をプログラム修復に適用するための新しいアプローチについて検討する。
我々の中核的な洞察は、LLMのAPR能力は、単にトレーニング目標に出力を合わせるだけで大幅に改善できるということです。
この知見に基づいて、我々はAPRの直接的なプロンプトフレームワークであるD4Cを設計した。
論文 参考訳(メタデータ) (2024-04-13T02:36:40Z) - Unsupervised Information Refinement Training of Large Language Models for Retrieval-Augmented Generation [128.01050030936028]
InFO-RAG という情報改質訓練手法を提案する。
InFO-RAGは低コストで、様々なタスクにまたがっている。
LLaMA2の性能を平均9.39%向上させる。
論文 参考訳(メタデータ) (2024-02-28T08:24:38Z) - Hint-before-Solving Prompting: Guiding LLMs to Effectively Utilize
Encoded Knowledge [85.17343729885003]
我々は,Hint-before-Solving Prompting (HSP)を導入し,その問題を解くためのヒントを生成する。
HSPは推論タスクの精度を効果的に向上させることができる。
我々はHSPと細調整されたLlemma-7Bに基づいてHSPMATHデータセットを構築し、64.3精度を達成した。
論文 参考訳(メタデータ) (2024-02-22T05:58:03Z) - Learning to Edit: Aligning LLMs with Knowledge Editing [101.96620267293731]
本稿では,大規模言語モデルに新たな知識を入力問題に適用する学習 to LTE(Learning to Edit)フレームワークを提案する。
LTEには2段階のプロセスがある: (i) アライメントフェーズ(アライメントフェーズ)。
LTEの知識編集性能の優位性、バッチおよびシーケンシャルな編集の堅牢性、一般的なタスクに対する最小限の干渉、高速な編集速度を示す。
論文 参考訳(メタデータ) (2024-02-19T07:45:17Z) - The Earth is Flat? Unveiling Factual Errors in Large Language Models [89.94270049334479]
ChatGPTのような大規模言語モデル(LLM)は、事前学習や微調整の知識が豊富にあるため、様々な応用がある。
それにもかかわらず、医療、ジャーナリズム、教育といった重要な分野に懸念を抱き、事実と常識の誤りを引き起こす傾向にある。
LLMにおける事実不正確な事実を明らかにすることを目的とした,新しい自動テストフレームワークであるFactCheckerを紹介する。
論文 参考訳(メタデータ) (2024-01-01T14:02:27Z) - Large Language Models in Fault Localisation [32.87044163543427]
本稿では,2つの最先端LCMであるChatGPT-3.5とChatGPT-4が断層局所化に与える影響について検討する。
関数レベルのコンテキストでは、ChatGPT-4は既存のすべてのフォールトローカライゼーションメソッドより優れています。
しかし、Defects4Jデータセットのコードコンテキストがクラスレベルに拡張されると、ChatGPT-4のパフォーマンスは大幅に低下する。
論文 参考訳(メタデータ) (2023-08-29T13:07:27Z) - Improving Deep Learning for HAR with shallow LSTMs [70.94062293989832]
本稿では,DeepConvLSTMを2層LSTMではなく1層LSTMに変更することを提案する。
この結果は、シーケンシャルデータを扱う場合、少なくとも2層LSTMが必要であるという信念とは対照的である。
論文 参考訳(メタデータ) (2021-08-02T08:14:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。