論文の概要: CigaR: Cost-efficient Program Repair with LLMs
- arxiv url: http://arxiv.org/abs/2402.06598v2
- Date: Thu, 18 Apr 2024 15:00:59 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-19 20:29:53.259648
- Title: CigaR: Cost-efficient Program Repair with LLMs
- Title(参考訳): CigaR:LLMによる費用効率の高いプログラム修復
- Authors: Dávid Hidvégi, Khashayar Etemadi, Sofia Bobadilla, Martin Monperrus,
- Abstract要約: CigaRはコスト効率のよいプログラム修復ツールで、パッチの自動生成に低数のトークンを使用する。
広く使用されているDefects4JとHumanEval-Javaデータセットの429のバグに関する実験は、CigaRがトークンコストを73%削減したことを示している。
- 参考スコア(独自算出の注目度): 8.017203108408975
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLM) have proven to be effective at automated program repair (APR). However, using LLMs can be costly, with companies invoicing users by the number of tokens. In this paper, we propose CigaR, the first LLM-based APR tool that focuses on minimizing the repair cost. CigaR works in two major steps: generating a first plausible patch and multiplying plausible patches. CigaR optimizes the prompts and the prompt setting to maximize the information given to LLMs using the smallest possible number of tokens. Our experiments on 429 bugs from the widely used Defects4J and HumanEval-Java datasets shows that CigaR reduces the token cost by 73%. On average, CigaR spends 127k tokens per bug while the baseline uses 467k tokens per bug. On the subset of bugs that are fixed by both, CigaR spends 20k per bug while the baseline uses 608k tokens, a cost saving of 96%. Our extensive experiments show that CigaR is a cost-effective LLM-based program repair tool that uses a low number of tokens to automatically generate patches.
- Abstract(参考訳): 大規模言語モデル(LLM)は自動プログラム修復(APR)に有効であることが証明されている。
しかし、LSMを使うことはコストがかかり、企業はトークンの数によってユーザを呼び出します。
本稿では,修復コストの最小化に焦点をあてた最初のLCMベースのAPRツールであるCigaRを提案する。
CigaRは、2つの主要なステップで機能する。
CigaRはプロンプトとプロンプト設定を最適化し、最小限のトークン数を用いてLLMに与えられる情報を最大化する。
広く使用されているDefects4JとHumanEval-Javaデータセットの429のバグに関する実験は、CigaRがトークンコストを73%削減したことを示している。
平均して、CigaRはバグ毎のトークンに127k、ベースラインはバグ毎のトークンに467kを使用する。
どちらも修正されたバグのサブセットでは、ベースラインが608kトークンを使用しており、コストの削減は96%である。
大規模な実験により,CigaRは低コストのLCMベースのプログラム修復ツールであり,少ない数のトークンを用いてパッチを自動的に生成することがわかった。
関連論文リスト
- Aligning LLMs for FL-free Program Repair [14.935596175148586]
本稿では,大規模言語モデル (LLM) をプログラム修復に適用するための新しいアプローチについて検討する。
我々の中核的な洞察は、LLMのAPR能力は、単にトレーニング目標に出力を合わせるだけで大幅に改善できるということです。
この知見に基づいて、我々はAPRの直接的なプロンプトフレームワークであるD4Cを設計した。
論文 参考訳(メタデータ) (2024-04-13T02:36:40Z) - Cost-Performance Optimization for Processing Low-Resource Language Tasks Using Commercial LLMs [45.44796295841526]
大規模言語モデル(LLM)は、高リソース言語(HRL)に対する印象的なゼロ/ファウショット推論と生成品質を示す。
いくつかは低リソース言語(LRL)でトレーニングされ、優れたパフォーマンスを実現しています。
LLM は HRL よりも LRL よりも多くのトークンを生成するため,LRL が価格面で不利であることを示す。
論文 参考訳(メタデータ) (2024-03-08T16:37:36Z) - A Novel Approach for Automatic Program Repair using Round-Trip
Translation with Large Language Models [50.86686630756207]
研究によると、ある文の文法的誤りは、それを他の言語に翻訳し、その語を返せば修正できる。
現在の自動プログラム修復(APR)生成モデルは、ソースコードで事前訓練され、修正のために微調整されている。
本稿では,あるプログラミング言語から別のプログラミング言語,あるいは自然言語へのコード変換,そして,その逆といった,微調整ステップをバイパスし,ラウンド・トリップ変換(RTT)を用いる手法を提案する。
論文 参考訳(メタデータ) (2024-01-15T22:36:31Z) - Rephrase and Respond: Let Large Language Models Ask Better Questions for Themselves [57.974103113675795]
本稿では,Rephrase and Respond'(RaR)という手法を提案する。
RaRは、パフォーマンスを改善するためのシンプルだが効果的なプロンプト方法として機能する。
また,RaRは理論的にも経験的にも,一般的なChain-of-Thought(CoT)法と相補的であることを示す。
論文 参考訳(メタデータ) (2023-11-07T18:43:34Z) - MCRepair: Multi-Chunk Program Repair via Patch Optimization with Buggy
Block [0.0]
本稿では,マルチコード修復(MCRepair)と呼ばれる新しいAPR手法を提案する。
Defects4Jを使った実験で、MCRepairは、21のマルチチャンクバグを含む65のバグを修復した。さらに、8のマルチチャンクバグを含む18のユニークなバグを修正し、ベースラインよりも40%から250パーセントパフォーマンスを改善した。
論文 参考訳(メタデータ) (2023-10-12T09:21:40Z) - SmoothLLM: Defending Large Language Models Against Jailbreaking Attacks [99.23352758320945]
SmoothLLMは,大規模言語モデル(LLM)に対するジェイルブレーキング攻撃を軽減するために設計された,最初のアルゴリズムである。
敵が生成したプロンプトが文字レベルの変化に対して脆弱であることから、我々の防衛はまず、与えられた入力プロンプトの複数のコピーをランダムに摂動し、対応する予測を集約し、敵の入力を検出する。
論文 参考訳(メタデータ) (2023-10-05T17:01:53Z) - Copiloting the Copilots: Fusing Large Language Models with Completion
Engines for Automated Program Repair [15.391586175711907]
大規模言語モデル(LLM)は、様々なコーディングタスクを開発者を支援する上で、"コパイロット"として有用であることが示されている。
修復プロセス中により有効なパッチを合成することにより、AIの"コパイロット"(すなわち、LLM)をさらに協調する一般的なコード生成フレームワークであるRepilotを提案する。
広く使用されているDefects4j 1.2と2.0データセットのサブセットに対する評価では、Repilotは、それぞれ27%と47%のバグを修正することで、最先端の技術よりも優れています。
論文 参考訳(メタデータ) (2023-09-01T17:54:14Z) - Keep the Conversation Going: Fixing 162 out of 337 bugs for $0.42 each
using ChatGPT [10.071615423169902]
自動プログラム修復(APR)は、バグギープログラムのパッチを自動的に生成することを目的としている。
最近のAPRの研究は、最新のLarge Language Models(LLM)を活用して、APRのパッチを直接生成することに重点を置いている。
最初に完全に自動化された会話駆動型APRアプローチであるChatRepairを提案する。
論文 参考訳(メタデータ) (2023-04-01T20:57:33Z) - FCM: Forgetful Causal Masking Makes Causal Language Models Better
Zero-Shot Learners [139.6321017962092]
本稿では,計算コストを増大させることなく,大規模言語モデルの性能を大幅に向上させる簡単な手法を提案する。
我々のキーとなる観察は、ランダムに選択された過去のトークンをマスクアウトした次のトークン予測タスクを実行することで、学習された表現の品質を向上させることができることである。
実験結果から,本手法は多種多様なタスクに対して,PALMのゼロおよび少数ショット性能も向上することが示された。
論文 参考訳(メタデータ) (2022-10-24T17:46:57Z) - ELECTRA: Pre-training Text Encoders as Discriminators Rather Than
Generators [108.3381301768299]
Masked Language Modeling (MLM) は、BERT のような事前学習手法で、いくつかのトークンを [MASK] に置き換えて、元のトークンを再構築するためにモデルをトレーニングすることで入力を破損させた。
代用トークン検出という,より効率的な事前学習タスクを提案する。
論文 参考訳(メタデータ) (2020-03-23T21:17:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。