論文の概要: Don't Transform the Code, Code the Transforms: Towards Precise Code Rewriting using LLMs
- arxiv url: http://arxiv.org/abs/2410.08806v1
- Date: Fri, 11 Oct 2024 13:45:16 GMT
- ステータス: 処理完了
- システム内更新日: 2024-10-30 21:55:57.982717
- Title: Don't Transform the Code, Code the Transforms: Towards Precise Code Rewriting using LLMs
- Title(参考訳): コード変換しないで、コード変換する - LLMを使った精密コード書き換えを目指して
- Authors: Chris Cummins, Volker Seeker, Jordi Armengol-Estapé, Aram H. Markosyan, Gabriel Synnaeve, Hugh Leather,
- Abstract要約: 本稿では,入力/出力コード例からコード変換を合成するチェーン・オブ・シント手法を提案する。
直接書き換えアプローチとは異なり、LCM生成した変換は検査、デバッグ、検証が容易である。
コード変換を実行するのに必要な計算量は、LLM書き換えの計算に比べて数分である。
- 参考スコア(独自算出の注目度): 21.16250850254339
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Tools for rewriting, refactoring and optimizing code should be fast and correct. Large language models (LLMs), by their nature, possess neither of these qualities. Yet, there remains tremendous opportunity in using LLMs to improve code. We explore the use of LLMs not to transform code, but to code transforms. We propose a chain-of-thought approach to synthesizing code transformations from a small number of input/output code examples that incorporates execution and feedback. Unlike the direct rewrite approach, LLM-generated transformations are easy to inspect, debug, and validate. The logic of the rewrite is explicitly coded and easy to adapt. The compute required to run code transformations is minute compared to that of LLM rewriting. We test our approach on 16 Python code transformations and find that LLM- generated transforms are perfectly precise for 7 of them and less imprecise than direct LLM rewriting on the others. We hope to encourage further research to improving the precision of LLM code rewriting.
- Abstract(参考訳): コードを書き直し、リファクタリングし、最適化するためのツールは、速くて正しいべきです。
大型言語モデル (LLM) は、その性質上、これらの性質は持っていない。
しかし、コードを改善するのにLLMを使うことには大きなチャンスがあります。
コード変換ではなくコード変換にLLMを使うことについて検討する。
本稿では,実行とフィードバックを取り入れた少数のインプット/アウトプットコード例から,コード変換を合成する連鎖的アプローチを提案する。
直接書き換えアプローチとは異なり、LCM生成した変換は検査、デバッグ、検証が容易である。
書き直しのロジックは明示的にコード化され、容易に適応できます。
コード変換を実行するのに必要な計算量は、LLM書き換えの計算に比べて数分である。
我々は16のPythonコード変換に対するアプローチを検証したところ、LLM生成した変換は7つの変換に対して完全に正確であり、他の変換に対して直接LLM書き換えを行うよりも正確ではないことがわかった。
LLMコード書き換えの精度を改善するために、さらなる研究を奨励したいと考えています。
関連論文リスト
- EPiC: Cost-effective Search-based Prompt Engineering of LLMs for Code Generation [8.009881267479189]
大規模言語モデル(LLM)は、特にコード生成において、様々なソフトウェア開発タスクで利用が増加している。
我々は、コードのための進化的プロンプトエンジニアリング(EPiC)という別のアプローチを提案し、高品質なコードを生成するより良いプロンプトに向けて、元のプロンプトを進化させる。
最先端(SOTA)LLMベースのコード生成モデルに対する評価は,コスト効率の観点から,EPiCがすべてのベースラインを上回っていることを示している。
論文 参考訳(メタデータ) (2024-08-20T21:15:36Z) - InverseCoder: Unleashing the Power of Instruction-Tuned Code LLMs with Inverse-Instruct [43.7550233177368]
本稿では,逆ではなくコードスニペットからの命令を要約したINVERSE-INSTRUCTを提案する。
InverseCoder というコード LLM のシリーズを提示する。これは、広範囲のベンチマークにおいて、元のコード LLM のパフォーマンスを上回ります。
論文 参考訳(メタデータ) (2024-07-08T08:00:05Z) - Exploring the Capabilities of LLMs for Code Change Related Tasks [14.261870410238643]
大規模言語モデル(LLM)は、コードに関連するタスクにおいてその効果を示す。
LLMは2つのコードバージョンの違いよりも、一般的なコード構文とセマンティクスに重点を置いている。
我々は,3つのコード変更関連タスクに対して,テキストグレーター1BパラメータLPMを用いた実証的研究を行った。
論文 参考訳(メタデータ) (2024-07-03T05:49:18Z) - Training LLMs to Better Self-Debug and Explain Code [36.604898865514365]
LLMの自己ソース能力を大幅に向上するトレーニングフレームワークを提案する。
コード説明と改良のための高品質なデータセットを収集する自動パイプラインを提案する。
我々は、新しい報酬設計で、成功と失敗の軌跡の両方について、教師付き微調整(SFT)およびさらに強化学習(RL)を行う。
論文 参考訳(メタデータ) (2024-05-28T23:20:24Z) - Uncovering LLM-Generated Code: A Zero-Shot Synthetic Code Detector via Code Rewriting [78.48355455324688]
そこで本研究では,コードと書き直された変種との類似性に基づいて,ゼロショット合成符号検出器を提案する。
以上の結果から,既存のテキスト用合成コンテンツ検出装置よりも顕著な向上が見られた。
論文 参考訳(メタデータ) (2024-05-25T08:57:28Z) - Assured LLM-Based Software Engineering [51.003878077888686]
この記事では,2024年4月15日にポルトガルのリスボンで開催された International Workshop on Interpretability, Robustness, and Benchmarking in Neural Software Engineering で,Mark Harman 氏による基調講演の内容の概要を紹介する。
論文 参考訳(メタデータ) (2024-02-06T20:38:46Z) - Code Prompting Elicits Conditional Reasoning Abilities in Text+Code LLMs [65.2379940117181]
自然言語の問題をコードに変換する一連のプロンプトであるコードプロンプトを導入します。
コードプロンプトは複数のLLMに対して高速に向上することがわかった。
GPT 3.5を解析した結果,入力問題のコードフォーマッティングが性能向上に不可欠であることが判明した。
論文 参考訳(メタデータ) (2024-01-18T15:32:24Z) - Mutation-based Consistency Testing for Evaluating the Code Understanding
Capability of LLMs [5.549095839198671]
大きな言語モデル(LLM)は、自然言語とプログラミング言語の両方を処理する際、顕著な能力を示している。
本稿では,LLMのコード理解性能を評価する新しい手法を提案し,特にコードと記述の微妙な差異に着目した。
演算子置換やステートメント削除など,さまざまなタイプのコード突然変異を適用して,一貫性のないコード記述ペアを生成する。
我々は,現在最先端のコード生成ベンチマークであるHumanEval-Xを用いて,GPT-3.5とGPT-4の2つのLLMのケーススタディを行う。
論文 参考訳(メタデータ) (2024-01-11T14:27:43Z) - LLMRefine: Pinpointing and Refining Large Language Models via Fine-Grained Actionable Feedback [65.84061725174269]
最近の大規模言語モデル(LLM)は、世代品質を改善するために人間のフィードバックを活用している。
LLMの出力を最適化する推論時間最適化手法であるLLMRefineを提案する。
機械翻訳、長文質問応答(QA)、話題要約を含む3つのテキスト生成タスクについて実験を行った。
LLMRefineは、すべてのベースラインアプローチを一貫して上回り、翻訳タスクの1.7 MetricXポイント、ASQAの8.1 ROUGE-L、トピックの要約の2.2 ROUGE-Lの改善を実現している。
論文 参考訳(メタデータ) (2023-11-15T19:52:11Z) - LLatrieval: LLM-Verified Retrieval for Verifiable Generation [67.93134176912477]
検証可能な生成は、大きな言語モデル(LLM)がドキュメントをサポートするテキストを生成することを目的としている。
本稿では,LLatrieval (Large Language Model Verified Retrieval)を提案する。
実験により、LLatrievalは幅広いベースラインを著しく上回り、最先端の結果が得られることが示された。
論文 参考訳(メタデータ) (2023-11-14T01:38:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。