論文の概要: ReGAL: Refactoring Programs to Discover Generalizable Abstractions
- arxiv url: http://arxiv.org/abs/2401.16467v1
- Date: Mon, 29 Jan 2024 18:45:30 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-31 17:28:52.151891
- Title: ReGAL: Refactoring Programs to Discover Generalizable Abstractions
- Title(参考訳): ReGAL: 一般化可能な抽象化を発見するためのリファクタリングプログラム
- Authors: Elias Stengel-Eskin, Archiki Prasad, Mohit Bansal
- Abstract要約: Generalizable Abstraction Learning (ReGAL)は、コードカプセル化によって再利用可能な関数のライブラリを学ぶ方法である。
ReGALによって発見された共有関数ライブラリは、プログラムが様々な領域で容易に予測できることを示している。
CodeLlama-13Bでは、ReGALはグラフィックスで11.5%、日付理解で26.1%、MinecraftベースのテキストゲームであるTextCraftで8.1%という絶対的な精度向上を実現している。
- 参考スコア(独自算出の注目度): 66.37493420911979
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: While large language models (LLMs) are increasingly being used for program
synthesis, they lack the global view needed to develop useful abstractions;
they generally predict programs one at a time, often repeating the same
functionality. Generating redundant code from scratch is both inefficient and
error-prone. To address this, we propose Refactoring for Generalizable
Abstraction Learning (ReGAL), a gradient-free method for learning a library of
reusable functions via code refactorization, i.e. restructuring code without
changing its execution output. ReGAL learns from a small set of existing
programs, iteratively verifying and refining its abstractions via execution. We
find that the shared function libraries discovered by ReGAL make programs
easier to predict across diverse domains. On three datasets (LOGO graphics
generation, Date reasoning, and TextCraft, a Minecraft-based text game), both
open-source and proprietary LLMs improve in accuracy when predicting programs
with ReGAL functions. For CodeLlama-13B, ReGAL results in absolute accuracy
increases of 11.5% on graphics, 26.1% on date understanding, and 8.1% on
TextCraft, outperforming GPT-3.5 in two of three domains. Our analysis reveals
ReGAL's abstractions encapsulate frequently-used subroutines as well as
environment dynamics.
- Abstract(参考訳): 大きな言語モデル(LLM)は、プログラム合成にますます使われているが、有用な抽象化を開発するのに必要なグローバルな視点は欠如している。
スクラッチから冗長コードを生成することは、非効率かつエラーを起こします。
そこで本研究では,コードリファクタリングを通じて再利用可能な関数のライブラリを学習するための勾配フリーな手法であるgeneralizable abstract learning (regal) のリファクタリングを提案する。
ReGALは,既存のプログラムの小さなセットから学び,実行を通じて抽象化を反復的に検証し,精査する。
regalによって発見された共有関数ライブラリは、プログラムを様々なドメインにまたがって予測しやすくする。
3つのデータセット(LOGOグラフィックス生成、日付推論、MinecraftベースのテキストゲームであるTextCraft)では、オープンソースのLLMとプロプライエタリなLLMの両方が、ReGAL関数を持つプログラムを予測する際に精度が向上する。
CodeLlama-13Bでは、ReGALはグラフィックスで11.5%、日付理解で26.1%、TextCraftで8.1%という絶対精度が向上し、3つのドメインのうち2つでGPT-3.5を上回った。
解析の結果,regalの抽象化は,頻繁に使用されるサブルーチンと環境ダイナミクスをカプセル化することが明らかとなった。
関連論文リスト
- Investigating the Transferability of Code Repair for Low-Resource Programming Languages [57.62712191540067]
大規模言語モデル(LLM)は、コード生成タスクにおいて顕著なパフォーマンスを示している。
近年の作業は、連鎖推論や蒸留といった現代的な技術を統合することで、コード修復のプロセスを強化している。
高低資源言語と低低資源言語の両方でコード修復を蒸留する利点について検討する。
論文 参考訳(メタデータ) (2024-06-21T05:05:39Z) - Learning to Reason via Program Generation, Emulation, and Search [33.11955431589091]
言語モデル(LM)によるプログラム合成は、多くの推論能力を解放した。
すべての推論タスクは、コードとして容易に表現できるわけではない。例えば、常識的推論、道徳的意思決定、皮肉な理解を含むタスクである。
我々は,プログラム合成スキルをこのようなタスクに拡張するために,コード生成とエミュレートされた実行(CoGEX)を提案する。
論文 参考訳(メタデータ) (2024-05-25T19:40:50Z) - LLM-Assisted Code Cleaning For Training Accurate Code Generators [53.087019724256606]
コードの品質を調査した結果,より構造化され,読みやすくなれば,コード生成性能が向上することがわかった。
私たちは、これらの原則を使って既存のプログラムを変換する、新しいデータクリーニングパイプラインを構築します。
提案手法を2つのアルゴリズムコード生成ベンチマークで評価した結果,微調整のCodeLLaMa-7Bでは,元のデータセットの微調整に比べて最大30%性能が向上していることがわかった。
論文 参考訳(メタデータ) (2023-11-25T02:45:50Z) - Refactoring Programs Using Large Language Models with Few-Shot Examples [20.48175387745551]
ユーザ記述型Pythonプログラムのより複雑なバージョンを提案するために,大規模言語モデル (LLM) である GPT-3.5 を用いることを実演する。
95.68%のプログラムは、それぞれ10の候補を発生させ、結果として平均的なサイクロマティックな複雑さが17.35%減少することを示した。
論文 参考訳(メタデータ) (2023-11-20T11:43:45Z) - LILO: Learning Interpretable Libraries by Compressing and Documenting Code [71.55208585024198]
LILOは、反復的に合成、圧縮、文書化を行う、ニューロシンボリックなフレームワークである。
LILOは、LLM誘導プログラム合成と、Stitchから自動化された最近のアルゴリズムの進歩を組み合わせたものである。
LILOのシンセサイザーが学習した抽象化を解釈し、デプロイするのを手助けすることで、AutoDocがパフォーマンスを向上させることが分かりました。
論文 参考訳(メタデータ) (2023-10-30T17:55:02Z) - Improving Unsupervised Visual Program Inference with Code Rewriting
Families [21.515789221802493]
視覚データからプログラムを推論するシステムを改善するために,コード書き換えがいかに役立つかを示す。
教師なしブートストラップ学習のためのフレームワークであるSparse Intermittent Rewrite Injection (SIRI)を提案する。
我々は、パラメータ最適化、コードプルーニング、コードグラフトといった、ビジュアルプログラミング領域のための書き換え器のファミリーを設計する。
論文 参考訳(メタデータ) (2023-09-26T14:44:48Z) - Learning logic programs by discovering higher-order abstractions [20.57989636488575]
我々は高次最適化問題を導入する。
目標は、高階の抽象化を発見して論理プログラムを圧縮することである。
我々はこの問題を制約問題として定式化するStevieにアプローチを実装した。
論文 参考訳(メタデータ) (2023-08-16T12:50:10Z) - CONCORD: Clone-aware Contrastive Learning for Source Code [64.51161487524436]
セルフ教師付き事前トレーニングは、多くのダウンストリームSEタスクに価値のあるジェネリックコード表現を学ぶための牽引役になった。
汎用的な表現学習のために、開発者が日々どのようにコードをコーディングするかは、要因としても不可欠である、と私たちは主張する。
特に,表現空間に良性クローンを近づける自己教師型コントラスト学習戦略であるCONCORDを提案する。
論文 参考訳(メタデータ) (2023-06-05T20:39:08Z) - Leveraging Language to Learn Program Abstractions and Search Heuristics [66.28391181268645]
LAPS(Language for Abstraction and Program Search)は、自然言語アノテーションを用いて、ライブラリとニューラルネットワークによる合成のための検索モデルの共同学習をガイドする手法である。
最先端のライブラリ学習システム(DreamCoder)に統合されると、LAPSは高品質なライブラリを生成し、検索効率と一般化を改善する。
論文 参考訳(メタデータ) (2021-06-18T15:08:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。