論文の概要: MTLLM: LLMs are Meaning-Typed Code Constructs
- arxiv url: http://arxiv.org/abs/2405.08965v2
- Date: Mon, 14 Oct 2024 21:20:40 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-16 13:57:40.567374
- Title: MTLLM: LLMs are Meaning-Typed Code Constructs
- Title(参考訳): MTLLM: LLMは意味型コード構造
- Authors: Jason Mars, Yiping Kang, Jayanaka L. Dantanarayana, Chandra Irugalbandara, Kugesan Sivasothynathan, Christopher Clarke, Baichuan Li, Lingjia Tang,
- Abstract要約: 本稿では,大規模言語モデル(LLM)をプログラミングに統合するための簡易なアプローチを提案する。
提案手法は,従来のプログラミング言語と自然言語を自動的に翻訳するために,既存のプログラムのセマンティック・リッチネスを利用する。
そこで本研究では,SOTA LLMソフトウェア開発ツールと比較し,本手法の完全機能および実運用レベルの実装について述べる。
- 参考スコア(独自算出の注目度): 7.749453456370407
- License:
- Abstract: Programming with Generative AI (GenAI) models, which frequently involves using large language models (LLMs) to accomplish specific functionalities, has experienced significant growth in adoption. However, it remains a complex process, as developers often need to manually configure text inputs for LLMs, a practice known as prompt engineering, and subsequently translate the natural language outputs produced by LLMs back into symbolic code representations (values, types, etc.) that the code can understand. Although some infrastructures are proposed to facilitate prompt engineering, these tools are often complex and challenging for developers to adopt. Instead, this paper presents a simplified approach to integrating LLMs into programming through the introduction of an abstraction layer that hides the complexity of gluing traditional programming and LLMs together. Our approach utilizes the semantic richness in existing programs to automatically translate between the traditional programming languages and the natural language understood by LLMs, eliminating developer efforts such as prompt engineering, decreasing the overall complexity. Specifically in this paper, we design three novel code constructs coupled with an automated runtime management system that bridges the gap between traditional symbolic code and LLMs. We present a fully functional and production-grade implementation for our approach and compare it to SOTA LLM software development tools. We present real-world case studies demonstrating the efficacy of our proposed abstraction that seamlessly utilizes LLMs to solve problems in place of potentially complex traditional programming logic.
- Abstract(参考訳): ジェネレーティブAI(GenAI)モデルによるプログラミングは、大きな言語モデル(LLM)を特定の機能を達成するために使用することが多いが、採用が著しく伸びている。
しかし、開発者はしばしば、プロンプトエンジニアリングとして知られる LLM のテキスト入力を手動で設定し、その後 LLM が生成した自然言語出力を、コードが理解できるシンボリックなコード表現(値、型など)に変換する必要があるため、複雑なプロセスである。
いくつかのインフラストラクチャは、迅速なエンジニアリングを促進するために提案されているが、これらのツールは、しばしば複雑で、開発者が採用するのは難しい。
そこで本論文では,従来のプログラミングとLLMを結合する複雑性を隠蔽する抽象レイヤを導入することで,LLMをプログラミングに統合するための簡易なアプローチを提案する。
提案手法では,従来のプログラミング言語とLLMが理解する自然言語の自動翻訳に,既存のプログラムのセマンティック・リッチネスを利用する。
本稿では,従来のシンボルコードとLLMのギャップを埋める自動実行管理システムと組み合わせて,新しい3つのコード構造を設計する。
そこで本研究では,SOTA LLMソフトウェア開発ツールと比較し,本手法の完全機能および実運用レベルの実装について述べる。
本稿では,LLMをシームレスに利用して,潜在的に複雑なプログラミングロジックの代わりに問題を解く抽象化の有効性を実世界のケーススタディで実証する。
関連論文リスト
- Cognitive Modeling with Scaffolded LLMs: A Case Study of Referential Expression Generation [5.5711773076846365]
本稿では,参照表現生成のアルゴリズム的認知モデルのニューラルシンボリック実装について検討する。
私たちのハイブリッドアプローチは認知的に妥当であり、複雑な状況下ではうまく機能します。
論文 参考訳(メタデータ) (2024-07-04T10:28:48Z) - Synthetic Programming Elicitation and Repair for Text-to-Code in Very Low-Resource Programming Languages [21.18996339478024]
SPEAC(emphsynthetic programming elicitation and compilation)を紹介する。
SPEACは意味的正当性を犠牲にすることなく、構文的正当性プログラムをはるかに頻繁に生成する。
ケーススタディにおいて,SPEACの性能を実証的に評価し,既存の検索基準や微調整基準と比較すると,SPEACは構文的に正しいプログラムをかなり頻繁に生成することがわかった。
論文 参考訳(メタデータ) (2024-06-05T22:16:19Z) - CodeGRAG: Extracting Composed Syntax Graphs for Retrieval Augmented Cross-Lingual Code Generation [60.799992690487336]
単一ラウンドのコード生成タスクにおいて,LLMの性能を向上させるための構文グラフ検索コード生成(CodeGRAG)を提案する。
CodeGRAGはLLMのコード生成能力を大幅に改善し、言語間コード生成のパフォーマンス向上も実現している。
論文 参考訳(メタデータ) (2024-05-03T02:48:55Z) - CodeIP: A Grammar-Guided Multi-Bit Watermark for Large Language Models of Code [59.32609948217718]
我々は,Large Language Models(LLM)ベースのコード生成のための新しい透かし技術であるCodeIPを提案する。
CodeIPは、生成されたコードのセマンティクスを保持しながら、マルチビット情報の挿入を可能にする。
論文 参考訳(メタデータ) (2024-04-24T04:25:04Z) - LILO: Learning Interpretable Libraries by Compressing and Documenting Code [71.55208585024198]
LILOは、反復的に合成、圧縮、文書化を行う、ニューロシンボリックなフレームワークである。
LILOは、LLM誘導プログラム合成と、Stitchから自動化された最近のアルゴリズムの進歩を組み合わせたものである。
LILOのシンセサイザーが学習した抽象化を解釈し、デプロイするのを手助けすることで、AutoDocがパフォーマンスを向上させることが分かりました。
論文 参考訳(メタデータ) (2023-10-30T17:55:02Z) - Bridging Code Semantic and LLMs: Semantic Chain-of-Thought Prompting for
Code Generation [22.219645213202178]
本稿では,SeCoT というコードの意味情報を抽出する "Semantic Chain-of-Thought" 手法を提案する。
本研究では,SeCoTが最先端の性能を実現し,大規模モデルやコード生成の可能性を大幅に向上させることを示す。
論文 参考訳(メタデータ) (2023-10-16T05:09:58Z) - Coding by Design: GPT-4 empowers Agile Model Driven Development [0.03683202928838613]
この研究は、アジャイルモデル駆動開発(MDD)アプローチを提供し、OpenAIのGPT-4を使ってコードの自動生成を強化する。
私たちの研究は、現行のMDDメソッドへの重要な貢献として"アジリティ"を強調しています。
最終的に、GPT-4を利用して、最後のレイヤはJavaとPythonの両方でコードを自動生成します。
論文 参考訳(メタデータ) (2023-10-06T15:05:05Z) - Scope is all you need: Transforming LLMs for HPC Code [5.0227775038998415]
本稿では,HPCにおける前処理やコンパイル中心のタスクに特化して設計された,Tokompilerという新しいトークン機構を提案する。
Tokompilerは言語プリミティブの知識を活用して、言語指向のトークンを生成し、コード構造をコンテキスト対応で理解する。
その結果、Tokompilerは従来のトークン化ツールに比べてコード補完精度と意味理解を著しく向上させることがわかった。
論文 参考訳(メタデータ) (2023-08-18T10:12:03Z) - CodeTF: One-stop Transformer Library for State-of-the-art Code LLM [72.1638273937025]
我々は、最先端のCode LLMとコードインテリジェンスのためのオープンソースのTransformerベースのライブラリであるCodeTFを紹介する。
我々のライブラリは、事前訓練されたコードLLMモデルと人気のあるコードベンチマークのコレクションをサポートします。
CodeTFが機械学習/生成AIとソフトウェア工学のギャップを埋められることを願っている。
論文 参考訳(メタデータ) (2023-05-31T05:24:48Z) - Augmented Language Models: a Survey [55.965967655575454]
この調査は、言語モデル(LM)が推論スキルとツールの使用能力で強化されているかのレビューを行う。
私たちはこれらをAugmented Language Models (ALMs)と呼ぶ。
トークンの目的の欠如により、ALMは標準的な自然言語タスクを実行しながら、推論、ツールの使用、さらには行動を学ぶことができる。
論文 参考訳(メタデータ) (2023-02-15T18:25:52Z) - Language Models of Code are Few-Shot Commonsense Learners [106.1531522893209]
自然言語入力が与えられた場合、目標はイベントや推論グラフなどのグラフを生成することだ。
既存のアプローチは、出力グラフをノードとエッジのフラットリストとしてシリアライズする。
コード生成タスクとして構造化コモンセンス推論タスクをフレーム化する場合、事前学習されたコードLMは自然言語のLMよりも構造化コモンセンス推論タスクの方が優れていることを示す。
論文 参考訳(メタデータ) (2022-10-13T16:09:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。