論文の概要: On Codex Prompt Engineering for OCL Generation: An Empirical Study
- arxiv url: http://arxiv.org/abs/2303.16244v1
- Date: Tue, 28 Mar 2023 18:50:51 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-30 17:11:12.866271
- Title: On Codex Prompt Engineering for OCL Generation: An Empirical Study
- Title(参考訳): OCL生成のためのコーデックスプロンプトエンジニアリングについて:実証的研究
- Authors: Seif Abukhalaf, Mohammad Hamdaqa, Foutse Khomh
- Abstract要約: Object Constraint Language (OCL)は、MOFモデルに制約とオブジェクトクエリ式を追加する宣言型言語である。
GPT-3のような最近のLPMの進歩は、多くのNLPタスクにおいてその能力を示している。
自然言語仕様からCodexが生成するOCL制約の信頼性について検討する。
- 参考スコア(独自算出の注目度): 10.184056098238765
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: The Object Constraint Language (OCL) is a declarative language that adds
constraints and object query expressions to MOF models. Despite its potential
to provide precision and conciseness to UML models, the unfamiliar syntax of
OCL has hindered its adoption. Recent advancements in LLMs, such as GPT-3, have
shown their capability in many NLP tasks, including semantic parsing and text
generation. Codex, a GPT-3 descendant, has been fine-tuned on publicly
available code from GitHub and can generate code in many programming languages.
We investigate the reliability of OCL constraints generated by Codex from
natural language specifications. To achieve this, we compiled a dataset of 15
UML models and 168 specifications and crafted a prompt template with slots to
populate with UML information and the target task, using both zero- and
few-shot learning methods. By measuring the syntactic validity and execution
accuracy metrics of the generated OCL constraints, we found that enriching the
prompts with UML information and enabling few-shot learning increases the
reliability of the generated OCL constraints. Furthermore, the results reveal a
close similarity based on sentence embedding between the generated OCL
constraints and the human-written ones in the ground truth, implying a level of
clarity and understandability in the generated OCL constraints by Codex.
- Abstract(参考訳): Object Constraint Language (OCL)は、MOFモデルに制約とオブジェクトクエリ式を追加する宣言型言語である。
UMLモデルに精度と簡潔性を提供する可能性にもかかわらず、OCLの馴染みのない構文は採用を妨げる。
GPT-3のような最近のLCMの進歩は、意味解析やテキスト生成を含む多くのNLPタスクにおいてその能力を示している。
gpt-3の子孫であるcodexはgithubから公開されているコードで微調整されており、多くのプログラミング言語でコードを生成することができる。
自然言語仕様からCodexが生成するOCL制約の信頼性について検討する。
これを実現するために、15のUMLモデルと168の仕様のデータセットをコンパイルし、ゼロショットと少数ショットの両方の学習手法を用いて、UML情報とターゲットタスクを投入するためのスロット付きプロンプトテンプレートを作成しました。
生成したOCL制約の構文的妥当性と実行精度の測定により,UML情報によるプロンプトの充実と,少数ショット学習の実現により,生成されたOCL制約の信頼性が向上することを発見した。
さらに, 生成したOCL制約と人間による制約との文の埋め込みから, コーデックスによる生成したOCL制約の明快さと理解可能性のレベルを示唆する文との密接な類似性を明らかにした。
関連論文リスト
- Perplexed: Understanding When Large Language Models are Confused [3.4208414448496027]
本稿では,言語モデルが複雑になる場所を探索するライブラリであるperplexedを紹介する。
Codetokenizerと呼ばれるコードモデルの解析を支援するために構築した追加ツールを使用して、コード生成のためのLLM(Large Language Models)に焦点を当てたケーススタディを実施しました。
我々の研究したコードLLMは、コードが構文的に正しくないコーディング構造において、最悪のパフォーマンスを示しました。
論文 参考訳(メタデータ) (2024-04-09T22:03:39Z) - DEEP-ICL: Definition-Enriched Experts for Language Model In-Context
Learning [61.85871109164743]
大規模言語モデル(LLM)におけるパラメータの多さは、コンテキスト内学習(ICL)の能力を促進すると長い間考えられてきた。
ICL のための新しいタスク定義拡張 ExPert Ensembling Method である DEEP-ICL を紹介する。
ICLの改善はモデルのサイズに直接依存するのではなく、基本的にはタスク定義やタスク誘導学習の理解に起因している、と我々は主張する。
論文 参考訳(メタデータ) (2024-03-07T05:26:41Z) - Guiding LLMs The Right Way: Fast, Non-Invasive Constrained Generation [7.687678490751105]
我々は、プリ計算と投機的復号化を利用して、ほとんどオーバーヘッドが無く、場合によっては、制約のない復号化よりも約2$times$のスピードアップを達成できる新しい復号アルゴリズムDOMINOを提案する。
論文 参考訳(メタデータ) (2024-02-07T13:36:02Z) - If LLM Is the Wizard, Then Code Is the Wand: A Survey on How Code
Empowers Large Language Models to Serve as Intelligent Agents [81.60906807941188]
大型言語モデル(LLM)は、自然言語と形式言語(コード)の組み合わせに基づいて訓練される
コードは、標準構文、論理一貫性、抽象化、モジュール性を備えた高レベルの目標を実行可能なステップに変換する。
論文 参考訳(メタデータ) (2024-01-01T16:51:20Z) - FollowBench: A Multi-level Fine-grained Constraints Following Benchmark
for Large Language Models [82.27118457984812]
FollowBenchは、大規模言語モデルのベンチマークに続くきめ細かい制約のベンチマークである。
本稿では,初期命令に段階的に1つの制約を付加するマルチレベル機構を提案する。
FollowBench 上での10 つの LLM の評価により,LLM の弱さを強調し,今後の研究への道のりを示唆する。
論文 参考訳(メタデータ) (2023-10-31T12:32:38Z) - Evaluating, Understanding, and Improving Constrained Text Generation for Large Language Models [49.74036826946397]
本研究では,大言語モデル(LLM)の制約付きテキスト生成について検討する。
本研究は主に,制約を語彙型,構造型,関係型に分類するオープンソース LLM に重点を置いている。
その結果、LLMの能力と不足を照らし、制約を取り入れ、制約付きテキスト生成における将来の発展に対する洞察を提供する。
論文 参考訳(メタデータ) (2023-10-25T03:58:49Z) - Can Large Language Models Understand Real-World Complex Instructions? [54.86632921036983]
大型言語モデル(LLM)は人間の指示を理解することができるが、複雑な命令には耐えられない。
既存のベンチマークでは、LLMが複雑な命令を理解する能力を評価するには不十分である。
複雑な命令を体系的に追従するLSMの能力を評価するためのベンチマークであるCellOを提案する。
論文 参考訳(メタデータ) (2023-09-17T04:18:39Z) - Inductive-bias Learning: Generating Code Models with Large Language
Model [0.0]
大規模言語モデル(LLM)は、インコンテキスト学習(ICL)と呼ばれる能力によって注目を集めている。
Inductive-Bias Learning (IBL)'と呼ばれる新しい学習手法を提案する。
論文 参考訳(メタデータ) (2023-08-19T03:01:45Z) - The potential of LLMs for coding with low-resource and domain-specific
programming languages [0.0]
本研究は,オープンソースソフトウェアGreetlのハンスル(Hansl)という,econometricスクリプティング言語に焦点を当てたものである。
この結果から, LLMはグレタブルコードの記述, 理解, 改善, 文書化に有用なツールであることが示唆された。
論文 参考訳(メタデータ) (2023-07-24T17:17:13Z) - LLM-Pruner: On the Structural Pruning of Large Language Models [65.02607075556742]
大規模言語モデル(LLM)は、言語理解と生成において顕著な能力を示している。
タスク非依存であり、元のトレーニングデータセットへの依存を最小限に抑えるという2つの制約の範囲内でLLMの圧縮に取り組む。
LLM-Prunerという名前のこの手法は、非臨界結合構造を選択的に除去する構造プルーニングを採用する。
論文 参考訳(メタデータ) (2023-05-19T12:10:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。