論文の概要: On Codex Prompt Engineering for OCL Generation: An Empirical Study

• arxiv url: http://arxiv.org/abs/2303.16244v1
• Date: Tue, 28 Mar 2023 18:50:51 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-30 17:11:12.866271
• Title: On Codex Prompt Engineering for OCL Generation: An Empirical Study
• Title（参考訳）: OCL生成のためのコーデックスプロンプトエンジニアリングについて:実証的研究
• Authors: Seif Abukhalaf, Mohammad Hamdaqa, Foutse Khomh
• Abstract要約: Object Constraint Language (OCL)は、MOFモデルに制約とオブジェクトクエリ式を追加する宣言型言語である。 GPT-3のような最近のLPMの進歩は、多くのNLPタスクにおいてその能力を示している。 自然言語仕様からCodexが生成するOCL制約の信頼性について検討する。
• 参考スコア（独自算出の注目度）: 10.184056098238765
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: The Object Constraint Language (OCL) is a declarative language that adds constraints and object query expressions to MOF models. Despite its potential to provide precision and conciseness to UML models, the unfamiliar syntax of OCL has hindered its adoption. Recent advancements in LLMs, such as GPT-3, have shown their capability in many NLP tasks, including semantic parsing and text generation. Codex, a GPT-3 descendant, has been fine-tuned on publicly available code from GitHub and can generate code in many programming languages. We investigate the reliability of OCL constraints generated by Codex from natural language specifications. To achieve this, we compiled a dataset of 15 UML models and 168 specifications and crafted a prompt template with slots to populate with UML information and the target task, using both zero- and few-shot learning methods. By measuring the syntactic validity and execution accuracy metrics of the generated OCL constraints, we found that enriching the prompts with UML information and enabling few-shot learning increases the reliability of the generated OCL constraints. Furthermore, the results reveal a close similarity based on sentence embedding between the generated OCL constraints and the human-written ones in the ground truth, implying a level of clarity and understandability in the generated OCL constraints by Codex.
• Abstract（参考訳）: Object Constraint Language (OCL)は、MOFモデルに制約とオブジェクトクエリ式を追加する宣言型言語である。 UMLモデルに精度と簡潔性を提供する可能性にもかかわらず、OCLの馴染みのない構文は採用を妨げる。 GPT-3のような最近のLCMの進歩は、意味解析やテキスト生成を含む多くのNLPタスクにおいてその能力を示している。 gpt-3の子孫であるcodexはgithubから公開されているコードで微調整されており、多くのプログラミング言語でコードを生成することができる。 自然言語仕様からCodexが生成するOCL制約の信頼性について検討する。 これを実現するために、15のUMLモデルと168の仕様のデータセットをコンパイルし、ゼロショットと少数ショットの両方の学習手法を用いて、UML情報とターゲットタスクを投入するためのスロット付きプロンプトテンプレートを作成しました。 生成したOCL制約の構文的妥当性と実行精度の測定により,UML情報によるプロンプトの充実と,少数ショット学習の実現により,生成されたOCL制約の信頼性が向上することを発見した。 さらに, 生成したOCL制約と人間による制約との文の埋め込みから, コーデックスによる生成したOCL制約の明快さと理解可能性のレベルを示唆する文との密接な類似性を明らかにした。

関連論文リスト

• Linguistics Theory Meets LLM: Code-Switched Text Generation via Equivalence Constrained Large Language Models [16.82812708514889]
  1つの会話で2つ以上の言語を交互に交互に行うコードスイッチングは、自然言語処理(NLP)に特有の課題を提示する 既存の研究は構文的制約やニューラルジェネレーションに重点を置いており、言語理論を言語モデル(LLM)と統合して自然なコード変更テキストを生成する努力はほとんどない。 等価制約理論(ECT)とLLMを組み合わせた新しいフレームワークであるEZSwitchを導入する。
  論文  参考訳（メタデータ） (2024-10-30T03:03:32Z)
• ULLME: A Unified Framework for Large Language Model Embeddings with Generation-Augmented Learning [72.90823351726374]
  我々は,LLM間の双方向の注目を可能にする,柔軟でプラグアンドプレイな実装であるLULME(Unified framework for Large Language Model Embedding)を紹介した。 また,テキスト埋め込みタスクのLLMを向上する新しい微調整手法であるGRL(Generation-augmented Representation Learning)を提案する。 フレームワークの柔軟性と有効性を示すために、異なるバックボーンアーキテクチャを持つULLMEから事前訓練された3つのモデルをリリースする。
  論文  参考訳（メタデータ） (2024-08-06T18:53:54Z)
• Combining Constraint Programming Reasoning with Large Language Model Predictions [44.99833362998488]
  制約プログラミング(CP)と機械学習(ML)は、テキスト生成において課題に直面します。 本稿では,Large Language Model (LLM) をCPに組み込んだ手法を提案する。
  論文  参考訳（メタデータ） (2024-07-18T13:15:55Z)
• PathOCL: Path-Based Prompt Augmentation for OCL Generation with GPT-4 [10.564949684320727]
  本稿では,Object Constraint Language生成を容易にするために設計された新しいパスベースのプロンプト拡張技術であるPathOCLを紹介する。 以上の結果から,PathOCLは完全クラスモデル(UML-Augmentation)に比較して,有効かつ正しいOCL制約を多く生成することがわかった。
  論文  参考訳（メタデータ） (2024-05-21T02:00:54Z)
• If LLM Is the Wizard, Then Code Is the Wand: A Survey on How Code Empowers Large Language Models to Serve as Intelligent Agents [81.60906807941188]
  大型言語モデル(LLM)は、自然言語と形式言語(コード)の組み合わせに基づいて訓練される コードは、標準構文、論理一貫性、抽象化、モジュール性を備えた高レベルの目標を実行可能なステップに変換する。
  論文  参考訳（メタデータ） (2024-01-01T16:51:20Z)
• FollowBench: A Multi-level Fine-grained Constraints Following Benchmark for Large Language Models [79.62191017182518]
  FollowBenchは、大規模言語モデルのベンチマークに続くきめ細かい制約のベンチマークである。 本稿では,初期命令に段階的に1つの制約を付加するマルチレベル機構を提案する。 FollowBench上での13のLLMの評価により,LLMの弱さと今後の研究への道のりを示す。
  論文  参考訳（メタデータ） (2023-10-31T12:32:38Z)
• Evaluating, Understanding, and Improving Constrained Text Generation for Large Language Models [49.74036826946397]
  本研究では,大言語モデル(LLM)の制約付きテキスト生成について検討する。 本研究は主に,制約を語彙型,構造型,関係型に分類するオープンソース LLM に重点を置いている。 その結果、LLMの能力と不足を照らし、制約を取り入れ、制約付きテキスト生成における将来の発展に対する洞察を提供する。
  論文  参考訳（メタデータ） (2023-10-25T03:58:49Z)
• Can Large Language Models Understand Real-World Complex Instructions? [54.86632921036983]
  大型言語モデル(LLM)は人間の指示を理解することができるが、複雑な命令には耐えられない。 既存のベンチマークでは、LLMが複雑な命令を理解する能力を評価するには不十分である。 複雑な命令を体系的に追従するLSMの能力を評価するためのベンチマークであるCellOを提案する。
  論文  参考訳（メタデータ） (2023-09-17T04:18:39Z)
• Inductive-bias Learning: Generating Code Models with Large Language Model [0.0]
  大規模言語モデル(LLM)は、インコンテキスト学習(ICL)と呼ばれる能力によって注目を集めている。 Inductive-Bias Learning (IBL)'と呼ばれる新しい学習手法を提案する。
  論文  参考訳（メタデータ） (2023-08-19T03:01:45Z)
• LLM-Pruner: On the Structural Pruning of Large Language Models [65.02607075556742]
  大規模言語モデル(LLM)は、言語理解と生成において顕著な能力を示している。 タスク非依存であり、元のトレーニングデータセットへの依存を最小限に抑えるという2つの制約の範囲内でLLMの圧縮に取り組む。 LLM-Prunerという名前のこの手法は、非臨界結合構造を選択的に除去する構造プルーニングを採用する。
  論文  参考訳（メタデータ） (2023-05-19T12:10:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。