論文の概要: PathOCL: Path-Based Prompt Augmentation for OCL Generation with GPT-4

• arxiv url: http://arxiv.org/abs/2405.12450v1
• Date: Tue, 21 May 2024 02:00:54 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-22 14:38:05.025719
• Title: PathOCL: Path-Based Prompt Augmentation for OCL Generation with GPT-4
• Title（参考訳）: PathOCL: GPT-4を用いたOCL生成のためのパスベースプロンプト拡張
• Authors: Seif Abukhalaf, Mohammad Hamdaqa, Foutse Khomh,
• Abstract要約: 本稿では,Object Constraint Language生成を容易にするために設計された新しいパスベースのプロンプト拡張技術であるPathOCLを紹介する。 以上の結果から,PathOCLは完全クラスモデル(UML-Augmentation)に比較して,有効かつ正しいOCL制約を多く生成することがわかった。
• 参考スコア（独自算出の注目度）: 10.564949684320727
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: The rapid progress of AI-powered programming assistants, such as GitHub Copilot, has facilitated the development of software applications. These assistants rely on large language models (LLMs), which are foundation models (FMs) that support a wide range of tasks related to understanding and generating language. LLMs have demonstrated their ability to express UML model specifications using formal languages like the Object Constraint Language (OCL). However, the context size of the prompt is limited by the number of tokens an LLM can process. This limitation becomes significant as the size of UML class models increases. In this study, we introduce PathOCL, a novel path-based prompt augmentation technique designed to facilitate OCL generation. PathOCL addresses the limitations of LLMs, specifically their token processing limit and the challenges posed by large UML class models. PathOCL is based on the concept of chunking, which selectively augments the prompts with a subset of UML classes relevant to the English specification. Our findings demonstrate that PathOCL, compared to augmenting the complete UML class model (UML-Augmentation), generates a higher number of valid and correct OCL constraints using the GPT-4 model. Moreover, the average prompt size crafted using PathOCL significantly decreases when scaling the size of the UML class models.
• Abstract（参考訳）: GitHub CopilotのようなAIによるプログラミングアシスタントの急速な進歩は、ソフトウェアアプリケーションの開発を促進している。 これらのアシスタントは、言語理解と生成に関連する幅広いタスクをサポートする基礎モデル(FM)である大きな言語モデル(LLM)に依存している。 LLMは、Object Constraint Language (OCL)のような形式言語を使ってUMLモデルの仕様を表現する能力を示した。 しかし、プロンプトのコンテキストサイズは、LLMが処理できるトークンの数によって制限される。 この制限はUMLクラスモデルのサイズが大きくなるにつれて重要になる。 本研究では,OCL生成を促進するために設計された新しいパスベースのプロンプト拡張技術であるPathOCLを紹介する。 PathOCLはLLMの制限、特にトークン処理の制限、そして大きなUMLクラスモデルによってもたらされる課題に対処します。 PathOCLはチャンキングの概念に基づいており、英語仕様に関連するUMLクラスのサブセットでプロンプトを選択的に拡張する。 以上の結果から,完全UMLクラスモデル(UML-Augmentation)と比較して,PassOCLはGPT-4モデルを用いて高い有効かつ正しいOCL制約を生成することがわかった。 さらに、PathOCLを用いて作成される平均プロンプトサイズはUMLクラスモデルのサイズをスケールする際に著しく減少する。

関連論文リスト

• Optimizing Token Usage on Large Language Model Conversations Using the Design Structure Matrix [49.1574468325115]
  大規模言語モデルは、多くの分野やタスクにおいてユビキタスになる。 トークンの使用を減らすこと、短いコンテキストウィンドウ、限られた出力サイズ、トークンの取り込みと生成に関連するコストといった課題を克服する必要がある。 この作業は、エンジニアリング設計の分野からLLM会話最適化にデザイン構造マトリックスをもたらす。
  論文  参考訳（メタデータ） (2024-10-01T14:38:36Z)
• Open-domain Implicit Format Control for Large Language Model Generation [52.83173553689678]
  大規模言語モデル(LLM)における制御生成のための新しいフレームワークを提案する。 本研究では、LLMがオープンドメイン、ワンショット制約に従う能力と、サンプル回答の形式を再現する能力について検討する。 また、出力品質を劣化させることなく、LLMのオープンドメインフォーマット制御を強化する教師付き微調整のためのデータセット収集手法を開発した。
  論文  参考訳（メタデータ） (2024-08-08T11:51:45Z)
• If LLM Is the Wizard, Then Code Is the Wand: A Survey on How Code Empowers Large Language Models to Serve as Intelligent Agents [81.60906807941188]
  大型言語モデル(LLM)は、自然言語と形式言語(コード)の組み合わせに基づいて訓練される コードは、標準構文、論理一貫性、抽象化、モジュール性を備えた高レベルの目標を実行可能なステップに変換する。
  論文  参考訳（メタデータ） (2024-01-01T16:51:20Z)
• InfMLLM: A Unified Framework for Visual-Language Tasks [44.29407348046122]
  マルチモーダルな大言語モデル (MLLM) が注目されている。 この作業は、LLMがより視覚的な言語に関連したタスクに取り組むことを可能にすることを目的としている。 InfMLLMは、最先端(SOTA)パフォーマンスまたは最近のMLLMに匹敵するパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-11-12T09:58:16Z)
• FollowBench: A Multi-level Fine-grained Constraints Following Benchmark for Large Language Models [79.62191017182518]
  FollowBenchは、大規模言語モデルのベンチマークに続くきめ細かい制約のベンチマークである。 本稿では,初期命令に段階的に1つの制約を付加するマルチレベル機構を提案する。 FollowBench上での13のLLMの評価により,LLMの弱さと今後の研究への道のりを示す。
  論文  参考訳（メタデータ） (2023-10-31T12:32:38Z)
• LLM-Pruner: On the Structural Pruning of Large Language Models [65.02607075556742]
  大規模言語モデル(LLM)は、言語理解と生成において顕著な能力を示している。 タスク非依存であり、元のトレーニングデータセットへの依存を最小限に抑えるという2つの制約の範囲内でLLMの圧縮に取り組む。 LLM-Prunerという名前のこの手法は、非臨界結合構造を選択的に除去する構造プルーニングを採用する。
  論文  参考訳（メタデータ） (2023-05-19T12:10:53Z)
• On Codex Prompt Engineering for OCL Generation: An Empirical Study [10.184056098238765]
  Object Constraint Language (OCL)は、MOFモデルに制約とオブジェクトクエリ式を追加する宣言型言語である。 GPT-3のような最近のLPMの進歩は、多くのNLPタスクにおいてその能力を示している。 自然言語仕様からCodexが生成するOCL制約の信頼性について検討する。
  論文  参考訳（メタデータ） (2023-03-28T18:50:51Z)
• OpenICL: An Open-Source Framework for In-context Learning [48.75452105457122]
  In-context Learning (ICL) と大規模言語モデル評価のためのオープンソースツールキット OpenICL を紹介する。 OpenICLは、ユーザが自分のニーズに合ったさまざまなコンポーネントを簡単に組み合わせられるように、非常に柔軟なアーキテクチャで研究に親しみやすい。 OpenICLの有効性は、分類、QA、機械翻訳、意味解析を含む幅広いNLPタスクで検証されている。
  論文  参考訳（メタデータ） (2023-03-06T06:20:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。