論文の概要: Grammar Prompting for Domain-Specific Language Generation with Large
Language Models
- arxiv url: http://arxiv.org/abs/2305.19234v1
- Date: Tue, 30 May 2023 17:26:01 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-31 14:35:49.275216
- Title: Grammar Prompting for Domain-Specific Language Generation with Large
Language Models
- Title(参考訳): 大規模言語モデルを用いたドメイン固有言語生成のための文法プロンプト
- Authors: Bailin Wang, Zi Wang, Xuezhi Wang, Yuan Cao, Rif A. Saurous and Yoon
Kim
- Abstract要約: Grammar promptingは、特定の出力例を生成するのに十分最小限の特殊な文法で、各デモ例を増強する。
実験により、文法のプロンプトにより、LLMは様々なDSL生成タスクで競争力を発揮することが示されている。
- 参考スコア(独自算出の注目度): 44.68069195104422
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs) can learn to perform a wide range of natural
language tasks from just a handful of in-context examples. However, for
generating strings from highly structured languages (e.g., semantic parsing to
complex domain-specific languages), it is challenging for the LLM to generalize
from just a few exemplars. We explore $\textbf{grammar prompting}$ as a simple
approach for enabling LLMs to use external knowledge and domain-specific
constraints, expressed through a grammar expressed in Backus--Naur Form (BNF),
during in-context learning. Grammar prompting augments each demonstration
example with a specialized grammar that is minimally sufficient for generating
the particular output example, where the specialized grammar is a subset of the
full DSL grammar. For inference, the LLM first predicts a BNF grammar given a
test input, and then generates the output according to the rules of the
grammar. Experiments demonstrate that grammar prompting can enable LLMs to
perform competitively on a diverse set of DSL generation tasks, including
semantic parsing (SMCalFlow, Overnight, GeoQuery), PDDL planning, and even
molecule generation (SMILES).
- Abstract(参考訳): 大規模言語モデル(LLM)は、少数のインコンテキストの例から、幅広い自然言語タスクを実行することを学ぶことができる。
しかし、高度に構造化された言語(例えば、複雑なドメイン固有言語への意味解析)から文字列を生成するためには、LLMがいくつかの例から一般化することは困難である。
backus--Naur Form (BNF) で表現された文法を通して LLM が外部知識やドメイン固有の制約を利用できるようにするためのシンプルなアプローチとして $\textbf{grammar prompting}$ を探索する。
文法のプロンプトは、それぞれの実演例を、特定の出力例を生成するのに最小限の特殊な文法で拡張します。
推論のために、LLMはまずテスト入力が与えられたBNF文法を予測し、次に文法の規則に従って出力を生成する。
実験により、文法のプロンプトにより、意味解析(SMCalFlow、Overnight、GeoQuery)、PDDL計画、さらには分子生成(SMILES)など、様々なDSL生成タスクでLLMが競争力を発揮することが示されている。
関連論文リスト
- SLFNet: Generating Semantic Logic Forms from Natural Language Using Semantic Probability Graphs [6.689539418123863]
自然言語インターフェースの構築は通常、ユーザの自然言語を解析し、構造化された textbfSemantic textbfLogic textbfForms (SLFs) に変換するために semanticSlot を使用する。
本研究では,依存構文情報を先行知識として組み込んだニューラルネットワークSLFNetを提案し,文脈情報と単語間の長距離相互作用を捉える。
実験の結果,中国QCI-TSデータセットとオカピデータセットのSLFNetによる最先端のパフォーマンス,ATISデータセットの競合性能が得られた。
論文 参考訳(メタデータ) (2024-03-29T02:42:39Z) - Can LLMs Converse Formally? Automatically Assessing LLMs in Translating and Interpreting Formal Specifications [21.12437562185667]
本稿では,自然言語記述と形式仕様の変換における大規模言語モデルの有用性を評価する。
本稿では,LLMの2つのコピーと既製の検証器を併用して,翻訳能力を自動評価する手法を提案する。
論文 参考訳(メタデータ) (2024-03-27T08:08:00Z) - If LLM Is the Wizard, Then Code Is the Wand: A Survey on How Code
Empowers Large Language Models to Serve as Intelligent Agents [81.60906807941188]
大型言語モデル(LLM)は、自然言語と形式言語(コード)の組み合わせに基づいて訓練される
コードは、標準構文、論理一貫性、抽象化、モジュール性を備えた高レベルの目標を実行可能なステップに変換する。
論文 参考訳(メタデータ) (2024-01-01T16:51:20Z) - Native Language Identification with Large Language Models [60.80452362519818]
我々はGPTモデルがNLI分類に熟練していることを示し、GPT-4は0ショット設定でベンチマーク11テストセットで91.7%の新たなパフォーマンス記録を樹立した。
また、従来の完全教師付き設定とは異なり、LLMは既知のクラスに制限されずにNLIを実行できることを示す。
論文 参考訳(メタデータ) (2023-12-13T00:52:15Z) - Exploring Large Language Models for Code Explanation [3.2570216147409514]
大規模言語モデル(LLM)は自然言語処理において顕著な進歩を遂げている。
本研究では,様々なLLMを用いて,コードスニペットの自然言語要約を生成するタスクについて検討する。
論文 参考訳(メタデータ) (2023-10-25T14:38:40Z) - Coupling Large Language Models with Logic Programming for Robust and
General Reasoning from Text [5.532477732693001]
大規模言語モデルは, 意味論的に非常に効果的な数ショットとして機能することを示す。
自然言語文を論理形式に変換し、応答集合プログラムの入力として機能する。
本手法は,bAbI, StepGame, CLUTRR, gSCAN など,いくつかのベンチマークにおいて最先端性能を実現する。
論文 参考訳(メタデータ) (2023-07-15T03:29:59Z) - Soft Language Clustering for Multilingual Model Pre-training [57.18058739931463]
本稿では,インスタンスを条件付きで符号化するためのフレキシブルガイダンスとして,コンテキスト的にプロンプトを検索するXLM-Pを提案する。
我々のXLM-Pは、(1)言語間における言語不変および言語固有知識の軽量なモデリングを可能にし、(2)他の多言語事前学習手法との容易な統合を可能にする。
論文 参考訳(メタデータ) (2023-06-13T08:08:08Z) - Grammar-Constrained Decoding for Structured NLP Tasks without Finetuning [27.59524153097858]
文法制約付き復号法(GCD)は、大言語モデル(LM)の生成を制御するために用いられる。
GCDは一般に構造化NLPタスクの統一フレームワークとして機能する。
文法制約付きLMは、制約なしLMよりも大幅に優れるか、タスク固有の微調整モデルよりも優れていることを示す。
論文 参考訳(メタデータ) (2023-05-23T11:54:37Z) - InstructAlign: High-and-Low Resource Language Alignment via Continual
Crosslingual Instruction Tuning [66.31509106146605]
命令を調整した大規模言語モデル(LLM)は、様々なタスクや言語で顕著な能力を示している。
しかし、利用可能なデータが不足しているため、表現不足の言語に一般化する能力は限られている。
InstructAlignは、LLMが新しい未知の言語を学習済みの高リソース言語と整列できるようにするために、連続的なクロスリンガル命令チューニングを使用する。
論文 参考訳(メタデータ) (2023-05-23T02:51:34Z) - Prompting Language Models for Linguistic Structure [73.11488464916668]
本稿では,言語構造予測タスクに対する構造化プロンプト手法を提案する。
提案手法は, 音声タグ付け, 名前付きエンティティ認識, 文チャンキングについて評価する。
PLMはタスクラベルの事前知識を事前学習コーパスに漏えいすることで有意な事前知識を含むが、構造化プロンプトは任意のラベルで言語構造を復元することも可能である。
論文 参考訳(メタデータ) (2022-11-15T01:13:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。