論文の概要: Can LLMs Converse Formally? Automatically Assessing LLMs in Translating and Interpreting Formal Specifications
- arxiv url: http://arxiv.org/abs/2403.18327v1
- Date: Wed, 27 Mar 2024 08:08:00 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-28 17:57:01.721473
- Title: Can LLMs Converse Formally? Automatically Assessing LLMs in Translating and Interpreting Formal Specifications
- Title(参考訳): LLMは形式的に逆転できるか? 形式仕様の翻訳・解釈におけるLLMの自動評価
- Authors: Rushang Karia, Daksh Dobhal, Daniel Bramblett, Pulkit Verma, Siddharth Srivastava,
- Abstract要約: 本稿では,自然言語記述と形式仕様の変換における大規模言語モデルの有用性を評価する。
本稿では,LLMの2つのコピーと既製の検証器を併用して,翻訳能力を自動評価する手法を提案する。
- 参考スコア(独自算出の注目度): 21.12437562185667
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Stakeholders often describe system requirements using natural language which are then converted to formal syntax by a domain-expert leading to increased design costs. This paper assesses the capabilities of Large Language Models (LLMs) in converting between natural language descriptions and formal specifications. Existing work has evaluated the capabilities of LLMs in generating formal syntax such as source code but such experiments are typically hand-crafted and use problems that are likely to be in the training set of LLMs, and often require human-annotated datasets. We propose an approach that can use two copies of an LLM in conjunction with an off-the-shelf verifier to automatically evaluate its translation abilities without any additional human input. Our approach generates formal syntax using language grammars to automatically generate a dataset. We conduct an empirical evaluation to measure the accuracy of this translation task and show that SOTA LLMs cannot adequately solve this task, limiting their current utility in the design of complex systems.
- Abstract(参考訳): ステークホルダは、しばしば自然言語を使ってシステム要件を記述し、ドメインエキスパートによって形式的な構文に変換され、設計コストが増大する。
本稿では,自然言語記述と形式仕様の変換におけるLarge Language Models(LLM)の機能を評価する。
既存の研究は、ソースコードのような形式的な構文を生成する上でのLLMの機能を評価してきたが、そのような実験は通常手作業で行われ、LLMのトレーニングセットに含まれる可能性の高い問題を使用し、人間による注釈付きデータセットを必要とすることが多い。
そこで本研究では,LLMの2つのコピーと既製の検証器を併用して,人間の入力を伴わずに翻訳能力を自動評価する手法を提案する。
提案手法は,言語文法を用いて形式構文を生成し,データセットを自動的に生成する。
我々は、この翻訳タスクの精度を計測する実験的な評価を行い、SOTA LLMがこのタスクを適切に解決することができず、複雑なシステムの設計における現在の有用性を制限していることを示す。
関連論文リスト
- Machine Translation with Large Language Models: Prompt Engineering for
Persian, English, and Russian Directions [0.0]
生成型大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクにおいて、例外的な習熟性を示している。
我々は,ペルシャ語,英語,ロシア語の言語間組み合わせに着目した2つの普及促進手法とその組み合わせについて調査を行った。
論文 参考訳(メタデータ) (2024-01-16T15:16:34Z) - Probing Structured Semantics Understanding and Generation of Language
Models via Question Answering [56.610044062739256]
本研究では,人間が構築した形式言語を用いて質問応答のタスクにおいて,大規模言語モデルが構造化意味論に対処する能力について検討する。
異なる大きさのモデルと異なる形式言語を用いた実験は、今日の最先端のLLMの論理形式に対する理解が全体的な人間レベルにアプローチできることを示している。
結果は、モデルが異なる形式言語にかなり敏感であることを示している。
論文 参考訳(メタデータ) (2024-01-11T09:27:50Z) - Which Syntactic Capabilities Are Statistically Learned by Masked
Language Models for Code? [51.29970742152668]
精度に基づく測定に依存することで、モデルの能力が過大評価される可能性があることを強調する。
これらの問題に対処するために,SyntaxEval in Syntactic Capabilitiesというテクニックを導入する。
論文 参考訳(メタデータ) (2024-01-03T02:44:02Z) - If LLM Is the Wizard, Then Code Is the Wand: A Survey on How Code
Empowers Large Language Models to Serve as Intelligent Agents [81.60906807941188]
大型言語モデル(LLM)は、自然言語と形式言語(コード)の組み合わせに基づいて訓練される
コードは、標準構文、論理一貫性、抽象化、モジュール性を備えた高レベルの目標を実行可能なステップに変換する。
論文 参考訳(メタデータ) (2024-01-01T16:51:20Z) - Can Large Language Models Understand Real-World Complex Instructions? [54.86632921036983]
大型言語モデル(LLM)は人間の指示を理解することができるが、複雑な命令には耐えられない。
既存のベンチマークでは、LLMが複雑な命令を理解する能力を評価するには不十分である。
複雑な命令を体系的に追従するLSMの能力を評価するためのベンチマークであるCellOを提案する。
論文 参考訳(メタデータ) (2023-09-17T04:18:39Z) - Data-Efficient Learning of Natural Language to Linear Temporal Logic
Translators for Robot Task Specification [6.091096843566857]
本稿では、自然言語コマンドから、人間ラベルの訓練データに制限のある仕様への変換を学習ベースで行う手法を提案する。
これは、人間のラベル付きデータセットを必要とする既存の自然言語から翻訳者への変換とは対照的である。
自然言語コマンドを75%の精度で翻訳できることを示す。
論文 参考訳(メタデータ) (2023-03-09T00:09:58Z) - nl2spec: Interactively Translating Unstructured Natural Language to
Temporal Logics with Large Language Models [3.1143846686797314]
大規模言語モデル(LLM)を適用するためのフレームワークであるnl2specは、構造化されていない自然言語から正式な仕様を導出する。
本稿では,自然言語におけるシステム要求のあいまいさを検知し,解決する新たな手法を提案する。
ユーザは、これらのサブ翻訳を反復的に追加、削除、編集して、不正なフォーマル化を修正する。
論文 参考訳(メタデータ) (2023-03-08T20:08:53Z) - Augmented Language Models: a Survey [55.965967655575454]
この調査は、言語モデル(LM)が推論スキルとツールの使用能力で強化されているかのレビューを行う。
私たちはこれらをAugmented Language Models (ALMs)と呼ぶ。
トークンの目的の欠如により、ALMは標準的な自然言語タスクを実行しながら、推論、ツールの使用、さらには行動を学ぶことができる。
論文 参考訳(メタデータ) (2023-02-15T18:25:52Z) - Prompting Language Models for Linguistic Structure [73.11488464916668]
本稿では,言語構造予測タスクに対する構造化プロンプト手法を提案する。
提案手法は, 音声タグ付け, 名前付きエンティティ認識, 文チャンキングについて評価する。
PLMはタスクラベルの事前知識を事前学習コーパスに漏えいすることで有意な事前知識を含むが、構造化プロンプトは任意のラベルで言語構造を復元することも可能である。
論文 参考訳(メタデータ) (2022-11-15T01:13:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。