論文の概要: NL2TL: Transforming Natural Languages to Temporal Logics using Large Language Models
- arxiv url: http://arxiv.org/abs/2305.07766v2
- Date: Fri, 22 Mar 2024 00:28:51 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-25 23:48:38.605624
- Title: NL2TL: Transforming Natural Languages to Temporal Logics using Large Language Models
- Title（参考訳）: NL2TL:大規模言語モデルを用いた自然言語から時間論理への変換
- Authors: Yongchao Chen, Rujul Gandhi, Yang Zhang, Chuchu Fan,
- Abstract要約: TL(Temporal Logic)は、多くのエンジニアリングアプリケーションにおいて、複雑な高レベル仕様を厳格に指定するために用いられる。
本稿では,NLからTLへの英語命令の正確かつ一般化可能な変換フレームワークを提案する。
- 参考スコア（独自算出の注目度）: 11.913662099158033
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: Temporal Logic (TL) can be used to rigorously specify complex high-level specification for systems in many engineering applications. The translation between natural language (NL) and TL has been under-explored due to the lack of dataset and generalizable model across different application domains. In this paper, we propose an accurate and generalizable transformation framework of English instructions from NL to TL, exploring the use of Large Language Models (LLMs) at multiple stages. Our contributions are twofold. First, we develop a framework to create a dataset of NL-TL pairs combining LLMs and human annotation. We publish a dataset with 28K NL-TL pairs. Then, we finetune T5 models on the lifted versions (i.e., the specific Atomic Propositions (AP) are hidden) of the NL and TL. The enhanced generalizability originates from two aspects: 1) Usage of lifted NL-TL characterizes common logical structures, without constraints of specific domains. 2) Application of LLMs in dataset creation largely enhances corpus richness. We test the generalization of trained models on five varied domains. To achieve full NL-TL transformation, we either combine the lifted model with AP recognition task or do the further finetuning on each specific domain. During the further finetuning, our model achieves higher accuracy (>95%) using only <10% training data, compared with the baseline sequence to sequence (Seq2Seq) model.
- Abstract（参考訳）: TL(Temporal Logic)は、多くのエンジニアリングアプリケーションにおいて、複雑な高レベル仕様を厳格に指定するために用いられる。
自然言語(NL)とTLの翻訳は、異なるアプリケーションドメインにまたがるデータセットや一般化可能なモデルが欠如していることから、まだ探索されていない。
本稿では,NLからTLへの英語命令の正確かつ一般化可能な変換フレームワークを提案し,複数の段階におけるLarge Language Models (LLM)の使用について検討する。
私たちの貢献は2倍です。
まず,LLMと人間のアノテーションを組み合わせたNL-TLペアのデータセットを作成するフレームワークを開発する。
28K NL-TLペアのデータセットを公開します。
次に、NLおよびTLの持ち上げバージョン(すなわち、特定の原子配置(AP)が隠されている)上でT5モデルを微調整する。
一般化性の向上は2つの側面から生じる。
1) 昇降NL-TLの使用は, 特定の領域の制約を伴わずに, 共通論理構造を特徴付ける。
2) LLMのデータセット作成への応用は, コーパスの豊かさを大幅に向上させる。
5つの異なる領域で訓練されたモデルの一般化をテストする。
完全NL-TL変換を実現するために、持ち上げモデルとAP認識タスクを組み合わせるか、特定のドメインに対してさらなる微調整を行う。
さらに微調整の際, ベースライン列からシークエンス (Seq2Seq) モデルと比較して, トレーニングデータの10%しか使用せず, 精度が95%に向上した。
関連論文リスト
- SELF-GUIDE: Better Task-Specific Instruction Following via Self-Synthetic Finetuning [70.21358720599821]
大規模言語モデル(LLM)は、適切な自然言語プロンプトを提供する際に、多様なタスクを解決するという約束を持っている。
学生LLMからタスク固有の入出力ペアを合成する多段階メカニズムであるSELF-GUIDEを提案する。
ベンチマークの指標から,分類タスクに約15%,生成タスクに18%の絶対的な改善を報告した。
論文 参考訳（メタデータ） (2024-07-16T04:41:58Z) - VANER: Leveraging Large Language Model for Versatile and Adaptive Biomedical Named Entity Recognition [3.4923338594757674]
大型言語モデル(LLM)は、様々な種類のエンティティを抽出できるモデルを訓練するために使用することができる。
本稿では,オープンソースのLLM LLaMA2をバックボーンモデルとして利用し,異なるタイプのエンティティとデータセットを区別するための具体的な命令を設計する。
我々のモデルVANERは、パラメータの小さな分割で訓練され、従来のLLMモデルよりも大幅に優れており、LLMをベースとしたモデルとして初めて、従来の最先端のBioNERシステムの大部分を上回りました。
論文 参考訳（メタデータ） (2024-04-27T09:00:39Z) - GeMQuAD : Generating Multilingual Question Answering Datasets from Large Language Models using Few Shot Learning [4.8838210812204235]
本稿では,対象言語に1つの例があるICLを用いて生成されたデータセットに対して,半教師付き学習手法であるGeMQuADを提案する。
我々は、特に低リソースの多言語設定において、モデル性能を向上させるために、高品質なデータを反復的に識別する。
我々のフレームワークは、ヒンディー語で0.22/1.68 F1/EMポイント、MLQAデータセットでスペイン語で0.82/1.37 F1/EMポイントで機械翻訳拡張モデルより優れています。
論文 参考訳（メタデータ） (2024-04-14T06:55:42Z) - TAT-LLM: A Specialized Language Model for Discrete Reasoning over Tabular and Textual Data [73.29220562541204]
我々は,言語モデル(LLM)の驚くべきパワーを活用して課題を解決することを検討する。
LLaMA2を微調整し,既存のエキスパートアノテートデータセットから自動生成したトレーニングデータを用いてTAT-LLM言語モデルを開発する。
論文 参考訳（メタデータ） (2024-01-24T04:28:50Z) - LLM Augmented LLMs: Expanding Capabilities through Composition [56.40953749310957]
CALM -- 言語モデルの拡張のための構成 -- は、モデル間の相互アテンションを導入して、表現を構成し、新しい機能を有効にする。
低リソース言語で訓練されたより小さなモデルでPaLM2-Sを増強すると、英語への翻訳のようなタスクで最大13%の改善が達成される。
PaLM2-Sがコード固有モデルで拡張されると、コード生成や説明タスクのベースモデルよりも40%向上する。
論文 参考訳（メタデータ） (2024-01-04T18:53:01Z) - Data Transformation to Construct a Dataset for Generating
Entity-Relationship Model from Natural Language [39.53954130028595]
ERモデルの手作業コストを削減するため,NL2ERMの課題に対処する手法が提案されている。
これらのアプローチは通常、厳格なルールに依存するルールベースのアプローチである。
ルールベースのアプローチよりも一般化が優れているにもかかわらず、大規模なデータセットが欠如しているため、ディープベースモデルはNL2ERMに欠けている。
論文 参考訳（メタデータ） (2023-12-21T09:45:13Z) - Prompt2Model: Generating Deployable Models from Natural Language
Instructions [74.19816829003729]
大規模言語モデル(LLM)により、システムビルダーはプロンプトによって有能なNLPシステムを作成することができる。
言い換えれば、LSMは従来の特殊目的のNLPモデルとは逆のステップである。
本稿では,LLMに提供されるプロンプトのように自然言語によるタスク記述を行う汎用手法であるPrompt2Modelを提案する。
論文 参考訳（メタデータ） (2023-08-23T17:28:21Z) - Branch-Train-Merge: Embarrassingly Parallel Training of Expert Language
Models [106.65127123304842]
Branch-Train-Merge (BTM) は、大規模言語モデル(LLM)の並列トレーニングのための効率的なアルゴリズムである。
BTMは独立した専門家のLM(ELM)の集合を学習し、それぞれ異なるテキストドメインに特化している。
実験により、BTMはGPTスタイルのトランスフォーマーLMと比較して、ドメイン内および外部のパープレクティビティを改善することが示された。
論文 参考訳（メタデータ） (2022-08-05T17:46:38Z) - A Variational Hierarchical Model for Neural Cross-Lingual Summarization [85.44969140204026]
言語間の要約(英: cross-lingual summarization)とは、ある言語の文書を別の言語の要約に変換することである。
CLSに関する既存の研究は主にパイプライン手法の利用やエンドツーエンドモデルの共同トレーニングに重点を置いている。
条件付き変分自動エンコーダに基づくCLSタスクの階層モデルを提案する。
論文 参考訳（メタデータ） (2022-03-08T02:46:11Z) - CoreLM: Coreference-aware Language Model Fine-Tuning [0.0]
我々は、現在の事前学習言語モデルのアーキテクチャを拡張した、CoreLMというファインチューニングフレームワークを提案する。
我々は、モデルの文脈空間外で利用可能な情報を作成し、計算コストのごく一部について、よりよい言語モデルをもたらす。
提案モデルでは, GPT2 と比較した場合, GUMBY と LAMBDADA のデータセットのパープレキシティが低くなる。
論文 参考訳（メタデータ） (2021-11-04T08:44:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。