論文の概要: Towards the LLM-Based Generation of Formal Specifications from Natural-Language Contracts: Early Experiments with Symboleo

• arxiv url: http://arxiv.org/abs/2411.15898v1
• Date: Sun, 24 Nov 2024 16:14:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-26 14:23:05.800344
• Title: Towards the LLM-Based Generation of Formal Specifications from Natural-Language Contracts: Early Experiments with Symboleo
• Title（参考訳）: LLMによる天然資源契約書の形式的仕様生成に向けて:シンボレオによる初期実験
• Authors: Mounira Nihad Zitouni, Amal Ahmed Anda, Sahil Rajpal, Daniel Amyot, John Mylopoulos,
• Abstract要約: 本稿では、英語のビジネス契約からSymboleo仕様の自動生成を目的とした探索実験について報告する。 生成された仕様は、3つの重度レベルにグループ化された16のエラータイプに対して手動で評価される。 LLMの初期の結果は、法的契約の仕様の策定を加速させるであろう有望な成果を示している。
• 参考スコア（独自算出の注目度）: 0.5359378066251385
• License:
• Abstract: Over the past decade, different domain-specific languages (DSLs) were proposed to formally specify requirements stated in legal contracts, mainly for analysis but also for code generation. Symboleo is a promising language in that area. However, writing formal specifications from natural-language contracts is a complex task, especial for legal experts who do not have formal language expertise. This paper reports on an exploratory experiment targeting the automated generation of Symboleo specifications from business contracts in English using Large Language Models (LLMs). Combinations (38) of prompt components are investigated (with/without the grammar, semantics explanations, 0 to 3 examples, and emotional prompts), mainly on GPT-4o but also to a lesser extent on 4 other LLMs. The generated specifications are manually assessed against 16 error types grouped into 3 severity levels. Early results on all LLMs show promising outcomes (even for a little-known DSL) that will likely accelerate the specification of legal contracts. However, several observed issues, especially around grammar/syntax adherence and environment variable identification (49%), suggest many areas where potential improvements should be investigated.
• Abstract（参考訳）: 過去10年間で、さまざまなドメイン特化言語(DSL)が提案され、主に分析のためだけでなく、コード生成のために、法的契約で明記された要件を正式に規定した。 シンボレオ語はその地域で有望な言語である。 しかし、自然言語契約の正式な仕様を書くことは複雑な作業であり、特に形式的な言語専門知識を持たない法律の専門家にとっては問題となる。 本稿では,Large Language Models (LLMs) を用いた英語のビジネス契約から,Symboleo仕様の自動生成を目的とした探索実験について報告する。 プロンプト成分の組合せ (38) を, GPT-4o を中心に検討し, その他の 4 つの LLM に対してより少ない範囲で検討した。 生成された仕様は、3つの重度レベルにグループ化された16のエラータイプに対して手動で評価される。 LLMの初期の結果は、(ほとんど知られていないDSLであっても)有望な結果を示しており、法的契約の仕様を加速させるでしょう。 しかし,特に文法/構文の付着や環境変数の同定(49%)に関するいくつかの問題点は,潜在的な改善が検討されるべき領域の多くを示唆している。

関連論文リスト

• Towards Robust Knowledge Representations in Multilingual LLMs for Equivalence and Inheritance based Consistent Reasoning [5.656040546546711]
  推論と言語スキルは人間の知性の基盤を形成し、問題解決と意思決定を促進する。 大規模言語モデル(LLM)の最近の進歩は、印象的な言語機能と突発的な推論行動をもたらし、アプリケーションドメインで広く採用されている。 我々は、LLMが「等価性」と「継承性」という2つの基礎的関係を用いて、合理的な表現を持つかどうかを評価することに注力する。
  論文  参考訳（メタデータ） (2024-10-18T07:34:21Z)
• Understanding and Mitigating Language Confusion in LLMs [76.96033035093204]
  我々は,既存の英語および多言語プロンプトを用いた15の型的多様言語の評価を行った。 Llama Instruct と Mistral のモデルでは,言語的混乱の度合いが高いことがわかった。 言語混乱は,数発のプロンプト,多言語SFT,選好調整によって部分的に緩和できることがわかった。
  論文  参考訳（メタデータ） (2024-06-28T17:03:51Z)
• How Proficient Are Large Language Models in Formal Languages? An In-Depth Insight for Knowledge Base Question Answering [52.86931192259096]
  知識ベース質問回答(KBQA)は,知識ベースにおける事実に基づいた自然言語質問への回答を目的としている。 最近の研究は、論理形式生成のための大規模言語モデル(LLM)の機能を活用して性能を向上させる。
  論文  参考訳（メタデータ） (2024-01-11T09:27:50Z)
• Native Language Identification with Large Language Models [60.80452362519818]
  我々はGPTモデルがNLI分類に熟練していることを示し、GPT-4は0ショット設定でベンチマーク11テストセットで91.7%の新たなパフォーマンス記録を樹立した。 また、従来の完全教師付き設定とは異なり、LLMは既知のクラスに制限されずにNLIを実行できることを示す。
  論文  参考訳（メタデータ） (2023-12-13T00:52:15Z)
• Do Language Models Learn about Legal Entity Types during Pretraining? [4.604003661048267]
  Llama2は特定のエンティティでよく機能し、最適化されたプロンプトテンプレートで大幅に改善する可能性を示す。 Llama2は、BERTベースのアーキテクチャでは欠点の少ない構文的ヒントをしばしば見落としているように見える。
  論文  参考訳（メタデータ） (2023-10-19T18:47:21Z)
• Cross-Lingual Knowledge Editing in Large Language Models [73.12622532088564]
  知識編集は、スクラッチから再学習することなく、大きな言語モデルを新しい知識に適応させることが示されている。 ソース言語編集が別のターゲット言語に与える影響は、いまだ不明である。 まず、ZsREを英語から中国語に翻訳することで、大規模な言語間合成データセットを収集する。
  論文  参考訳（メタデータ） (2023-09-16T11:07:52Z)
• One Law, Many Languages: Benchmarking Multilingual Legal Reasoning for Judicial Support [18.810320088441678]
  この研究は、法域に対する新しいNLPベンチマークを導入している。 エンフロング文書(最大50Kトークン)の処理、エンフドメイン固有の知識(法的テキストに具体化されている)、エンフマルチリンガル理解(5つの言語をカバーしている)の5つの重要な側面においてLCMに挑戦する。 我々のベンチマークにはスイスの法体系からの多様なデータセットが含まれており、基礎となる非英語、本質的には多言語法体系を包括的に研究することができる。
  論文  参考訳（メタデータ） (2023-06-15T16:19:15Z)
• CLSE: Corpus of Linguistically Significant Entities [58.29901964387952]
  専門家が注釈を付けた言語学的に重要なエンティティ(CLSE)のコーパスをリリースする。 CLSEは74種類のセマンティックタイプをカバーし、航空券売機からビデオゲームまで様々なアプリケーションをサポートする。 言語的に代表されるNLG評価ベンチマークを,フランス語,マラティー語,ロシア語の3言語で作成する。
  論文  参考訳（メタデータ） (2022-11-04T12:56:12Z)
• ContractNLI: A Dataset for Document-level Natural Language Inference for Contracts [39.75232199445175]
  契約書に対する文書レベルの自然言語推論(NLI)を提案する。 システムには一連の仮説と契約が与えられ、それぞれの仮説が「関連づけられている」か、「矛盾している」か、「言及されていない」か(中立である)を分類するよう求められる。 これまでで最大のコーパスを607のアノテート契約でリリースしています。
  論文  参考訳（メタデータ） (2021-10-05T03:22:31Z)
• Automatic Extraction of Rules Governing Morphological Agreement [103.78033184221373]
  原文から第一パス文法仕様を抽出する自動フレームワークを開発する。 我々は、世界の多くの言語の文法の中核にあるモルフォシンタクティックな現象である合意を記述する規則の抽出に焦点をあてる。 我々のフレームワークはUniversal Dependenciesプロジェクトに含まれるすべての言語に適用され、有望な結果が得られます。
  論文  参考訳（メタデータ） (2020-10-02T18:31:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。