論文の概要: Using Large Language Models for Generating Smart Contracts for Health Insurance from Textual Policies
- arxiv url: http://arxiv.org/abs/2407.07019v1
- Date: Tue, 9 Jul 2024 16:40:44 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-10 17:17:48.528033
- Title: Using Large Language Models for Generating Smart Contracts for Health Insurance from Textual Policies
- Title(参考訳): 大規模言語モデルを用いたテキスト政策による健康保険のスマートコントラクト生成
- Authors: Inwon Kang, William Van Woensel, Oshani Seneviratne,
- Abstract要約: 我々は、テキストベースのポリシーから健康保険プロセスを自動化するアプリケーションコードを生成する。
我々の手法は、技術詳細のレベルが増大するにつれて出力を生成する。
我々は, GPT-3.5 Turbo, GPT-3.5 Turbo 16K, GPT-4 Turbo, CodeLLaMAを採用している。
- 参考スコア(独自算出の注目度): 0.7303392100830282
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We explore using Large Language Models (LLMs) to generate application code that automates health insurance processes from text-based policies. We target blockchain-based smart contracts as they offer immutability, verifiability, scalability, and a trustless setting: any number of parties can use the smart contracts, and they need not have previously established trust relationships with each other. Our methodology generates outputs at increasing levels of technical detail: (1) textual summaries, (2) declarative decision logic, and (3) smart contract code with unit tests. We ascertain LLMs are good at the task (1), and the structured output is useful to validate tasks (2) and (3). Declarative languages (task 2) are often used to formalize healthcare policies, but their execution on blockchain is non-trivial. Hence, task (3) attempts to directly automate the process using smart contracts. To assess the LLM output, we propose completeness, soundness, clarity, syntax, and functioning code as metrics. Our evaluation employs three health insurance policies (scenarios) with increasing difficulty from Medicare's official booklet. Our evaluation uses GPT-3.5 Turbo, GPT-3.5 Turbo 16K, GPT-4, GPT-4 Turbo and CodeLLaMA. Our findings confirm that LLMs perform quite well in generating textual summaries. Although outputs from tasks (2)-(3) are useful starting points, they require human oversight: in multiple cases, even "runnable" code will not yield sound results; the popularity of the target language affects the output quality; and more complex scenarios still seem a bridge too far. Nevertheless, our experiments demonstrate the promise of LLMs for translating textual process descriptions into smart contracts.
- Abstract(参考訳): テキストベースのポリシーから健康保険プロセスを自動化するアプリケーションコードを生成するために,LLM(Large Language Models)について検討する。
ブロックチェーンベースのスマートコントラクトをターゲットにして、不変性、検証可能性、スケーラビリティ、信頼性のない設定を提供しています。
本手法は,(1)テキスト要約,(2)宣言的決定論理,(3)単体テストによるスマートコントラクトコードなど,技術的詳細度の高い出力を生成する。
LLM はタスク(1) に優れており、構造化された出力はタスク (2) と (3) の検証に有用である。
宣言言語(タスク)
2.2は医療ポリシーの形式化によく使用されるが、ブロックチェーン上での実行は簡単ではない。
したがって、タスク(3)はスマートコントラクトを使ってプロセスを直接自動化しようとする。
LLMの出力を評価するために、完全性、健全性、明瞭性、構文、機能的コードなどをメトリクスとして提案する。
本評価では,メディケアの公式ブックレットの難しさを増す3つの健康保険政策(scenarios)を取り入れた。
GPT-3.5 Turbo, GPT-3.5 Turbo 16K, GPT-4, GPT-4 Turbo, CodeLLaMAを用いた。
以上の結果から,LLMはテキスト要約生成に極めて有効であることが確認された。
タスク (2)-(3) からの出力は有用な出発点であるが、人間の監視を必要とする。複数のケースにおいて、"実行可能" なコードでさえ健全な結果をもたらすことはない。
それでも本実験では,テキストプロセス記述をスマートコントラクトに翻訳するLLMの可能性を実証している。
関連論文リスト
- Software Vulnerability and Functionality Assessment using LLMs [0.8057006406834466]
我々は,Large Language Models (LLMs) がコードレビューに役立つかどうかを検討する。
我々の調査は、良質なレビューに欠かせない2つの課題に焦点を当てている。
論文 参考訳(メタデータ) (2024-03-13T11:29:13Z) - CodeMind: A Framework to Challenge Large Language Models for Code Reasoning [1.4027589547318842]
大規模言語モデル(LLM)のコード推論能力を評価するために設計されたフレームワークであるCodeMindを紹介する。
CodeMindは、Independent Execution Reasoning (IER)、Dependent Execution Reasoning (DER)、Specification Reasoning (SR)の3つのコード推論タスクをサポートしている。
論文 参考訳(メタデータ) (2024-02-15T02:24:46Z) - Code Prompting Elicits Conditional Reasoning Abilities in Text+Code LLMs [65.2379940117181]
自然言語の問題をコードに変換する一連のプロンプトであるコードプロンプトを導入します。
コードプロンプトは複数のLLMに対して高速に向上することがわかった。
GPT 3.5を解析した結果,入力問題のコードフォーマッティングが性能向上に不可欠であることが判明した。
論文 参考訳(メタデータ) (2024-01-18T15:32:24Z) - kNN-ICL: Compositional Task-Oriented Parsing Generalization with Nearest
Neighbor In-Context Learning [50.40636157214161]
Task-Oriented Parsing (TOP)により、会話アシスタントは自然言語で表現されたユーザーコマンドを解釈できる。
LLMは、自然言語のプロンプトに基づいて、コンピュータプログラムにおいて印象的な性能を達成した。
本稿では,LLMのセマンティック解析機能を活用することに焦点を当てる。
論文 参考訳(メタデータ) (2023-12-17T17:26:50Z) - ML-Bench: Evaluating Large Language Models and Agents for Machine Learning Tasks on Repository-Level Code [76.84199699772903]
ML-Benchは、既存のコードリポジトリを利用してタスクを実行する現実世界のプログラミングアプリケーションに根ざしたベンチマークである。
LLM(Large Language Model)とAIエージェントの両方を評価するために、事前に定義されたデプロイメント環境でLLMのテキスト-コード変換を評価するML-LLM-Benchと、Linuxサンドボックス環境でエンドツーエンドのタスク実行で自律エージェントをテストするML-Agent-Benchの2つの設定が採用されている。
論文 参考訳(メタデータ) (2023-11-16T12:03:21Z) - BOOST: Harnessing Black-Box Control to Boost Commonsense in LMs'
Generation [60.77990074569754]
本稿では,凍結した事前学習言語モデルを,より汎用的な生成に向けて操る,計算効率のよいフレームワークを提案する。
具体的には、まず、文に常識的スコアを割り当てる参照なし評価器を構築する。
次に、スコアラをコモンセンス知識のオラクルとして使用し、NADOと呼ばれる制御可能な生成法を拡張して補助ヘッドを訓練する。
論文 参考訳(メタデータ) (2023-10-25T23:32:12Z) - LINC: A Neurosymbolic Approach for Logical Reasoning by Combining
Language Models with First-Order Logic Provers [60.009969929857704]
論理的推論は、科学、数学、社会に潜在的影響を与える可能性のある人工知能にとって重要なタスクである。
本研究では、LINCと呼ばれるモジュール型ニューロシンボリックプログラミングのようなタスクを再構成する。
我々は,FOLIOとProofWriterのバランスの取れたサブセットに対して,ほぼすべての実験条件下で,3つの異なるモデルに対して顕著な性能向上を観察した。
論文 参考訳(メタデータ) (2023-10-23T17:58:40Z) - Large Language Model-Aware In-Context Learning for Code Generation [75.68709482932903]
大規模言語モデル(LLM)は、コード生成において印象的なコンテキスト内学習(ICL)能力を示している。
コード生成のためのLAIL (LLM-Aware In-context Learning) という新しい学習ベース選択手法を提案する。
論文 参考訳(メタデータ) (2023-10-15T06:12:58Z) - AskIt: Unified Programming Interface for Programming with Large Language
Models [0.0]
大規模言語モデル(LLM)は創発能力として知られるユニークな現象を示し、多くのタスクにまたがって適応性を示す。
本稿では,LLM用に特別に設計されたドメイン固有言語であるAskItを紹介する。
50タスクにわたって、AskItは簡潔なプロンプトを生成し、ベンチマークよりも16.14パーセントのプロンプト長の削減を実現した。
論文 参考訳(メタデータ) (2023-08-29T21:44:27Z) - An Empirical Study of AI-based Smart Contract Creation [4.801455786801489]
スマートコントラクト生成のためのChatGPTやGoogle Palm2のような大規模言語モデル(LLM)は、AIペアプログラマとして初めて確立されたインスタンスであるようだ。
本研究の目的は,LLMがスマートコントラクトに対して提供する生成コードの品質を評価することである。
論文 参考訳(メタデータ) (2023-08-05T21:38:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。