論文の概要: SCLA: Automated Smart Contract Summarization via LLMs and Semantic Augmentation
- arxiv url: http://arxiv.org/abs/2402.04863v4
- Date: Sat, 17 Aug 2024 03:41:42 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-21 03:47:26.660875
- Title: SCLA: Automated Smart Contract Summarization via LLMs and Semantic Augmentation
- Title(参考訳): SCLA: LLMとSemantic Augmentationによるスマートコントラクトの自動要約
- Authors: Yingjie Mao, Xiaoqi Li, Zongwei Li, Wenkai Li, Xin Wang, Lei Xie,
- Abstract要約: 大規模言語モデル(LLM)には、プロンプトに埋め込まれたコード例からコード要約を生成する能力がある。
コード要約性能を向上させるために,LLMとセマンティック拡張を利用したフレームワークであるSCLAを提案する。
SCLAは他の最先端モデル(CodeBERT、CodeT5、CodeT5+)を上回り、37.53%のBLEU-4、52.54%のMETEOR、56.97%のROUGE-L、63.44%のBLEURTを達成している。
- 参考スコア(独自算出の注目度): 10.235598510921422
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In the rapidly evolving world of blockchain systems, the efficient development and maintenance of smart contracts has become a critical task. Smart contract code summarization can significantly facilitate the maintenance of smart contracts and mitigate their vulnerabilities. Large Language Models (LLMs), such as GPT-4o and Gemini-1.5-Pro, possess the capability to generate code summarizations from code examples embedded in prompts. However, the performance of LLMs in code summarization remains suboptimal compared to fine-tuning-based models (e.g., CodeT5+, CodeBERT). Therefore, we propose SCLA, a framework leveraging LLMs and semantic augmentation to improve code summarization performance. SCLA constructs the smart contract's Abstract Syntax Tree (AST) to extract latent semantics, thereby forming a semantically augmented prompt. For evaluation, we utilize a large-scale dataset comprising 40,000 real-world contracts. Experimental results demonstrate that SCLA, with its enhanced prompt, significantly improves the quality of code summarizations. SCLA surpasses other state-of-the-art models (e.g., CodeBERT, CodeT5, and CodeT5+), achieving 37.53% BLEU-4, 52.54% METEOR, 56.97% ROUGE-L, and 63.44% BLEURT, respectively.
- Abstract(参考訳): 急速に進化するブロックチェーンシステムの世界では、スマートコントラクトの効率的な開発とメンテナンスが重要な課題になっています。
スマートコントラクトコードの要約は、スマートコントラクトのメンテナンスと脆弱性の軽減を著しく促進します。
GPT-4oやGemini-1.5-Proのような大規模言語モデル(LLM)には、プロンプトに埋め込まれたコード例からコード要約を生成する能力がある。
しかし、コード要約におけるLLMの性能は、微調整ベースのモデル(例えば、CodeT5+、CodeBERT)と比較しても最適以下である。
そこで,コード要約性能を向上させるために,LLMと意味拡張を利用したフレームワークであるSCLAを提案する。
SCLAは、スマートコントラクトの抽象構文木(AST)を構築し、潜在意味論を抽出し、意味的に拡張されたプロンプトを形成する。
評価には,4万の現実世界契約からなる大規模データセットを利用する。
実験の結果,SCLAは拡張プロンプトにより,コード要約の品質を著しく向上させることがわかった。
SCLAは他の最先端モデル(CodeBERT、CodeT5、CodeT5+)を上回り、37.53%のBLEU-4、52.54%のMETEOR、56.97%のROUGE-L、63.44%のBLEURTを達成している。
関連論文リスト
- Using Large Language Models for Generating Smart Contracts for Health Insurance from Textual Policies [0.7303392100830282]
我々は、テキストベースのポリシーから健康保険プロセスを自動化するアプリケーションコードを生成する。
我々の手法は、技術詳細のレベルが増大するにつれて出力を生成する。
我々は, GPT-3.5 Turbo, GPT-3.5 Turbo 16K, GPT-4 Turbo, CodeLLaMAを採用している。
論文 参考訳(メタデータ) (2024-07-09T16:40:44Z) - Synthetic Multimodal Question Generation [60.33494376081317]
MMRAG(Multimodal Retrieval Augmented Generation)は,マルチモーダル文書に対する質問応答のための強力な手法である。
マルチモーダル文書から直接質問と回答のペアを生成する合成データ生成フレームワークSMMQGを提案する。
SMMQGを用いて、ウィキペディア文書上の1024の質問のMMRAGデータセットを生成し、それを用いて最先端のモデルを評価する。
論文 参考訳(メタデータ) (2024-07-02T12:57:42Z) - Needle In A Multimodal Haystack [79.81804334634408]
本稿では,従来のMLLMの長大なマルチモーダル文書の理解能力を評価するために設計された,最初のベンチマークを示す。
我々のベンチマークには、マルチモーダル検索、カウント、推論の3種類の評価タスクが含まれている。
既存のモデルには、これらのタスク、特に視覚中心の評価において、改善の余地がまだ残っていることを観察する。
論文 参考訳(メタデータ) (2024-06-11T13:09:16Z) - Exploring the Capabilities of Large Multimodal Models on Dense Text [58.82262549456294]
我々は170万の質問応答対を持つDT-VQAデータセットを提案する。
本稿では,GPT4V,Gemini,および各種オープンソースLMMの総合評価を行う。
自動的にラベル付けされたトレーニングデータセットであっても、モデルパフォーマンスの大幅な改善が達成できる。
論文 参考訳(メタデータ) (2024-05-09T07:47:25Z) - Gemini in Reasoning: Unveiling Commonsense in Multimodal Large Language
Models [14.30980373935713]
Googleは、マルチモーダル統合に特化した最先端のMLLMであるGeminiを発表した。
その進歩にもかかわらず、予備ベンチマークは、ジェミニが常識的推論タスクにおいてGPTモデルに遅れていることを示している。
本研究は,複雑な推論タスクにおけるジェミニのパフォーマンスを徹底的に評価する。
論文 参考訳(メタデータ) (2023-12-29T15:57:49Z) - SEED-Bench-2: Benchmarking Multimodal Large Language Models [67.28089415198338]
MLLM(Multimodal large language model)は、最近、テキストだけでなく、インターリーブされたマルチモーダル入力の画像を生成できることを実証した。
SEED-Bench-2は、正確な人間のアノテーションを持つ24Kの多重選択質問で構成されており、27次元にまたがっている。
我々は,23個の著名なオープンソースMLLMの性能を評価し,貴重な観察結果を要約した。
論文 参考訳(メタデータ) (2023-11-28T05:53:55Z) - An Empirical Study of AI-based Smart Contract Creation [4.801455786801489]
スマートコントラクト生成のためのChatGPTやGoogle Palm2のような大規模言語モデル(LLM)は、AIペアプログラマとして初めて確立されたインスタンスであるようだ。
本研究の目的は,LLMがスマートコントラクトに対して提供する生成コードの品質を評価することである。
論文 参考訳(メタデータ) (2023-08-05T21:38:57Z) - MM-Vet: Evaluating Large Multimodal Models for Integrated Capabilities [159.9847317300497]
複雑なマルチモーダルタスクにおける大規模マルチモーダルモデル(LMM)を評価する評価ベンチマークであるMM-Vetを提案する。
近年のLMMは、黒板に書かれた数学の問題を解くこと、ニュース画像の出来事や有名人を推論すること、視覚的ジョークを説明することなど、様々な興味深い能力を示している。
論文 参考訳(メタデータ) (2023-08-04T17:59:47Z) - A Survey on Multimodal Large Language Models [71.63375558033364]
GPT-4Vで表されるマルチモーダル大言語モデル(MLLM)は、新たな研究ホットスポットとなっている。
本稿では,MLLMの最近の進歩を追跡・要約することを目的とする。
論文 参考訳(メタデータ) (2023-06-23T15:21:52Z) - Self-Agreement: A Framework for Fine-tuning Language Models to Find
Agreement among Diverse Opinions [1.6752182911522517]
自己集約(Self-Agreement)は、合意を自律的に見つけるための、大規模言語モデルを微調整するための新しいフレームワークである。
提案手法では,生成事前学習型トランスフォーマー3を用いて,質問データセットの各質問に対して複数の意見を生成する。
変換器ベースモデル(BERT)からの双方向エンコーダ表現は、一致スコアが最も高いものを選択する。
注目すべきは、我々のSelf-Agreementフレームワークによって微調整された事前学習LLMは、パラメータの1/25しか持たないGPT-3に匹敵する性能を達成することである。
論文 参考訳(メタデータ) (2023-05-19T06:27:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。