論文の概要: Automated Smart Contract Summarization via LLMs
- arxiv url: http://arxiv.org/abs/2402.04863v3
- Date: Wed, 21 Feb 2024 14:18:32 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-22 19:17:05.401517
- Title: Automated Smart Contract Summarization via LLMs
- Title(参考訳): LLMによるスマートコントラクトの自動要約
- Authors: Yingjie Mao, Xiaoqi Li, Zongwei Li, Wenkai Li
- Abstract要約: 本稿では,実世界のスマートコントラクト上でのジェミニの評価,MMTransとの比較,マルチモーダルプロンプトを組み合わせてコントラクトコード要約を生成する方法について検討する。
我々は、生成した要約の質を測定するために、広く使われている指標(BLEU、METEOR、ROUGE-L)を採用する。
実験の結果、Gemini-Pro-VisionはMETEORとROUGE-Lのメトリクスの下で3発のプロンプトによって生成されたコードコメントに対して21.17%と21.05%のスコアを達成した。
- 参考スコア(独自算出の注目度): 0.8225825738565354
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Automatic code Summarization generation technology is widely used in the
development and maintenance of smart contracts. In recent years, with the
advent of Large Language Models (LLMs), Gemini has received a lot of attention
as the first Large Multimodal Models (LMMs) to support multimodal input.
However, it is unclear how LMMs can generate contract code summarization from
multimodal inputs. In this paper, we focus on evaluating Gemini on real-world
smart contracts, comparing it to the MMTrans, and exploring how to combine
multimodal prompts to generate a contract code summarization. We adopt several
widely used metrics (BLEU, METEOR, and ROUGE-L) to measure the quality of the
generated summarization. Our experiments show that Gemini-Pro-Vision achieves
21.17\% and 21.05\% scores for code comments generated by three-shot prompts
under METEOR and ROUGE-L metrics. The above scores are better than those
generated by one-shot and five-shot prompts.
- Abstract(参考訳): 自動コード要約生成技術はスマートコントラクトの開発と保守に広く利用されている。
近年,Large Language Models (LLMs) の出現に伴い,Gemini はマルチモーダル入力をサポートする最初のLMM (Large Multimodal Models) として注目されている。
しかし、LMMがマルチモーダル入力から契約コード要約を生成する方法は不明である。
本稿では,実世界のスマートコントラクト上でのGeminiの評価,MMTransとの比較,マルチモーダルプロンプトの組み合わせによる契約コード要約の方法について検討する。
我々は、生成した要約の質を測定するために、広く使われている指標(BLEU、METEOR、ROUGE-L)を採用する。
実験の結果,METEORとROUGE-Lの3ショットプロンプトで生成されたコードコメントに対して,Gemini-Pro-Visionの21.17\%と21.05\%のスコアが得られた。
上のスコアは、ワンショットと5ショットプロンプトで生成されたスコアよりも優れている。
関連論文リスト
- OpenCoder: The Open Cookbook for Top-Tier Code Large Language Models [70.72097493954067]
コードのための大規模言語モデル(LLM)は、コード生成、推論、タスク、エージェントシステムなど、さまざまな領域で必須になっている。
トップクラスのコードLLMであるOpenCoderは、主要なモデルに匹敵するパフォーマンスを達成するだけでなく、研究コミュニティの'オープンクックブック'として機能します。
論文 参考訳(メタデータ) (2024-11-07T17:47:25Z) - Self-Explained Keywords Empower Large Language Models for Code Generation [5.236633572296712]
大規模言語モデル(LLM)は、コード生成において素晴らしいパフォーマンスを達成した。
Sek(textbfSelf-textbfExplained textbfKeywords)は、LLM自体による問題記述における重要な用語を抽出し、説明する。
論文 参考訳(メタデータ) (2024-10-21T12:52:03Z) - Source Code Summarization in the Era of Large Language Models [23.715005053430957]
大規模言語モデル(LLM)は、コード関連のタスクのパフォーマンスを大幅に向上させた。
本稿では,LLMにおけるコード要約の体系的および包括的研究を行う。
論文 参考訳(メタデータ) (2024-07-09T05:48:42Z) - Applying RLAIF for Code Generation with API-usage in Lightweight LLMs [15.366324461797582]
Reinforcement Learning from AI Feedback (RLAIF)は、さまざまな領域で大きな可能性を証明している。
本稿では,軽量 (1B パラメータ) LLM のコード生成能力を改善するための RLAIF フレームワークを提案する。
論文 参考訳(メタデータ) (2024-06-28T17:16:03Z) - RAG-Enhanced Commit Message Generation [8.858678357308726]
コミットメッセージ生成は研究ホットスポットになっている。
手動でコミットメッセージを書くのに時間がかかります。
本稿では,Retrieval-Augmented framework for CommiTメッセージ生成のためのREACTを提案する。
論文 参考訳(メタデータ) (2024-06-08T16:24:24Z) - Comments as Natural Logic Pivots: Improve Code Generation via Comment Perspective [85.48043537327258]
本稿では, MANGO (comMents As Natural loGic pivOts) を提案する。
その結果、MANGOは強いベースラインに基づいてコードパス率を大幅に改善することがわかった。
論理的なコメントの復号化戦略の堅牢性は、考えの連鎖よりも顕著に高い。
論文 参考訳(メタデータ) (2024-04-11T08:30:46Z) - StepCoder: Improve Code Generation with Reinforcement Learning from
Compiler Feedback [58.20547418182074]
2つの主要コンポーネントからなるコード生成の新しいフレームワークであるStepCoderを紹介します。
CCCSは、長いシーケンスのコード生成タスクをCurriculum of Code Completion Subtaskに分割することで、探索課題に対処する。
FGOは、未実行のコードセグメントをマスクすることでのみモデルを最適化し、Fine-Grained Optimizationを提供する。
提案手法は,出力空間を探索し,対応するベンチマークにおいて最先端の手法より優れた性能を発揮する。
論文 参考訳(メタデータ) (2024-02-02T13:14:31Z) - Compressing LLMs: The Truth is Rarely Pure and Never Simple [90.05366363633568]
Knowledge-Intensive Compressed LLM BenchmarKは、圧縮された大言語モデルの評価プロトコルを再定義することを目的としている。
LLM-KICKは、現在のSoTA圧縮方式の多くの有利な利点と不運な点を明らかにしている。
LLM-KICKは、言語理解、推論、生成、テキスト内検索、テキスト内要約などのための圧縮LLMの能力に一様にアクセスできるように設計されている。
論文 参考訳(メタデータ) (2023-10-02T17:42:37Z) - CodeT5+: Open Code Large Language Models for Code Understanding and
Generation [72.1638273937025]
大きな言語モデル (LLM) は膨大なソースコードで事前訓練されており、コードインテリジェンスにおいて顕著な進歩を遂げている。
CodeT5+は、コンポーネントモジュールを柔軟に組み合わせて、幅広い下流のコードタスクに適合させることができるコードのためのエンコーダ-デコーダLLMのファミリーである。
我々は、ゼロショット、微調整、命令調整を含む20以上のコード関連ベンチマークでCodeT5+を広範囲に評価した。
論文 参考訳(メタデータ) (2023-05-13T14:23:07Z) - ContraCLM: Contrastive Learning For Causal Language Model [54.828635613501376]
トークンレベルとシーケンスレベルの両方において,新しいコントラスト学習フレームワークであるContraCLMを提案する。
ContraCLMは表現の識別を強化し、エンコーダのみのモデルとのギャップを埋めることを示す。
論文 参考訳(メタデータ) (2022-10-03T18:56:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。