論文の概要: Automated Smart Contract Summarization via LLMs
- arxiv url: http://arxiv.org/abs/2402.04863v2
- Date: Thu, 8 Feb 2024 06:09:16 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-09 11:14:50.546035
- Title: Automated Smart Contract Summarization via LLMs
- Title(参考訳): LLMによるスマートコントラクトの自動要約
- Authors: Yingjie Mao, Xiaoqi Li, Zongwei Li, Wenkai Li
- Abstract要約: 我々は,実世界のスマートコントラクトを評価することに集中し,それをMMTransと比較し,マルチモーダルプロンプトを組み合わせてコントラクトコード要約を生成する方法について検討する。
実験の結果,METEORとROUGELのメトリクスであるGemini-Pro-Visionは,3発のプロンプトで生成されたコードコメントに対して21.17%,21.05%のスコアを得た。
- 参考スコア(独自算出の注目度): 0.8225825738565354
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Automatic code Summarization generation technology is widely used in the
development and maintenance of smart contracts. In recent years, with the
advent of Large Language Models (LLMs), Gemini has received a lot of attention
as the first Large Multimodal models (LMMs) to support multimodal input.
However, it is unclear how LMMs can generate contract code summarization from
multimodal inputs. In this paper, we focus on evaluating Gemini on real-world
smart contracts, comparing it to the MMTrans, and exploring how to combine
multimodal prompts to generate a contract code summarization. We used several
widely used metrics (BLEU, METEOR, and ROUGE-L) to measure the quality of the
generated summarization. Our experiments show that METEOR and ROUGEL metrics,
Gemini-Pro-Vision achieves 21.17% and 21.05% scores for code comments generated
by three-shot prompts. These scores are better than those generated by one-shot
and five-shot prompts.
- Abstract(参考訳): 自動コード要約生成技術はスマートコントラクトの開発と保守に広く利用されている。
近年,Large Language Models (LLMs) の出現に伴い,Gemini はマルチモーダル入力をサポートする最初のLMM (Large Multimodal Model) として注目されている。
しかし、LMMがマルチモーダル入力から契約コード要約を生成する方法は不明である。
本稿では,実世界のスマートコントラクト上でのGeminiの評価,MMTransとの比較,マルチモーダルプロンプトの組み合わせによる契約コード要約の方法について検討する。
我々は、生成した要約の質を測定するために、いくつかの広く使われている指標(BLEU、METEOR、ROUGE-L)を使用した。
実験の結果,METEORとROUGELのメトリクスであるGemini-Pro-Visionが3発のプロンプトで生成されたコードコメントに対して21.17%と21.05%のスコアを達成した。
これらのスコアは、ワンショットプロンプトと5ショットプロンプトで生成されたスコアよりも優れている。
関連論文リスト
- Gemini in Reasoning: Unveiling Commonsense in Multimodal Large Language
Models [14.30980373935713]
Googleは、マルチモーダル統合に特化した最先端のMLLMであるGeminiを発表した。
その進歩にもかかわらず、予備ベンチマークは、ジェミニが常識的推論タスクにおいてGPTモデルに遅れていることを示している。
本研究は,複雑な推論タスクにおけるジェミニのパフォーマンスを徹底的に評価する。
論文 参考訳(メタデータ) (2023-12-29T15:57:49Z) - SEED-Bench-2: Benchmarking Multimodal Large Language Models [67.28089415198338]
MLLM(Multimodal large language model)は、最近、テキストだけでなく、インターリーブされたマルチモーダル入力の画像を生成できることを実証した。
SEED-Bench-2は、正確な人間のアノテーションを持つ24Kの多重選択質問で構成されており、27次元にまたがっている。
我々は,23個の著名なオープンソースMLLMの性能を評価し,貴重な観察結果を要約した。
論文 参考訳(メタデータ) (2023-11-28T05:53:55Z) - MAgIC: Investigation of Large Language Model Powered Multi-Agent in
Cognition, Adaptability, Rationality and Collaboration [102.41118020705876]
大規模言語モデル(LLM)は自然言語処理の分野で大きな進歩を遂げている。
アプリケーションがマルチエージェント環境に拡張されるにつれ、包括的な評価フレームワークの必要性が高まっている。
この研究は、マルチエージェント設定内でLLMを評価するために特別に設計された新しいベンチマークフレームワークを導入している。
論文 参考訳(メタデータ) (2023-11-14T21:46:27Z) - NExT-GPT: Any-to-Any Multimodal LLM [81.07030112038474]
我々は,NExT-GPTという汎用的なMM-LLMシステムを提案する。
NExT-GPTは入力を知覚し、テキスト、画像、ビデオ、オーディオの任意の組み合わせで出力を生成することができる。
モーダリティ・スイッチング・インストラクション・チューニング(MosIT)を導入し,複雑なモーダリティ・セマンティック・理解とコンテンツ生成によってNExT-GPTが強化されたMosITの高品質なデータセットを手作業でキュレートする。
論文 参考訳(メタデータ) (2023-09-11T15:02:25Z) - An Empirical Study of AI-based Smart Contract Creation [4.801455786801489]
スマートコントラクト生成のためのChatGPTやGoogle Palm2のような大規模言語モデル(LLM)は、AIペアプログラマとして初めて確立されたインスタンスであるようだ。
本研究の目的は,LLMがスマートコントラクトに対して提供する生成コードの品質を評価することである。
論文 参考訳(メタデータ) (2023-08-05T21:38:57Z) - MM-Vet: Evaluating Large Multimodal Models for Integrated Capabilities [159.9847317300497]
複雑なマルチモーダルタスクにおける大規模マルチモーダルモデル(LMM)を評価する評価ベンチマークであるMM-Vetを提案する。
近年のLMMは、黒板に書かれた数学の問題を解くこと、ニュース画像の出来事や有名人を推論すること、視覚的ジョークを説明することなど、様々な興味深い能力を示している。
論文 参考訳(メタデータ) (2023-08-04T17:59:47Z) - A Survey on Multimodal Large Language Models [71.63375558033364]
GPT-4Vで表されるマルチモーダル大言語モデル(MLLM)は、新たな研究ホットスポットとなっている。
本稿では,MLLMの最近の進歩を追跡・要約することを目的とする。
論文 参考訳(メタデータ) (2023-06-23T15:21:52Z) - MME: A Comprehensive Evaluation Benchmark for Multimodal Large Language Models [73.86954509967416]
マルチモーダル言語モデル(MLLM)は、マルチモーダルタスクを実行するために強力なLLMに依存している。
本稿では,MLLM 評価ベンチマーク MME について述べる。
知覚能力と認知能力の両方を合計14のサブタスクで測定する。
論文 参考訳(メタデータ) (2023-06-23T09:22:36Z) - Self-Agreement: A Framework for Fine-tuning Language Models to Find
Agreement among Diverse Opinions [1.6752182911522517]
自己集約(Self-Agreement)は、合意を自律的に見つけるための、大規模言語モデルを微調整するための新しいフレームワークである。
提案手法では,生成事前学習型トランスフォーマー3を用いて,質問データセットの各質問に対して複数の意見を生成する。
変換器ベースモデル(BERT)からの双方向エンコーダ表現は、一致スコアが最も高いものを選択する。
注目すべきは、我々のSelf-Agreementフレームワークによって微調整された事前学習LLMは、パラメータの1/25しか持たないGPT-3に匹敵する性能を達成することである。
論文 参考訳(メタデータ) (2023-05-19T06:27:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。