Fugu-MT 論文翻訳(概要): Detection Made Easy: Potentials of Large Language Models for Solidity Vulnerabilities

論文の概要: Detection Made Easy: Potentials of Large Language Models for Solidity Vulnerabilities

arxiv url: http://arxiv.org/abs/2409.10574v1
Date: Sun, 15 Sep 2024 13:16:58 GMT
ステータス: 処理完了
システム内更新日: 2024-09-18 21:09:36.328367
Title: Detection Made Easy: Potentials of Large Language Models for Solidity Vulnerabilities
Title（参考訳）: 検出が容易になった: ソリティー脆弱性のための大規模言語モデルの可能性
Authors: Md Tauseef Alam, Raju Halder, Abyayananda Maiti,
Abstract要約: 本稿では,大規模言語モデル (LLM) の使用状況と,そのソリティにおけるTop Ten脆弱性の検出能力について,包括的に検討する。このデータセットは、ベンチマークを使用して、GPT-3.5 TurboやGPT-4o Miniといったクローズドソースモデルとともに、CodeLlama、Llama2、CodeT5、FalconといったオープンソースのLLMのパフォーマンスを比較します。以上の結果から,SmartVDはオープンソースモデルよりも優れており,GPT-3.5やGPといったクローズドソースベースモデルよりも優れていることがわかった。
参考スコア（独自算出の注目度）: 2.6499018693213316
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: The large-scale deployment of Solidity smart contracts on the Ethereum mainnet has increasingly attracted financially-motivated attackers in recent years. A few now-infamous attacks in Ethereum's history includes DAO attack in 2016 (50 million dollars lost), Parity Wallet hack in 2017 (146 million dollars locked), Beautychain's token BEC in 2018 (900 million dollars market value fell to 0), and NFT gaming blockchain breach in 2022 ($600 million in Ether stolen). This paper presents a comprehensive investigation of the use of large language models (LLMs) and their capabilities in detecting OWASP Top Ten vulnerabilities in Solidity. We introduce a novel, class-balanced, structured, and labeled dataset named VulSmart, which we use to benchmark and compare the performance of open-source LLMs such as CodeLlama, Llama2, CodeT5 and Falcon, alongside closed-source models like GPT-3.5 Turbo and GPT-4o Mini. Our proposed SmartVD framework is rigorously tested against these models through extensive automated and manual evaluations, utilizing BLEU and ROUGE metrics to assess the effectiveness of vulnerability detection in smart contracts. We also explore three distinct prompting strategies-zero-shot, few-shot, and chain-of-thought-to evaluate the multi-class classification and generative capabilities of the SmartVD framework. Our findings reveal that SmartVD outperforms its open-source counterparts and even exceeds the performance of closed-source base models like GPT-3.5 and GPT-4 Mini. After fine-tuning, the closed-source models, GPT-3.5 Turbo and GPT-4o Mini, achieved remarkable performance with 99% accuracy in detecting vulnerabilities, 94% in identifying their types, and 98% in determining severity. Notably, SmartVD performs best with the `chain-of-thought' prompting technique, whereas the fine-tuned closed-source models excel with the `zero-shot' prompting approach.
Abstract（参考訳）: Ethereumのメインネット上でのSolidityスマートコントラクトの大規模展開は、近年、経済的に動機づけられた攻撃者を惹きつけている。 Ethereumの歴史では、2016年のDAO攻撃(5000万ドルの損失)、2017年のParity Walletハック(1億4600万ドルのロック)、2018年のBeautychainのトークンBEC(9億ドルの市場価値が0に低下)、2022年のNFTゲームブロックチェーン侵害(6億ドルの盗難)など、悪名高い攻撃がいくつかある。本稿では,大規模言語モデル(LLM)の使用状況とOWASPトップ10脆弱性の検出能力について,包括的に検討する。このデータセットは、GPT-3.5 TurboやGPT-4o Miniといったクローズドソースモデルとともに、CodeLlama、Llama2、CodeT5、FalconといったオープンソースのLLMのパフォーマンスをベンチマークし比較するために使用します。提案するSmartVDフレームワークは,BLEUとROUGEのメトリクスを用いて,スマートコントラクトにおける脆弱性検出の有効性を評価することにより,これらのモデルに対して厳格に検証する。また、SmartVDフレームワークのマルチクラス分類と生成能力を評価するために、ゼロショット、少数ショット、チェーンオブ思考の3つの異なる戦略についても検討する。その結果,SmartVDはオープンソースモデルよりも優れており,GPT-3.5やGPT-4 Miniといったクローズドソースベースモデルよりも優れていることがわかった。微調整後、GPT-3.5 TurboとGPT-4o Miniは、脆弱性の検出に99%の精度、タイプ識別に94%、重大度判定に98%の精度で優れた性能を達成した。特に、SmartVDは 'chain-of- Thought' プロンプト技術で優れているが、微調整されたクローズドソースモデルは 'zero-shot' プロンプトアプローチで優れている。

関連論文リスト

Iterative Self-Tuning LLMs for Enhanced Jailbreaking Capabilities [63.603861880022954]
本稿では,対戦型LDMをジェイルブレイク能力に富んだ反復的自己調整プロセスであるADV-LLMを紹介する。我々のフレームワークは,様々なオープンソース LLM 上で ASR を100% 近く達成しながら,逆接接尾辞を生成する計算コストを大幅に削減する。 Llama3のみに最適化されているにもかかわらず、GPT-3.5では99%のASR、GPT-4では49%のASRを達成している。
論文参考訳（メタデータ） (2024-10-24T06:36:12Z)
Leveraging Fine-Tuned Language Models for Efficient and Accurate Smart Contract Auditing [5.65127016235615]
本稿では,スマートコントラクト監査において,より小型で微調整されたモデルを用いて,同等あるいは優れた結果が得られる可能性について検討する。本稿では,スマートコントラクト監査のための費用対効果の高い特化モデルの開発を目的としたFTSmartAuditフレームワークを紹介する。コントリビューションには,(1)データ準備,トレーニング,評価,継続的な学習を効率化するシングルタスク学習フレームワーク,(2)ドメイン固有知識蒸留を利用した堅牢なデータセット生成手法,(3)モデルの正確性と堅牢性を維持するための適応型学習戦略などが含まれている。
論文参考訳（メタデータ） (2024-10-17T09:09:09Z)
All Your Tokens are Belong to Us: Demystifying Address Verification Vulnerabilities in Solidity Smart Contracts [24.881450403784786]
検証のプロセスにおける脆弱性は、大きなセキュリティ問題を引き起こす可能性がある。静的EVMオペコードシミュレーションに基づく軽量なテナントアナライザであるAVVERIFIERの設計と実装を行う。 500万以上のスマートコントラクトを大規模に評価した結果,コミュニティが公表していない812の脆弱性のあるスマートコントラクトを特定しました。
論文参考訳（メタデータ） (2024-05-31T01:02:07Z)
DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Language Model [118.06260386652778]
We present DeepSeek-V2, a strong Mixture-of-Experts (MoE) language model characterized by economical training and efficient inference。 DeepSeek-V2は、MLA(Multi-head Latent Attention)やDeepSeekMoEといった革新的なアーキテクチャを採用している。 DeepSeek-V2はDeepSeek 67Bと比較して大幅に性能が向上し、トレーニングコストは42.5%削減された。
論文参考訳（メタデータ） (2024-05-07T15:56:43Z)
Vulnerability Scanners for Ethereum Smart Contracts: A Large-Scale Study [44.25093111430751]
2023年だけでも、そのような脆弱性は数十億ドルを超える巨額の損失をもたらした。スマートコントラクトの脆弱性を検出し、軽減するために、さまざまなツールが開発されている。本研究では,既存のセキュリティスキャナの有効性と,現在も継続している脆弱性とのギャップについて検討する。
論文参考訳（メタデータ） (2023-12-27T11:26:26Z)
Data-Free Hard-Label Robustness Stealing Attack [67.41281050467889]
本稿では,Data-Free Hard-Label Robustness Stealing(DFHL-RS)攻撃について紹介する。ターゲットモデルのハードラベルをクエリするだけで、モデル精度とロバスト性の両方を盗むことができる。本手法は,AutoAttackに対して77.86%,頑健な39.51%の精度を実現する。
論文参考訳（メタデータ） (2023-12-10T16:14:02Z)
VulnSense: Efficient Vulnerability Detection in Ethereum Smart Contracts by Multimodal Learning with Graph Neural Network and Language Model [0.0]
VulnSenseはスマートコントラクトの脆弱性を効率的に検出するための包括的なアプローチである。我々のフレームワークは、ソースコード、オプコードシーケンス、制御フローグラフを含むスマートコントラクトの3種類の機能を組み合わせています。我々は、変換器(BERT)、双方向長短期記憶(BiLSTM)、グラフニューラルネットワーク(GNN)モデルを用いて、これらの特徴を抽出し分析する。実験の結果,脆弱なスマートコントラクトの3つのカテゴリで平均77.96%の精度を達成し,提案手法の優れた性能を示した。
論文参考訳（メタデータ） (2023-09-15T15:26:44Z)
The False Promise of Imitating Proprietary LLMs [158.65692029352584]
より弱い言語モデルを安価に改善するための新しい方法は、より強力なモデルからの出力に対してそれを微調整することである。このアプローチは、より弱いオープンソースモデルを使用して、プロプライエタリなモデルの機能を安価に模倣することを目指している。まず、様々なベースモデルサイズを用いてChatGPTを模倣する一連のLMを微調整する。次に、群衆レーダと標準NLPベンチマークを用いてモデルを評価する。
論文参考訳（メタデータ） (2023-05-25T05:00:12Z)
Publishing Efficient On-device Models Increases Adversarial Vulnerability [58.6975494957865]
本稿では,大規模モデルのオンデバイス版を公開する際のセキュリティ上の考慮事項について検討する。まず、敵がデバイス上のモデルを悪用し、大きなモデルを攻撃しやすくすることを示す。次に、フルスケールと効率的なモデルとの類似性が増加するにつれて、脆弱性が増加することを示す。
論文参考訳（メタデータ） (2022-12-28T05:05:58Z)
A Bytecode-based Approach for Smart Contract Classification [10.483992071557195]
ブロックチェーンプラットフォームにデプロイされるスマートコントラクトの数は指数関数的に増えているため、ユーザは手動のスクリーニングによって望ましいサービスを見つけることが難しくなっている。スマートコントラクト分類に関する最近の研究は、契約ソースコードに基づく自然言語処理(NLP)ソリューションに焦点を当てている。本稿では,これらの問題を解決するために,ソースコードの代わりにコントラクトバイトコードの特徴に基づく分類モデルを提案する。
論文参考訳（メタデータ） (2021-05-31T03:00:29Z)
ESCORT: Ethereum Smart COntRacTs Vulnerability Detection using Deep Neural Network and Transfer Learning [80.85273827468063]
既存の機械学習ベースの脆弱性検出方法は制限され、スマートコントラクトが脆弱かどうかのみ検査される。スマートコントラクトのための初のDeep Neural Network(DNN)ベースの脆弱性検出フレームワークであるESCORTを提案する。 ESCORTは6種類の脆弱性に対して平均95%のF1スコアを達成し,検出時間は契約あたり0.02秒であることを示す。
論文参考訳（メタデータ） (2021-03-23T15:04:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。