論文の概要: Evaluation of ChatGPT's Smart Contract Auditing Capabilities Based on Chain of Thought

• arxiv url: http://arxiv.org/abs/2402.12023v1
• Date: Mon, 19 Feb 2024 10:33:29 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-20 17:02:06.244113
• Title: Evaluation of ChatGPT's Smart Contract Auditing Capabilities Based on Chain of Thought
• Title（参考訳）: 思考の連鎖に基づくChatGPTのスマートコントラクト監査能力の評価
• Authors: Yuying Du and Xueyan Tang
• Abstract要約: 本研究は,GPT-4モデルを用いたスマートコントラクトセキュリティ監査の強化の可能性を検討する。 732の脆弱性を含むSolidiFI-benchmark脆弱性ライブラリから、35のスマートコントラクトのデータセットを使用しました。 GPT-4は96.6%の精度でスマートコントラクトの脆弱性を検出できたが、リコールは37.8%、F1スコアは41.1%であった。
• 参考スコア（独自算出の注目度）: 8.04987973069845
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Smart contracts, as a key component of blockchain technology, play a crucial role in ensuring the automation of transactions and adherence to protocol rules. However, smart contracts are susceptible to security vulnerabilities, which, if exploited, can lead to significant asset losses. This study explores the potential of enhancing smart contract security audits using the GPT-4 model. We utilized a dataset of 35 smart contracts from the SolidiFI-benchmark vulnerability library, containing 732 vulnerabilities, and compared it with five other vulnerability detection tools to evaluate GPT-4's ability to identify seven common types of vulnerabilities. Moreover, we assessed GPT-4's performance in code parsing and vulnerability capture by simulating a professional auditor's auditing process using CoT(Chain of Thought) prompts based on the audit reports of eight groups of smart contracts. We also evaluated GPT-4's ability to write Solidity Proof of Concepts (PoCs). Through experimentation, we found that GPT-4 performed poorly in detecting smart contract vulnerabilities, with a high Precision of 96.6%, but a low Recall of 37.8%, and an F1-score of 41.1%, indicating a tendency to miss vulnerabilities during detection. Meanwhile, it demonstrated good contract code parsing capabilities, with an average comprehensive score of 6.5, capable of identifying the background information and functional relationships of smart contracts; in 60% of the cases, it could write usable PoCs, suggesting GPT-4 has significant potential application in PoC writing. These experimental results indicate that GPT-4 lacks the ability to detect smart contract vulnerabilities effectively, but its performance in contract code parsing and PoC writing demonstrates its significant potential as an auxiliary tool in enhancing the efficiency and effectiveness of smart contract security audits.
• Abstract（参考訳）: ブロックチェーン技術の主要なコンポーネントであるスマートコントラクトは、トランザクションの自動化とプロトコルルールの遵守を保証する上で重要な役割を果たす。 しかし、スマートコントラクトはセキュリティ上の脆弱性に影響を受けやすいため、悪用されると大きな資産損失につながる可能性がある。 本研究は,GPT-4モデルを用いたスマートコントラクトセキュリティ監査の強化の可能性を検討する。 732の脆弱性を含むsolidifi-benchmark脆弱性ライブラリの35のスマートコントラクトのデータセットを使用して,gpt-4の一般的な7種類の脆弱性を識別する能力を評価するために,他の5つの脆弱性検出ツールと比較した。 さらに,8つのスマートコントラクトの監査報告に基づいて,専門家の監査プロセスをCoT(Chain of Thought)プロンプトでシミュレートすることで,GPT-4のコード解析と脆弱性キャプチャのパフォーマンスを評価した。 また,GPT-4による概念の固性証明 (PoC) の記述能力も評価した。 実験の結果、GPT-4は96.6%の精度でスマートコントラクトの脆弱性を検出できたが、リコールは37.8%、F1スコアは41.1%で、検出中に脆弱性を見逃す傾向が見られた。 一方で、スマートコントラクトの背景情報と機能的関係を識別可能な、平均6.5の総合スコアで、優れたコントラクトコード解析能力を示した。 これらの実験結果は、gpt-4はスマートコントラクトの脆弱性を効果的に検出する能力が欠けていることを示しているが、そのコントラクトコード解析とpoc書き込みのパフォーマンスは、スマートコントラクトセキュリティ監査の効率と有効性を高める補助ツールとして、その大きな可能性を証明している。

関連論文リスト

• Retrieval Augmented Generation Integrated Large Language Models in Smart Contract Vulnerability Detection [0.0]
  分散ファイナンス(DeFi)には、スマートコントラクトの脆弱性による大きな損失が伴っている。 攻撃が頻発するにつれて、監査サービスの必要性と需要が高まっている。 本研究では,大規模言語モデル(LLM)とRAG(Retrieval-Augmented Generation)を統合することにより,既存のフレームワークを構築する。
  論文  参考訳（メタデータ） (2024-07-20T10:46:42Z)
• A Context-Driven Approach for Co-Auditing Smart Contracts with The Support of GPT-4 code interpreter [15.28361088402754]
  本稿では,スマートコントラクト・コオーディティングのためのコンテキスト駆動型プロンプト手法を提案する。 このアプローチでは、コンテキストスコープと拡張のための3つのテクニックを採用し、長いコードを自己完結したコードセグメントに分割するコードスコープを包含する。 本法では,脆弱な機能に対する検出率は96%であり,ネイティブプロンプト法では53%に過ぎなかった。
  論文  参考訳（メタデータ） (2024-06-26T05:14:35Z)
• Unveiling the Safety of GPT-4o: An Empirical Study using Jailbreak Attacks [65.84623493488633]
  本稿では,GPT-4oのジェイルブレイク攻撃に対する厳密な評価を行う。 新たに導入されたオーディオモダリティは、GPT-4oに対するジェイルブレイク攻撃のための新しい攻撃ベクトルを開く。 既存のブラックボックスマルチモーダル・ジェイルブレイク攻撃は、GPT-4oとGPT-4Vに対してほとんど効果がない。
  論文  参考訳（メタデータ） (2024-06-10T14:18:56Z)
• Decoding Compressed Trust: Scrutinizing the Trustworthiness of Efficient LLMs Under Compression [109.23761449840222]
  本研究は,Large Language Models (LLM) の最初の完全評価を行う。 量子化は現在、効率性と信頼性を同時に達成する上で、プルーニングよりも効果的なアプローチであることが分かっています。
  論文  参考訳（メタデータ） (2024-03-18T01:38:19Z)
• Efficiently Detecting Reentrancy Vulnerabilities in Complex Smart Contracts [35.26195628798847]
  既存の脆弱性検出ツールは、複雑なコントラクトにおける脆弱性の効率性や検出成功率の面では不十分である。 SliSEは、複雑なコントラクトに対するReentrancy脆弱性を検出する堅牢で効率的な方法を提供する。
  論文  参考訳（メタデータ） (2024-03-17T16:08:30Z)
• A Survey and Comparative Analysis of Security Properties of CAN Authentication Protocols [92.81385447582882]
  コントロールエリアネットワーク(CAN)バスは車内通信を本質的に安全でないものにしている。 本稿では,CANバスにおける15の認証プロトコルをレビューし,比較する。 実装の容易性に寄与する本質的な運用基準に基づくプロトコルの評価を行う。
  論文  参考訳（メタデータ） (2024-01-19T14:52:04Z)
• Vulnerability Scanners for Ethereum Smart Contracts: A Large-Scale Study [44.25093111430751]
  2023年だけでも、そのような脆弱性は数十億ドルを超える巨額の損失をもたらした。 スマートコントラクトの脆弱性を検出し、軽減するために、さまざまなツールが開発されている。 本研究では,既存のセキュリティスキャナの有効性と,現在も継続している脆弱性とのギャップについて検討する。
  論文  参考訳（メタデータ） (2023-12-27T11:26:26Z)
• When ChatGPT Meets Smart Contract Vulnerability Detection: How Far Are We? [34.61179425241671]
  スマートコントラクトの脆弱性を識別する際のChatGPTの性能について,実証的研究を行った。 ChatGPTは高いリコール率を達成するが、スマートコントラクトの脆弱性を特定できる精度は限られている。 我々の研究は、スマートコントラクトの脆弱性の検出に大規模な言語モデル、特にChatGPTを使用する際の長所と短所に関する洞察を提供する。
  論文  参考訳（メタデータ） (2023-09-11T15:02:44Z)
• GPTScan: Detecting Logic Vulnerabilities in Smart Contracts by Combining GPT with Program Analysis [26.081673382969615]
  本稿では,GPTと静的解析を組み合わせたGPTScanを提案する。 各ロジックの脆弱性タイプをシナリオとプロパティに分割することで、GPTScanは候補の脆弱性とGPTをマッチさせる。 人間の監査官が見逃した9つの新たな脆弱性を含む70%以上のリコールで、地上の真実的ロジックの脆弱性を効果的に検出する。
  論文  参考訳（メタデータ） (2023-08-07T05:48:53Z)
• DecodingTrust: A Comprehensive Assessment of Trustworthiness in GPT Models [92.6951708781736]
  本稿では,GPT-4とGPT-3.5に着目した大規模言語モデルの総合的信頼性評価を提案する。 GPTモデルは、有害で偏りのある出力を生成し、個人情報を漏らすために、容易に誤解され得る。 我々の研究は、GPTモデルの総合的な信頼性評価を示し、信頼性のギャップに光を当てている。
  論文  参考訳（メタデータ） (2023-06-20T17:24:23Z)
• ESCORT: Ethereum Smart COntRacTs Vulnerability Detection using Deep Neural Network and Transfer Learning [80.85273827468063]
  既存の機械学習ベースの脆弱性検出方法は制限され、スマートコントラクトが脆弱かどうかのみ検査される。 スマートコントラクトのための初のDeep Neural Network(DNN)ベースの脆弱性検出フレームワークであるESCORTを提案する。 ESCORTは6種類の脆弱性に対して平均95%のF1スコアを達成し,検出時間は契約あたり0.02秒であることを示す。
  論文  参考訳（メタデータ） (2021-03-23T15:04:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。