論文の概要: A Context-Driven Approach for Co-Auditing Smart Contracts with The Support of GPT-4 code interpreter
- arxiv url: http://arxiv.org/abs/2406.18075v1
- Date: Wed, 26 Jun 2024 05:14:35 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-27 14:28:34.655004
- Title: A Context-Driven Approach for Co-Auditing Smart Contracts with The Support of GPT-4 code interpreter
- Title(参考訳): GPT-4コードインタプリタのサポートによるスマートコントラクトの協調監査のためのコンテキスト駆動アプローチ
- Authors: Mohamed Salah Bouafif, Chen Zheng, Ilham Ahmed Qasse, Ed Zulkoski, Mohammad Hamdaqa, Foutse Khomh,
- Abstract要約: 本稿では,スマートコントラクト・コオーディティングのためのコンテキスト駆動型プロンプト手法を提案する。
このアプローチでは、コンテキストスコープと拡張のための3つのテクニックを採用し、長いコードを自己完結したコードセグメントに分割するコードスコープを包含する。
本法では,脆弱な機能に対する検出率は96%であり,ネイティブプロンプト法では53%に過ぎなかった。
- 参考スコア(独自算出の注目度): 15.28361088402754
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: The surge in the adoption of smart contracts necessitates rigorous auditing to ensure their security and reliability. Manual auditing, although comprehensive, is time-consuming and heavily reliant on the auditor's expertise. With the rise of Large Language Models (LLMs), there is growing interest in leveraging them to assist auditors in the auditing process (co-auditing). However, the effectiveness of LLMs in smart contract co-auditing is contingent upon the design of the input prompts, especially in terms of context description and code length. This paper introduces a novel context-driven prompting technique for smart contract co-auditing. Our approach employs three techniques for context scoping and augmentation, encompassing code scoping to chunk long code into self-contained code segments based on code inter-dependencies, assessment scoping to enhance context description based on the target assessment goal, thereby limiting the search space, and reporting scoping to force a specific format for the generated response. Through empirical evaluations on publicly available vulnerable contracts, our method demonstrated a detection rate of 96\% for vulnerable functions, outperforming the native prompting approach, which detected only 53\%. To assess the reliability of our prompting approach, manual analysis of the results was conducted by expert auditors from our partner, Quantstamp, a world-leading smart contract auditing company. The experts' analysis indicates that, in unlabeled datasets, our proposed approach enhances the proficiency of the GPT-4 code interpreter in detecting vulnerabilities.
- Abstract(参考訳): スマートコントラクトの採用の急増は、セキュリティと信頼性を確保するために厳格な監査を必要とする。
手動の監査は包括的ではあるが、時間がかかり、監査人の専門知識に大きく依存している。
LLM(Large Language Models)の台頭に伴い、監査プロセス(コオーディティング)において監査人を支援するためにそれらを活用することへの関心が高まっている。
しかし、スマートコントラクトのコオーディティングにおけるLLMの有効性は、特に文脈記述やコード長の観点から、入力プロンプトの設計に依存している。
本稿では,スマートコントラクト・コオーディティングのためのコンテキスト駆動型プロンプト手法を提案する。
提案手法では,コンテクストスコーピングと拡張のための3つの手法を用いて,コード間の依存性に基づいて,長いコードを自己完結したコードセグメントに分割するコードスコーピング,ターゲット評価目標に基づくコンテキスト記述を強化するアセスメントスコーピング,探索空間の制限,生成した応答に対して特定のフォーマットを強制するレポートスコーピングを行う。
提案手法は, 公開されている脆弱な制約に対する経験的評価を通じて, 脆弱な関数に対する検出率は96 %であり, ネイティブプロンプト法よりも優れており, 53 %しか検出できなかった。
提案手法の信頼性を評価するため,世界主導のスマートコントラクト監査会社であるQuantstampの専門家監査員による手作業による分析を行った。
専門家分析の結果,未ラベルデータセットでは,GPT-4コードインタプリタの脆弱性検出能力が向上することが示唆された。
関連論文リスト
- Con-ReCall: Detecting Pre-training Data in LLMs via Contrastive Decoding [118.75567341513897]
既存のメソッドは通常、ターゲットテキストを分離して分析するか、非メンバーコンテキストでのみ分析する。
Con-ReCallは、メンバと非メンバのコンテキストによって誘導される非対称な分布シフトを利用する新しいアプローチである。
論文 参考訳(メタデータ) (2024-09-05T09:10:38Z) - Exploring Automatic Cryptographic API Misuse Detection in the Era of LLMs [60.32717556756674]
本稿では,暗号誤用の検出において,大規模言語モデルを評価するための体系的評価フレームワークを提案する。
11,940個のLCM生成レポートを詳細に分析したところ、LSMに固有の不安定性は、報告の半数以上が偽陽性になる可能性があることがわかった。
最適化されたアプローチは、従来の手法を超え、確立されたベンチマークでこれまで知られていなかった誤用を明らかにすることで、90%近い顕著な検出率を達成する。
論文 参考訳(メタデータ) (2024-07-23T15:31:26Z) - Retrieval Augmented Generation Integrated Large Language Models in Smart Contract Vulnerability Detection [0.0]
分散ファイナンス(DeFi)には、スマートコントラクトの脆弱性による大きな損失が伴っている。
攻撃が頻発するにつれて、監査サービスの必要性と需要が高まっている。
本研究では,大規模言語モデル(LLM)とRAG(Retrieval-Augmented Generation)を統合することにより,既存のフレームワークを構築する。
論文 参考訳(メタデータ) (2024-07-20T10:46:42Z) - SORRY-Bench: Systematically Evaluating Large Language Model Safety Refusal Behaviors [64.9938658716425]
安全でないユーザリクエストを認識して拒否する、大規模な言語モデル(LLM)の既存の評価は、3つの制限に直面している。
まず、既存の手法では、安全でないトピックの粗い粒度を使い、いくつかのきめ細かいトピックを過剰に表現している。
第二に、プロンプトの言語的特徴とフォーマッティングは、様々な言語、方言など、多くの評価において暗黙的にのみ考慮されているように、しばしば見過ごされる。
第3に、既存の評価は大きなLCMに頼っているため、コストがかかる可能性がある。
論文 参考訳(メタデータ) (2024-06-20T17:56:07Z) - Synchronous Faithfulness Monitoring for Trustworthy Retrieval-Augmented Generation [96.78845113346809]
Retrieval-augmented Language Model (RALMs) は、知識集約型タスクにおいて、高い性能と幅広い適用性を示している。
本稿では,非偽文の検出に微細な復号力学を利用する軽量モニタであるSynCheckを提案する。
また、長文検索拡張生成のためのビームサーチによって導かれる忠実度指向の復号アルゴリズムであるFODを導入する。
論文 参考訳(メタデータ) (2024-06-19T16:42:57Z) - AuditGPT: Auditing Smart Contracts with ChatGPT [8.697080709545352]
AuditGPTは、スマートコントラクトに対するERCルールを自動的にかつ包括的に検証するツールである。
418のERC規則違反を指摘し、18の偽陽性のみを報告し、その有効性と正確性を示している。
論文 参考訳(メタデータ) (2024-04-05T07:19:13Z) - TrustScore: Reference-Free Evaluation of LLM Response Trustworthiness [58.721012475577716]
大規模言語モデル(LLM)は、様々な領域にまたがる印象的な能力を示しており、その実践的応用が急増している。
本稿では,行動整合性の概念に基づくフレームワークであるTrustScoreを紹介する。
論文 参考訳(メタデータ) (2024-02-19T21:12:14Z) - Evaluation of ChatGPT's Smart Contract Auditing Capabilities Based on
Chain of Thought [8.04987973069845]
本研究は,GPT-4モデルを用いたスマートコントラクトセキュリティ監査の強化の可能性を検討する。
732の脆弱性を含むSolidiFI-benchmark脆弱性ライブラリから、35のスマートコントラクトのデータセットを使用しました。
GPT-4は96.6%の精度でスマートコントラクトの脆弱性を検出できたが、リコールは37.8%、F1スコアは41.1%であった。
論文 参考訳(メタデータ) (2024-02-19T10:33:29Z) - TrustFed: A Reliable Federated Learning Framework with Malicious-Attack
Resistance [8.924352407824566]
フェデレートラーニング(FL)は、個々のデータのプライバシを確保しながら、複数のクライアント間で協調的な学習を可能にする。
本稿では,階層型監査に基づくFL(HiAudit-FL)フレームワークを提案する。
シミュレーションの結果、HiAudit-FLは、システムオーバーヘッドを小さくして、潜在的悪意のあるユーザを効果的に識別し、対処できることが示されている。
論文 参考訳(メタデータ) (2023-12-06T13:56:45Z) - Igniting Language Intelligence: The Hitchhiker's Guide From
Chain-of-Thought Reasoning to Language Agents [80.5213198675411]
大規模言語モデル(LLM)は言語知能の分野を劇的に拡張した。
LLMは興味をそそるチェーン・オブ・シークレット(CoT)推論技術を活用し、答えを導き出す途中の中間ステップを定式化しなければならない。
最近の研究は、自律言語エージェントの開発を促進するためにCoT推論手法を拡張している。
論文 参考訳(メタデータ) (2023-11-20T14:30:55Z) - Large Language Model-Powered Smart Contract Vulnerability Detection: New
Perspectives [8.524720028421447]
本稿では, GPT-4 のような大規模言語モデル (LLM) を利用する機会, 課題, 潜在的な解決策を体系的に分析する。
高いランダム性でより多くの答えを生成することは、正しい答えを生み出す可能性を大幅に押し上げるが、必然的に偽陽性の数が増加する。
本稿では,GPTLens と呼ばれる,従来の一段階検出を2つの相乗的段階に分割し,生成と識別を行う逆方向のフレームワークを提案する。
論文 参考訳(メタデータ) (2023-10-02T12:37:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。