論文の概要: Large Language Model-Powered Smart Contract Vulnerability Detection: New
Perspectives
- arxiv url: http://arxiv.org/abs/2310.01152v1
- Date: Mon, 2 Oct 2023 12:37:23 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-04 22:02:54.356456
- Title: Large Language Model-Powered Smart Contract Vulnerability Detection: New
Perspectives
- Title(参考訳): 大規模言語モデルによるスマートコントラクト脆弱性検出 - 新しい展望
- Authors: Sihao Hu, Tiansheng Huang, Fatih \.Ilhan, Selim Fukan Tekin, Ling Liu
- Abstract要約: 本稿では,LLMを利用してスマートコントラクト内の脆弱性を掘り起こす可能性,課題,潜在的な解決策を体系的に分析する。
本稿では,GPTLensと呼ばれる,従来の一段階検出を2つの相乗的段階に分割し,生成と識別を行う逆方向のフレームワークを提案する。
- 参考スコア(独自算出の注目度): 8.524720028421447
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper provides a systematic analysis of the opportunities, challenges,
and potential solutions of harnessing LLMs to dig out vulnerabilities within
smart contracts based on our ongoing research. For the smart contract
vulnerability detection task, the key to achieving practical usability lies in
detecting as many true vulnerabilities as possible while minimizing the number
of false positives. However, our empirical study using LLM as a detection tool
reveals interesting yet contradictory findings: generating more answers with
higher randomness largely increases the likelihood of a correct answer being
generated while inevitably leading to a higher number of false positives,
resulting in exhaustive manual verification efforts. To mitigate this tension,
we propose an adversarial framework dubbed GPTLens that breaks the traditional
one-stage detection into two synergistic stages $-$ generation and
discrimination, for progressive detection and fine-tuning, wherein the LLM
plays dual roles, i.e., auditor and critic, respectively. The goal of auditor
is to identify multiple diverse vulnerabilities with intermediate reasoning,
while the goal of critic is to evaluate the accuracy of identified
vulnerabilities and to examine the integrity of the detection reasoning.
Experimental results and illustrative examples demonstrate that auditor and
critic work together harmoniously to yield significant improvements over the
traditional one-stage detection. GPTLens is intuitive, strategic, and entirely
LLM-driven without relying on specialist expertise in smart contracts,
showcasing its methodical generality and potential to detect a broad spectrum
of vulnerabilities. Our code is available at:
https://github.com/git-disl/GPTLens.
- Abstract(参考訳): 本稿では,LLMを利用してスマートコントラクト内の脆弱性を探索する可能性,課題,潜在的なソリューションを体系的に分析する。
スマートコントラクト脆弱性検出タスクでは、実用的なユーザビリティを実現するための鍵は、偽陽性の数を最小にしつつ、可能な限り多くの真の脆弱性を検出することだ。
しかし, LLM を検出ツールとして用いた実証実験では, 高いランダム性で回答を多く生成すると, 必然的に偽陽性の発生率が高くなり, 徹底的な手作業による検証が実施されるという興味深い結果が得られた。
この緊張を軽減するため,従来の1段階検出を2つの相乗的段階($-$)に分割し,プログレッシブ検出と微調整を行うGPTLens(GPTLens)という対戦型フレームワークを提案する。
監査者の目標は、中間推論で複数の多様な脆弱性を識別することであり、批判の目標は、特定された脆弱性の正確性を評価し、検出推論の完全性を調べることである。
実験結果と実例から, オーディエンスと批評家が協調して, 従来の一段階検出よりも大幅に改善したことを示す。
gptlensは直感的で、戦略的で、スマートコントラクトの専門知識に頼ることなく、完全にllm駆動であり、その方法論上の汎用性と幅広い脆弱性を検出する可能性を示している。
私たちのコードは、https://github.com/git-disl/GPTLens.comで利用可能です。
関連論文リスト
- An Empirical Study of Automated Vulnerability Localization with Large Language Models [21.84971967029474]
大規模言語モデル(LLM)は、様々な領域において可能性を示しているが、脆弱性のローカライゼーションにおけるその有効性は未解明のままである。
本調査では,ChatGPTや各種オープンソースモデルなど,コード解析に適した10以上のLLMを対象とする。
ゼロショット学習,ワンショット学習,識別的微調整,生成的微調整の4つのパラダイムを用いて,これらのLCMの有効性を検討する。
論文 参考訳(メタデータ) (2024-03-30T08:42:10Z) - A Comprehensive Study of the Capabilities of Large Language Models for Vulnerability Detection [9.422811525274675]
大規模言語モデル(LLM)は、コード生成やその他のソフトウェアエンジニアリングタスクに大きな可能性を実証しています。
脆弱性検出は、ソフトウェアシステムのセキュリティ、完全性、信頼性を維持する上で非常に重要である。
最近の研究は、ジェネリックプロンプト技術を用いた脆弱性検出にLLMを適用しているが、このタスクの能力とそれらが犯すエラーの種類は未だ不明である。
論文 参考訳(メタデータ) (2024-03-25T21:47:36Z) - Chain-of-Thought Prompting of Large Language Models for Discovering and Fixing Software Vulnerabilities [21.787125867708962]
大規模言語モデル(LLM)は、様々な領域において顕著な可能性を示している。
本稿では,LLMとチェーン・オブ・シント(CoT)を利用して,3つの重要なソフトウェア脆弱性解析タスクに対処する方法について検討する。
ベースラインよりもCoTにインスパイアされたプロンプトのかなりの優位性を示します。
論文 参考訳(メタデータ) (2024-02-27T05:48:18Z) - LLbezpeky: Leveraging Large Language Models for Vulnerability Detection [10.330063887545398]
大規模言語モデル(LLM)は、人やプログラミング言語におけるセムナティクスを理解する大きな可能性を示している。
私たちは、脆弱性の特定と修正を支援するAI駆動ワークフローの構築に重点を置いています。
論文 参考訳(メタデータ) (2024-01-02T16:14:30Z) - How Far Have We Gone in Vulnerability Detection Using Large Language
Models [15.09461331135668]
包括的な脆弱性ベンチマークであるVulBenchを紹介します。
このベンチマークは、幅広いCTF課題と実世界のアプリケーションから高品質なデータを集約する。
いくつかのLSMは、脆弱性検出における従来のディープラーニングアプローチよりも優れていることがわかった。
論文 参考訳(メタデータ) (2023-11-21T08:20:39Z) - Token-Level Adversarial Prompt Detection Based on Perplexity Measures
and Contextual Information [67.78183175605761]
大規模言語モデルは、敵の迅速な攻撃に影響を受けやすい。
この脆弱性は、LLMの堅牢性と信頼性に関する重要な懸念を浮き彫りにしている。
トークンレベルで敵のプロンプトを検出するための新しい手法を提案する。
論文 参考訳(メタデータ) (2023-11-20T03:17:21Z) - Visual Adversarial Examples Jailbreak Aligned Large Language Models [66.53468356460365]
視覚入力の連続的かつ高次元的な性質は、敵対的攻撃に対する弱いリンクであることを示す。
我々は、視力統合されたLLMの安全ガードレールを回避するために、視覚的敵の例を利用する。
本研究は,マルチモダリティの追求に伴う敵のエスカレーションリスクを浮き彫りにする。
論文 参考訳(メタデータ) (2023-06-22T22:13:03Z) - On Evaluating Adversarial Robustness of Large Vision-Language Models [64.66104342002882]
大規模視覚言語モデル(VLM)のロバスト性を,最も現実的で高リスクな環境で評価する。
特に,CLIP や BLIP などの事前学習モデルに対して,まず攻撃対象のサンプルを作成する。
これらのVLM上のブラックボックスクエリは、ターゲットの回避の効果をさらに向上させることができる。
論文 参考訳(メタデータ) (2023-05-26T13:49:44Z) - Consistency Analysis of ChatGPT [65.268245109828]
本稿では,ChatGPTとGPT-4の論理的一貫した行動に対する信頼性について検討する。
その結果,両モデルとも言語理解能力と推論能力が向上しているように見えるが,論理的に一貫した予測が得られないことが示唆された。
論文 参考訳(メタデータ) (2023-03-11T01:19:01Z) - Adversarial GLUE: A Multi-Task Benchmark for Robustness Evaluation of
Language Models [86.02610674750345]
AdvGLUE(Adversarial GLUE)は、様々な種類の敵攻撃の下で、現代の大規模言語モデルの脆弱性を調査し評価するための新しいマルチタスクベンチマークである。
GLUEタスクに14の逆攻撃手法を適用してAdvGLUEを構築する。
テストしたすべての言語モデルとロバストなトレーニングメソッドは、AdvGLUEではパフォーマンスが悪く、スコアは明確な精度よりもはるかに遅れています。
論文 参考訳(メタデータ) (2021-11-04T12:59:55Z) - Exploring Robustness of Unsupervised Domain Adaptation in Semantic
Segmentation [74.05906222376608]
クリーンな画像とそれらの逆の例との一致を、出力空間における対照的な損失によって最大化する、逆向きの自己スーパービジョンUDA(ASSUDA)を提案する。
i) セマンティックセグメンテーションにおけるUDA手法のロバスト性は未解明のままであり, (ii) 一般的に自己スーパービジョン(回転やジグソーなど) は分類や認識などのイメージタスクに有効であるが, セグメンテーションタスクの識別的表現を学習する重要な監視信号の提供には失敗している。
論文 参考訳(メタデータ) (2021-05-23T01:50:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。