論文の概要: SAEL: Leveraging Large Language Models with Adaptive Mixture-of-Experts for Smart Contract Vulnerability Detection

• arxiv url: http://arxiv.org/abs/2507.22371v1
• Date: Wed, 30 Jul 2025 04:28:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-31 16:14:17.995437
• Title: SAEL: Leveraging Large Language Models with Adaptive Mixture-of-Experts for Smart Contract Vulnerability Detection
• Title（参考訳）: SAEL:スマートコントラクト脆弱性検出のためのAdaptive Mixture-of-Expertによる大規模言語モデルの活用
• Authors: Lei Yu, Shiqi Cheng, Zhirong Huang, Jingyuan Zhang, Chenjie Shen, Junyi Lu, Li Yang, Fengjun Zhang, Jiajia Ma,
• Abstract要約: スマートコントラクト脆弱性検出のためのLLMベースのフレームワークであるSAELを提案する。 まず、脆弱性を特定し、説明を生成するためにLSMを誘導するプロンプトを設計する。 次に、CodeT5とT5のプロンプトチューニングをコントラクトコードと説明処理に適用し、タスク固有のパフォーマンスを向上させる。
• 参考スコア（独自算出の注目度）: 14.581402965011117
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: With the increasing security issues in blockchain, smart contract vulnerability detection has become a research focus. Existing vulnerability detection methods have their limitations: 1) Static analysis methods struggle with complex scenarios. 2) Methods based on specialized pre-trained models perform well on specific datasets but have limited generalization capabilities. In contrast, general-purpose Large Language Models (LLMs) demonstrate impressive ability in adapting to new vulnerability patterns. However, they often underperform on specific vulnerability types compared to methods based on specialized pre-trained models. We also observe that explanations generated by general-purpose LLMs can provide fine-grained code understanding information, contributing to improved detection performance. Inspired by these observations, we propose SAEL, an LLM-based framework for smart contract vulnerability detection. We first design targeted prompts to guide LLMs in identifying vulnerabilities and generating explanations, which serve as prediction features. Next, we apply prompt-tuning on CodeT5 and T5 to process contract code and explanations, enhancing task-specific performance. To combine the strengths of each approach, we introduce an Adaptive Mixture-of-Experts architecture. This dynamically adjusts feature weights via a Gating Network, which selects relevant features using TopK filtering and Softmax normalization, and incorporates a Multi-Head Self-Attention mechanism to enhance cross-feature relationships. This design enables effective integration of LLM predictions, explanation features, and code features through gradient optimization. The loss function jointly considers both independent feature performance and overall weighted predictions. Experiments show that SAEL outperforms existing methods across various vulnerabilities.
• Abstract（参考訳）: ブロックチェーンのセキュリティ問題の増加に伴い、スマートコントラクトの脆弱性検出が研究の焦点となっている。 既存の脆弱性検出方法には制限がある。 1) 静的解析手法は複雑なシナリオと競合する。 2) 専門的な事前学習モデルに基づく手法は, 特定のデータセットでよく機能するが, 限定的な一般化能力を有する。 対照的に、汎用大規模言語モデル(LLM)は、新しい脆弱性パターンに適応する素晴らしい能力を示している。 しかし、特殊な事前訓練されたモデルに基づく手法と比較して、特定の脆弱性タイプではパフォーマンスが劣ることが多い。 また、汎用LLMによって生成された説明は、より詳細なコード理解情報を提供し、検出性能の向上に寄与することを示した。 これらの観測から着想を得て,スマートコントラクト脆弱性検出のためのLLMベースのフレームワークであるSAELを提案する。 まず、脆弱性を特定し、予測機能として機能する説明を生成するために、LSMを誘導するプロンプトを設計する。 次に、CodeT5とT5のプロンプトチューニングをコントラクトコードと説明処理に適用し、タスク固有のパフォーマンスを向上させる。 それぞれのアプローチの長所を組み合わせるために、Adaptive Mixture-of-Expertsアーキテクチャを導入する。 これは、TopKフィルタリングとSoftmax正規化を使用して関連する機能を選択するGating Networkを介して機能重みを動的に調整し、マルチヘッド自己認識機構を組み込んで、機能間関係を強化する。 この設計により、勾配最適化によるLLM予測、説明機能、コード特徴の効果的な統合が可能となる。 損失関数は、独立特徴性能と全体重み付き予測の両方を共同で考慮する。 実験によると、SAELは様々な脆弱性で既存のメソッドよりも優れています。

関連論文リスト

• LLAMA: Multi-Feedback Smart Contract Fuzzing Framework with LLM-Guided Seed Generation [56.84049855266145]
  進化的突然変異戦略とハイブリッドテスト技術を統合したマルチフィードバックスマートコントラクトファジリングフレームワーク(LLAMA)を提案する。 LLAMAは、91%の命令カバレッジと90%のブランチカバレッジを達成すると同時に、148の既知の脆弱性のうち132が検出される。 これらの結果は、現実のスマートコントラクトセキュリティテストシナリオにおけるLAMAの有効性、適応性、実用性を強調している。
  論文  参考訳（メタデータ） (2025-07-16T09:46:58Z)
• White-Basilisk: A Hybrid Model for Code Vulnerability Detection [50.49233187721795]
  我々は、優れた性能を示す脆弱性検出の新しいアプローチであるWhite-Basiliskを紹介する。 White-Basiliskは、パラメータ数2億の脆弱性検出タスクで結果を得る。 この研究は、コードセキュリティにおける新しいベンチマークを確立し、コンパクトで効率的に設計されたモデルが、特定のタスクにおいてより大きなベンチマークよりも優れているという実証的な証拠を提供する。
  論文  参考訳（メタデータ） (2025-07-11T12:39:25Z)
• Smart-LLaMA-DPO: Reinforced Large Language Model for Explainable Smart Contract Vulnerability Detection [15.694744168599055]
  既存の脆弱性検出方法は2つの大きな問題に直面している。 嗜好学習には包括的カバレッジと高品質な説明が欠如している。 大規模言語モデル(LLM)は、スマートコントラクトのセキュリティにおいて、特定の概念を正確に解釈するのに苦労することが多い。
  論文  参考訳（メタデータ） (2025-06-23T02:24:07Z)
• Taming Polysemanticity in LLMs: Provable Feature Recovery via Sparse Autoencoders [50.52694757593443]
  既存のSAEトレーニングアルゴリズムは厳密な数学的保証を欠いていることが多く、実用的な制限に悩まされている。 まず,特徴の特定可能性という新たな概念を含む特徴回復問題の統計的枠組みを提案する。 本稿では、ニューラルネットワークのバイアスパラメータを適応的に調整し、適切なアクティベーション間隔を確保する手法である「バイアス適応」に基づく新たなSAEトレーニングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-06-16T20:58:05Z)
• MOS: Towards Effective Smart Contract Vulnerability Detection through Mixture-of-Experts Tuning of Large Language Models [16.16186929130931]
  スマートコントラクトの脆弱性は、ブロックチェーンシステムに重大なセキュリティリスクをもたらす。 本稿では,大規模言語モデルのミックス・オブ・エキスパート・チューニング(MOE-Tuning)に基づくスマートコントラクト脆弱性検出フレームワークを提案する。 実験の結果、MOSはF1のスコアが6.32%、精度が4.80%の平均的な改善で既存の手法よりも大幅に優れていた。
  論文  参考訳（メタデータ） (2025-04-16T16:33:53Z)
• Smart-LLaMA: Two-Stage Post-Training of Large Language Models for Smart Contract Vulnerability Detection and Explanation [21.39496709865097]
  既存のスマートコントラクトの脆弱性検出方法は3つの大きな問題に直面している。 データセットの十分な品質、詳細な説明と正確な脆弱性位置の欠如。 LLaMA言語モデルに基づく高度な検出手法であるSmart-LLaMAを提案する。
  論文  参考訳（メタデータ） (2024-11-09T15:49:42Z)
• Security Vulnerability Detection with Multitask Self-Instructed Fine-Tuning of Large Language Models [8.167614500821223]
  脆弱性検出のためのMSIVD, マルチタスクによる自己指示型微調整を, チェーン・オブ・シント・プロンプトとLDMによる自己指示にインスパイアした。 実験の結果,MSIVDは高い性能を示し,LineVul(LLMベースの脆弱性検出ベースライン)はBigVulデータセットでは0.92点,PreciseBugsデータセットでは0.48点であった。
  論文  参考訳（メタデータ） (2024-06-09T19:18:05Z)
• An Empirical Study of Automated Vulnerability Localization with Large Language Models [21.84971967029474]
  大規模言語モデル(LLM)は、様々な領域において可能性を示しているが、脆弱性のローカライゼーションにおけるその有効性は未解明のままである。 本調査では,ChatGPTや各種オープンソースモデルなど,コード解析に適した10以上のLLMを対象とする。 ゼロショット学習,ワンショット学習,識別的微調整,生成的微調整の4つのパラダイムを用いて,これらのLCMの有効性を検討する。
  論文  参考訳（メタデータ） (2024-03-30T08:42:10Z)
• Token-Level Adversarial Prompt Detection Based on Perplexity Measures and Contextual Information [67.78183175605761]
  大規模言語モデルは、敵の迅速な攻撃に影響を受けやすい。 この脆弱性は、LLMの堅牢性と信頼性に関する重要な懸念を浮き彫りにしている。 トークンレベルで敵のプロンプトを検出するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-11-20T03:17:21Z)
• Improving Open Information Extraction with Large Language Models: A Study on Demonstration Uncertainty [52.72790059506241]
  オープン情報抽出(OIE)タスクは、構造化されていないテキストから構造化された事実を抽出することを目的としている。 一般的なタスク解決手段としてChatGPTのような大きな言語モデル(LLM)の可能性にもかかわらず、OIEタスクの最先端(教師付き)メソッドは遅れている。
  論文  参考訳（メタデータ） (2023-09-07T01:35:24Z)
• Evaluating and Explaining Large Language Models for Code Using Syntactic Structures [74.93762031957883]
  本稿では,コード用大規模言語モデルに特有の説明可能性手法であるASTxplainerを紹介する。 その中核にあるASTxplainerは、トークン予測をASTノードに整合させる自動メソッドを提供する。 私たちは、最も人気のあるGitHubプロジェクトのキュレートデータセットを使用して、コード用の12の人気のあるLLMに対して、実証的な評価を行います。
  論文  参考訳（メタデータ） (2023-08-07T18:50:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。