論文の概要: All Artificial, Less Intelligence: GenAI through the Lens of Formal Verification
- arxiv url: http://arxiv.org/abs/2403.16750v1
- Date: Mon, 25 Mar 2024 13:23:24 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-26 20:03:02.320346
- Title: All Artificial, Less Intelligence: GenAI through the Lens of Formal Verification
- Title(参考訳): 全人工的、少ない知性:形式的検証のレンズを通してのGenAI
- Authors: Deepak Narayan Gadde, Aman Kumar, Thomas Nalapat, Evgenii Rezunov, Fabio Cappellini,
- Abstract要約: 本稿では,現代のハードウェア設計における共通弱さ(CWE)の形式的検証に焦点を当てる。
ハードウェア設計を脆弱性またはCWEフリーに分類するために,形式検証を適用する。
我々は、識別された脆弱性を、6万の生成したSystemVerilog Register Transfer Level (RTL)コードに対してCWE番号に関連付けている。
- 参考スコア(独自算出の注目度): 2.015768713390138
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Modern hardware designs have grown increasingly efficient and complex. However, they are often susceptible to Common Weakness Enumerations (CWEs). This paper is focused on the formal verification of CWEs in a dataset of hardware designs written in SystemVerilog from Regenerative Artificial Intelligence (AI) powered by Large Language Models (LLMs). We applied formal verification to categorize each hardware design as vulnerable or CWE-free. This dataset was generated by 4 different LLMs and features a unique set of designs for each of the 10 CWEs we target in our paper. We have associated the identified vulnerabilities with CWE numbers for a dataset of 60,000 generated SystemVerilog Register Transfer Level (RTL) code. It was also found that most LLMs are not aware of any hardware CWEs; hence they are usually not considered when generating the hardware code. Our study reveals that approximately 60% of the hardware designs generated by LLMs are prone to CWEs, posing potential safety and security risks. The dataset could be ideal for training LLMs and Machine Learning (ML) algorithms to abstain from generating CWE-prone hardware designs.
- Abstract(参考訳): 現代のハードウェアデザインはますます効率的で複雑になっている。
しかし、それらはしばしばCWE(Common Weakness Enumerations)の影響を受けやすい。
本稿では,Large Language Models (LLMs) を利用した SystemVerilog from Regenerative Artificial Intelligence (AI) で記述されたハードウェア設計のデータセットにおけるCWEの形式的検証に着目する。
ハードウェア設計を脆弱性またはCWEフリーに分類するために,形式検証を適用した。
このデータセットは4つの異なるLCMによって生成され、我々の論文で対象とする10個のCWEのそれぞれにユニークな設計セットが特徴である。
我々は、識別された脆弱性を、6万の生成したSystemVerilog Register Transfer Level (RTL)コードに対してCWE番号に関連付けている。
また、ほとんどのLLMはハードウェアCWEを知らないため、ハードウェアコードを生成する際には考慮されない。
LLMが生成するハードウェア設計の約60%はCWEが原因で、潜在的な安全性とセキュリティ上のリスクが生じる。
このデータセットは、LLMと機械学習(ML)アルゴリズムのトレーニングに最適で、CWE対応のハードウェア設計の生成を控える。
関連論文リスト
- A Survey of using Large Language Models for Generating Infrastructure as Code [3.514825979961616]
インフラストラクチャ・アズ・コード(Infrastructure as Code, IaC)は、業界で注目されている革新的なアプローチです。
この問題に対処するために,Large Language Models (LLM) の適用可能性について検討する。
論文 参考訳(メタデータ) (2024-03-30T02:57:55Z) - InfiCoder-Eval: Systematically Evaluating the Question-Answering Capabilities of Code Large Language Models [56.723509505549536]
InfiCoder-Evalは、コードのQAベンチマークである。
慎重に選択された234の高品質なStack Overflow質問で構成されており、15のプログラミング言語にまたがっている。
InfiCoder-Eval 上で 80 以上のコード LLM に対して,系統的な評価を行い,一連の知見を得た。
論文 参考訳(メタデータ) (2024-03-11T02:06:30Z) - LLM4SecHW: Leveraging Domain Specific Large Language Model for Hardware
Debugging [4.297043877989406]
本稿では,ドメイン固有大言語モデル(LLM)を利用したハードウェアデバッグのための新しいフレームワークを提案する。
我々は、オープンソースのハードウェア設計欠陥のデータセットとその修正手順をコンパイルするためのユニークなアプローチを提案する。
LLM4SecHWは、このデータセットに基づいて中規模のLCMを微調整し、ハードウェア設計におけるバグの特定と修正を可能にする。
論文 参考訳(メタデータ) (2024-01-28T19:45:25Z) - LLM4EDA: Emerging Progress in Large Language Models for Electronic
Design Automation [74.7163199054881]
大規模言語モデル(LLM)は、文脈理解、論理推論、回答生成においてその能力を実証している。
本稿では,EDA分野におけるLLMの応用に関する系統的研究を行う。
論理合成,物理設計,マルチモーダル特徴抽出,回路のアライメントにLLMを適用することに焦点を当て,今後の研究の方向性を強調した。
論文 参考訳(メタデータ) (2023-12-28T15:09:14Z) - Understanding the Effectiveness of Large Language Models in Detecting
Security Vulnerabilities [13.591113697508117]
LLM(Large Language Models)は、コード関連のタスクにおいて顕著なパフォーマンスを示す。
LLMは、既存の静的解析やディープラーニングに基づく脆弱性検出ツールよりもよく機能することを示す。
LLMは、しばしば、コード内の脆弱なデータフローを特定する、信頼できる説明を提供する。
論文 参考訳(メタデータ) (2023-11-16T13:17:20Z) - ML-Bench: Evaluating Large Language Models for Code Generation in Repository-Level Machine Learning Tasks [76.85930757493409]
大規模言語モデル(LLM)は、コード生成ベンチマークの習熟度を示しているが、これらの結果を実用的な開発シナリオに変換することは依然として難しい。
ML-Benchは、レポジトリレベルのオープンソースライブラリを統合して機械学習タスクを完了させるLLMの機能を評価するために設計された、新しいベンチマークである。
以上の結果から, GPT-4は他のLSMよりも優れており, 課題の複雑さを浮き彫りにしたタスクは33.82%に過ぎなかった。
論文 参考訳(メタデータ) (2023-11-16T12:03:21Z) - FusionAI: Decentralized Training and Deploying LLMs with Massive
Consumer-Level GPUs [57.12856172329322]
我々は、巨大な未使用のコンシューマレベルのGPUをアンロックする分散システムを構想する。
このシステムは、CPUとGPUメモリの制限、ネットワーク帯域幅の低さ、ピアとデバイスの多様性など、重要な課題に直面している。
論文 参考訳(メタデータ) (2023-09-03T13:27:56Z) - CodeTF: One-stop Transformer Library for State-of-the-art Code LLM [72.1638273937025]
我々は、最先端のCode LLMとコードインテリジェンスのためのオープンソースのTransformerベースのライブラリであるCodeTFを紹介する。
我々のライブラリは、事前訓練されたコードLLMモデルと人気のあるコードベンチマークのコレクションをサポートします。
CodeTFが機械学習/生成AIとソフトウェア工学のギャップを埋められることを願っている。
論文 参考訳(メタデータ) (2023-05-31T05:24:48Z) - PEOPL: Characterizing Privately Encoded Open Datasets with Public Labels [59.66777287810985]
プライバシとユーティリティのための情報理論スコアを導入し、不誠実なユーザの平均パフォーマンスを定量化する。
次に、ランダムなディープニューラルネットワークの使用を動機付ける符号化スキームのファミリーを構築する際のプリミティブを理論的に特徴づける。
論文 参考訳(メタデータ) (2023-03-31T18:03:53Z) - SeLoC-ML: Semantic Low-Code Engineering for Machine Learning
Applications in Industrial IoT [9.477629856092218]
本稿では,Semantic Low-Code Engineering for ML Applications (SeLoC-ML) というフレームワークを提案する。
SeLoC-MLは、非専門家が大規模なMLモデルやデバイスをモデル化し、発見し、再利用することを可能にする。
開発者は、レシピと呼ばれるセマンティックなアプリケーションテンプレートから、エンドユーザアプリケーションのプロトタイプを高速に作成できる。
論文 参考訳(メタデータ) (2022-07-18T13:06:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。