論文の概要: LLM-assisted Generation of Hardware Assertions
- arxiv url: http://arxiv.org/abs/2306.14027v1
- Date: Sat, 24 Jun 2023 17:44:36 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-27 17:29:52.894400
- Title: LLM-assisted Generation of Hardware Assertions
- Title(参考訳): LLMによるハードウェア・アサーションの生成
- Authors: Rahul Kande (1), Hammond Pearce (2), Benjamin Tan (3), Brendan
Dolan-Gavitt (4), Shailja Thakur (4), Ramesh Karri (4), Jeyavijayan Rajendran
(1) ((1) Texas A&M University, (2) University of New South Wales, (3)
University of Calgary, (4) New York University)
- Abstract要約: セキュリティのためのハードウェアアサーション生成において,コード生成に新たな大規模言語モデル(LLM)を用いることを検討する。
我々は、人気のあるLCMに注目し、プロンプトの様々なレベルの詳細を考慮し、アサーションを箱から書き出す能力を特徴付ける。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: The security of computer systems typically relies on a hardware root of
trust. As vulnerabilities in hardware can have severe implications on a system,
there is a need for techniques to support security verification activities.
Assertion-based verification is a popular verification technique that involves
capturing design intent in a set of assertions that can be used in formal
verification or testing-based checking. However, writing security-centric
assertions is a challenging task. In this work, we investigate the use of
emerging large language models (LLMs) for code generation in hardware assertion
generation for security, where primarily natural language prompts, such as
those one would see as code comments in assertion files, are used to produce
SystemVerilog assertions. We focus our attention on a popular LLM and
characterize its ability to write assertions out of the box, given varying
levels of detail in the prompt. We design an evaluation framework that
generates a variety of prompts, and we create a benchmark suite comprising
real-world hardware designs and corresponding golden reference assertions that
we want to generate with the LLM.
- Abstract(参考訳): コンピュータシステムのセキュリティは通常、ハードウェアの信頼基盤に依存している。
ハードウェアの脆弱性はシステムに深刻な影響を及ぼす可能性があるため、セキュリティ検証活動をサポートする技術が必要である。
アサーションベースの検証は、正式な検証やテストベースのチェックに使用できるアサーションセットで設計意図をキャプチャする一般的な検証テクニックである。
しかし、セキュリティ中心のアサーションを書くことは難しい課題です。
本稿では,セキュリティのためのハードウェアアサーション生成におけるコード生成における,新たな大規模言語モデル(LLM)の利用について検討する。
私たちは人気のあるllmに注目し、プロンプトのさまざまな詳細レベルを考慮して、アサーションを最初から記述できることを特徴付けます。
我々は,様々なプロンプトを生成する評価フレームワークを設計し,実世界のハードウェア設計とLLMで生成したい黄金の基準アサーションからなるベンチマークスイートを作成する。
関連論文リスト
- AssertionBench: A Benchmark to Evaluate Large-Language Models for Assertion Generation [6.3585378855805725]
本稿では,アサーション生成におけるLarge-Language Modelsの有効性を評価するための新しいベンチマークを提案する。
AssertioBenchにはOpenCoresから100のキュレートされたVerilogハードウェア設計が含まれており、GoldMineとHARMから生成された各設計について正式に承認されている。
論文 参考訳(メタデータ) (2024-06-26T14:47:28Z) - SORRY-Bench: Systematically Evaluating Large Language Model Safety Refusal Behaviors [64.9938658716425]
安全でないユーザリクエストを認識して拒否する、大規模な言語モデル(LLM)の既存の評価は、3つの制限に直面している。
まず、既存の手法では、安全でないトピックの粗い粒度を使い、いくつかのきめ細かいトピックを過剰に表現している。
第二に、プロンプトの言語的特徴とフォーマッティングは、様々な言語、方言など、多くの評価において暗黙的にのみ考慮されているように、しばしば見過ごされる。
第3に、既存の評価は大きなLCMに頼っているため、コストがかかる可能性がある。
論文 参考訳(メタデータ) (2024-06-20T17:56:07Z) - Evaluating LLM-driven User-Intent Formalization for Verification-Aware Languages [6.0608817611709735]
本稿では,検証対応言語における仕様の質を評価するための指標を提案する。
MBPPコード生成ベンチマークのDafny仕様の人間ラベル付きデータセットに,我々の測定値が密接に一致することを示す。
また、このテクニックをより広く適用するために対処する必要がある正式な検証課題についても概説する。
論文 参考訳(メタデータ) (2024-06-14T06:52:08Z) - AdaShield: Safeguarding Multimodal Large Language Models from Structure-based Attack via Adaptive Shield Prompting [54.931241667414184]
textbfAdaptive textbfShield Promptingを提案する。これは、MLLMを構造ベースのジェイルブレイク攻撃から守るための防御プロンプトで入力をプリペイドする。
我々の手法は、構造に基づくジェイルブレイク攻撃に対するMLLMの堅牢性を一貫して改善することができる。
論文 参考訳(メタデータ) (2024-03-14T15:57:13Z) - CodeAttack: Revealing Safety Generalization Challenges of Large Language Models via Code Completion [117.178835165855]
本稿では,自然言語入力をコード入力に変換するフレームワークであるCodeAttackを紹介する。
我々の研究は、コード入力に対するこれらのモデルの新たな、普遍的な安全性の脆弱性を明らかにした。
CodeAttackと自然言語の分布ギャップが大きくなると、安全性の一般化が弱くなる。
論文 参考訳(メタデータ) (2024-03-12T17:55:38Z) - HasTEE+ : Confidential Cloud Computing and Analytics with Haskell [50.994023665559496]
信頼性コンピューティングは、Trusted Execution Environments(TEEs)と呼ばれる特別なハードウェア隔離ユニットを使用して、コテナントクラウドデプロイメントにおける機密コードとデータの保護を可能にする。
低レベルのC/C++ベースのツールチェーンを提供するTEEは、固有のメモリ安全性の脆弱性の影響を受けやすく、明示的で暗黙的な情報フローのリークを監視するための言語構造が欠如している。
私たちは、Haskellに埋め込まれたドメイン固有言語(cla)であるHasTEE+を使って、上記の問題に対処します。
論文 参考訳(メタデータ) (2024-01-17T00:56:23Z) - SALLM: Security Assessment of Generated Code [0.5137309756089941]
本稿では,セキュアなコードを体系的に生成する大規模言語モデルの能力をベンチマークするフレームワークであるSALLMについて述べる。
フレームワークには3つの主要なコンポーネントがある。セキュリティ中心のPythonプロンプトの新たなデータセット、生成されたコードを評価するための評価テクニック、セキュアなコード生成の観点からモデルのパフォーマンスを評価するための新しいメトリクスである。
論文 参考訳(メタデータ) (2023-11-01T22:46:31Z) - Trusta: Reasoning about Assurance Cases with Formal Methods and Large
Language Models [4.005483185111992]
Trustworthiness Derivation Tree Analyzer (Trusta)は、TDTを自動構築し検証するデスクトップアプリケーションである。
バックエンドにはPrologインタプリタが内蔵されており、制約解決器Z3とMONAによってサポートされている。
Trustaは自然言語のテキストから形式的な制約を抽出し、解釈と検証を容易にする。
論文 参考訳(メタデータ) (2023-09-22T15:42:43Z) - HIVE: Scalable Hardware-Firmware Co-Verification using Scenario-based Decomposition and Automated Hint Extraction [2.977255700811213]
ハードウェア確認ソフトの共検証は、信頼できるシステムの設計に不可欠である。
ハードウェアを手動で抽象化したり、ヒントを手動で生成することで、ファームウェア検証中の状態空間を削減できる有望な方法がある。
本稿では,シミュレーションに基づく検証のスケーラビリティと形式検証の完全性とを効果的に組み合わせる。
論文 参考訳(メタデータ) (2023-09-14T19:24:57Z) - Red Teaming Language Model Detectors with Language Models [114.36392560711022]
大規模言語モデル(LLM)は、悪意のあるユーザによって悪用された場合、重大な安全性と倫理的リスクをもたらす。
近年,LLM生成テキストを検出し,LLMを保護するアルゴリズムが提案されている。
1) LLMの出力中の特定の単語を, 文脈が与えられたシノニムに置き換えること, 2) 生成者の書き方を変更するための指示プロンプトを自動で検索すること,である。
論文 参考訳(メタデータ) (2023-05-31T10:08:37Z) - CodeLMSec Benchmark: Systematically Evaluating and Finding Security
Vulnerabilities in Black-Box Code Language Models [58.27254444280376]
自動コード生成のための大規模言語モデル(LLM)は、いくつかのプログラミングタスクにおいてブレークスルーを達成した。
これらのモデルのトレーニングデータは、通常、インターネット(例えばオープンソースのリポジトリから)から収集され、障害やセキュリティ上の脆弱性を含む可能性がある。
この不衛生なトレーニングデータは、言語モデルにこれらの脆弱性を学習させ、コード生成手順中にそれを伝播させる可能性がある。
論文 参考訳(メタデータ) (2023-02-08T11:54:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。