論文の概要: HLSTester: Efficient Testing of Behavioral Discrepancies with LLMs for High-Level Synthesis
- arxiv url: http://arxiv.org/abs/2504.14641v1
- Date: Sun, 20 Apr 2025 14:45:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-29 21:08:34.331077
- Title: HLSTester: Efficient Testing of Behavioral Discrepancies with LLMs for High-Level Synthesis
- Title(参考訳): HLSTester:高レベル合成のためのLCMを用いた行動差の効率的な試験法
- Authors: Kangwei Xu, Bing Li, Grace Li Zhang, Ulf Schlichtmann,
- Abstract要約: 高レベル合成(HLS)における行動の相違をテストする既存の方法はまだ未熟である。
本研究では,大規模言語モデル(LLM)を用いたテストフレームワークHLSTesterを提案する。
LLMの幻覚を緩和するために、オリジナルのC/C++プログラムのテストベンチを利用して、LS互換のテストベンチを生成する。
- 参考スコア(独自算出の注目度): 4.544714097232974
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: In high-level synthesis (HLS), C/C++ programs with synthesis directives are used to generate circuits for FPGA implementations. However, hardware-specific and platform-dependent characteristics in these implementations can introduce behavioral discrepancies between the original C/C++ programs and the circuits after high-level synthesis. Existing methods for testing behavioral discrepancies in HLS are still immature, and the testing workflow requires significant human efforts. To address this challenge, we propose HLSTester, a large language model (LLM) aided testing framework that efficiently detects behavioral discrepancies in HLS. To mitigate hallucinations in LLMs and enhance prompt quality, the testbenches for original C/C++ programs are leveraged to guide LLMs in generating HLS-compatible testbenches, effectively eliminating certain traditional C/C++ constructs that are incompatible with HLS tools. Key variables are pinpointed through a backward slicing technique in both C/C++ and HLS programs to monitor their runtime spectra, enabling an in-depth analysis of the discrepancy symptoms. To reduce test time, a testing input generation mechanism is introduced to integrate dynamic mutation with insights from an LLM-based progressive reasoning chain. In addition, repetitive hardware testing is skipped by a redundancy-aware filtering technique for the generated test inputs. Experimental results demonstrate that the proposed LLM-aided testing framework significantly accelerates the testing workflow while achieving higher testbench simulation pass rates compared with the traditional method and the direct use of LLMs on the same HLS programs.
- Abstract(参考訳): 高レベル合成(HLS)において、C/C++プログラムはFPGA実装のための回路を生成するために使用される。
しかし、これらの実装におけるハードウェア固有の特徴とプラットフォームに依存した特徴は、C/C++プログラムと高レベル合成後の回路間の動作の相違をもたらす可能性がある。
HLSの振る舞いの相違をテストする既存の方法はまだ未熟であり、テストワークフローにはかなりの人的努力が必要である。
この課題に対処するため,大規模言語モデル(LLM)を用いたテストフレームワークHLSTesterを提案する。
LLMの幻覚を緩和し、迅速な品質向上のために、オリジナルのC/C++プログラムのテストベンチを利用して、HLS互換のテストベンチを生成するためのLSMをガイドし、HLSツールと互換性のない従来のC/C++構造を効果的に排除する。
主要な変数は、C/C++とHLSプログラムの両方で後方スライシング技術を使用して、実行時のスペクトルを監視し、不一致の症状の詳細な分析を可能にする。
テスト時間を短縮するため、LLMに基づくプログレッシブ推論チェーンからの洞察と動的突然変異を統合するためのテスト入力生成機構が導入された。
さらに、繰り返しハードウェアテストは、生成されたテスト入力に対する冗長性認識フィルタリング技術によってスキップされる。
実験結果から,LLM支援テストフレームワークは従来の手法よりも高いテストベンチシミュレーションパス率と,同じHLSプログラム上でのLSMの直接利用を実現しつつ,テストワークフローを著しく高速化することが示された。
関連論文リスト
- HLS-Eval: A Benchmark and Framework for Evaluating LLMs on High-Level Synthesis Design Tasks [4.71707720395444]
HLS-Evalは、HLS駆動設計のための最初の完全なベンチマークおよび評価フレームワークである。
ベンチマークには、標準のHLSベンチマークと新しいソースから描かれた94のユニークな設計が含まれている。
ベンチマーク以外にも、HLS-Evalは、ローカルおよびホストされたLLMの自動化、並列評価のためのモジュール型のPythonフレームワークを提供している。
論文 参考訳(メタデータ) (2025-04-16T17:30:36Z) - Exploring Code Language Models for Automated HLS-based Hardware Generation: Benchmark, Infrastructure and Analysis [14.458529723566379]
LLM(Large Language Model)は、PythonやC++などのプログラミング言語に使用される。
本稿では,LLMを利用してHLS(High-Level Synthesis)ベースのハードウェア設計を行う。
論文 参考訳(メタデータ) (2025-02-19T17:53:59Z) - Scoring Verifiers: Evaluating Synthetic Verification for Code and Reasoning [59.25951947621526]
本稿では,既存の符号化ベンチマークをスコアとランキングデータセットに変換して,合成検証の有効性を評価する手法を提案する。
我々は4つの新しいベンチマーク(HE-R, HE-R+, MBPP-R, MBPP-R+)を公表し, 標準, 推論, 報酬に基づくLCMを用いて合成検証手法を解析した。
実験の結果, 推論はテストケースの生成を著しく改善し, テストケースのスケーリングによって検証精度が向上することがわかった。
論文 参考訳(メタデータ) (2025-02-19T15:32:11Z) - Unit Testing Past vs. Present: Examining LLMs' Impact on Defect Detection and Efficiency [2.4936576553283283]
ソフトウェア工学へのLLM(Large Language Models)の統合は生産性を高める可能性を示している。
本稿では,LLMサポートが単体テスト時の欠陥検出効率を向上させるかを検討する。
論文 参考訳(メタデータ) (2025-02-13T22:27:55Z) - C2HLSC: Leveraging Large Language Models to Bridge the Software-to-Hardware Design Gap [20.528640971583112]
本稿では,HLS互換フォーマットに自動的にCコードを生成するための大規模言語モデルについて検討する。
本稿では,NIST 800-22テストのランダム性,QuickSortアルゴリズム,およびAES-128をHLS合成可能なCに書き換えるためにLLMを用いたケーススタディを提案する。
論文 参考訳(メタデータ) (2024-11-29T19:22:52Z) - SYNTHEVAL: Hybrid Behavioral Testing of NLP Models with Synthetic CheckLists [59.08999823652293]
我々は,NLPモデルの包括的評価のために,SyntheVALを提案する。
最後の段階では、人間の専門家が困難な例を調査し、手動でテンプレートを設計し、タスク固有のモデルが一貫して示す障害の種類を特定します。
我々は、感情分析と有害言語検出という2つの分類課題にSynTHEVALを適用し、これらの課題における強力なモデルの弱点を特定するのに、我々のフレームワークが有効であることを示す。
論文 参考訳(メタデータ) (2024-08-30T17:41:30Z) - Are LLMs Any Good for High-Level Synthesis? [1.3927943269211591]
大規模言語モデル(LLM)は、高レベル合成(HLS)プロセスの合理化や置き換えが可能である。
LLMは自然言語の仕様を理解し、Cコードや自然言語の仕様を翻訳することができる。
本研究の目的は、AIアクセラレーション、組み込みシステム、高性能コンピューティングなどのアプリケーションにおいて、最適化されたハードウェア設計のための将来的な方向性を特定することである。
論文 参考訳(メタデータ) (2024-08-19T21:40:28Z) - Case2Code: Scalable Synthetic Data for Code Generation [105.89741089673575]
大規模言語モデル(LLM)は、コード生成において顕著なブレークスルーを示している。
最近の研究は、いくつかの強力なLLMによって生成された合成データをトレーニングすることで、コードLLMを改善している。
プログラムの表現性と正確性を利用したtextbfCase2Code タスクを提案する。
論文 参考訳(メタデータ) (2024-07-17T11:35:00Z) - Large Language Models as Test Case Generators: Performance Evaluation and Enhancement [3.5398126682962587]
大規模言語モデルが高品質なテストケースをいかに生み出すかを検討する。
本稿では,テストインプットとテストアウトプットの生成を分離するemphTestChainというマルチエージェントフレームワークを提案する。
以上の結果から,TestChainはベースラインのマージンを大きく上回っていることが示唆された。
論文 参考訳(メタデータ) (2024-04-20T10:27:01Z) - Hyperparameters in Continual Learning: A Reality Check [53.30082523545212]
連続学習(CL)は、可塑性(新しいタスクを学ぶ)と安定性(事前知識を保持する)のトレードオフをバランスしながら、一連のタスクでモデルを訓練することを目的としている。
論文 参考訳(メタデータ) (2024-03-14T03:13:01Z) - Hint-before-Solving Prompting: Guiding LLMs to Effectively Utilize
Encoded Knowledge [85.17343729885003]
我々は,Hint-before-Solving Prompting (HSP)を導入し,その問題を解くためのヒントを生成する。
HSPは推論タスクの精度を効果的に向上させることができる。
我々はHSPと細調整されたLlemma-7Bに基づいてHSPMATHデータセットを構築し、64.3精度を達成した。
論文 参考訳(メタデータ) (2024-02-22T05:58:03Z) - StepCoder: Improve Code Generation with Reinforcement Learning from
Compiler Feedback [58.20547418182074]
2つの主要コンポーネントからなるコード生成の新しいフレームワークであるStepCoderを紹介します。
CCCSは、長いシーケンスのコード生成タスクをCurriculum of Code Completion Subtaskに分割することで、探索課題に対処する。
FGOは、未実行のコードセグメントをマスクすることでのみモデルを最適化し、Fine-Grained Optimizationを提供する。
提案手法は,出力空間を探索し,対応するベンチマークにおいて最先端の手法より優れた性能を発揮する。
論文 参考訳(メタデータ) (2024-02-02T13:14:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。