論文の概要: Bench4HLS: End-to-End Evaluation of LLMs in High-Level Synthesis Code Generation

• arxiv url: http://arxiv.org/abs/2601.19941v1
• Date: Fri, 16 Jan 2026 20:52:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-02 02:21:38.569198
• Title: Bench4HLS: End-to-End Evaluation of LLMs in High-Level Synthesis Code Generation
• Title（参考訳）: Bench4HLS:高レベル合成符号生成におけるLCMのエンドツーエンド評価
• Authors: M Zafir Sadik Khan, Kimia Azar, Hadi Kamali,
• Abstract要約: 大規模言語モデル(LLM)は、レジスタ転送レベル(RTL)におけるハードウェア設計を含む、コード生成において強力な能力を示している。 HLSとRTLに焦点を当てた研究の比率は過去6ヶ月で1:10から2:10に変化した。 この増加傾向は、LSMベースのHLS専用の総合的なベンチマークと評価フレームワークの必要性を浮き彫りにしている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In last two years, large language models (LLMs) have shown strong capabilities in code generation, including hardware design at register-transfer level (RTL). While their use in high-level synthesis (HLS) remains comparatively less mature, the ratio of HLS- to RTL-focused studies has shifted from 1:10 to 2:10 in the past six months, indicating growing interest in leveraging LLMs for high-level design entry while relying on downstream synthesis for optimization. This growing trend highlights the need for a comprehensive benchmarking and evaluation framework dedicated to LLM-based HLS. To address this, We present Bench4HLS for evaluating LLM-generated HLS designs. Bench4HLS comprises 170 manually drafted and validated case studies, spanning small kernels to complex accelerators, curated from widely used public repositories. The framework supports fully automated assessment of compilation success, functional correctness via simulation, and synthesis feasibility/optimization. Crucially, Bench4HLS integrates a pluggable API for power, performance, and area (PPA) analysis across various HLS toolchains and architectures, demonstrated here with Xilinx Vitis HLS and validated on Catapult HLS. By providing a structured, extensible, and plug-and-play testbed, Bench4HLS establishes a foundational methodology for benchmarking LLMs in HLS workflows.
• Abstract（参考訳）: 過去2年間で、大きな言語モデル(LLM)は、レジスタ・トランスファーレベル(RTL)におけるハードウェア設計を含む、コード生成において強力な能力を示してきた。 高レベル合成(HLS)の使用は、まだ比較的成熟していないが、HLS-とRTL-に焦点を当てた研究の割合は、過去6ヶ月で1:10から2:10に変化しており、最適化のために下流合成を頼りながら、高レベル設計のエントリーにLLMを活用することへの関心が高まっていることを示している。 この増加傾向は、LSMベースのHLS専用の総合的なベンチマークと評価フレームワークの必要性を浮き彫りにしている。 そこで本稿では,LLM 生成 HLS 設計評価のための Bench4HLS を提案する。 Bench4HLSは、手作業で作成した170のケーススタディと、広く使用されている公開リポジトリからキュレートされた、小さなカーネルから複雑なアクセラレータにまたがる検証済みのケーススタディで構成されている。 このフレームワークは、コンパイル成功の完全な自動評価、シミュレーションによる機能的正しさ、および合成可能性/最適化をサポートする。 Bench4HLSは、さまざまなHLSツールチェーンとアーキテクチャにわたって、パワー、パフォーマンス、エリア(PPA)分析のためのプラグイン可能なAPIを統合しており、Xilinx Vitis HLSで実証され、Catapult HLSで検証されている。 Bench4HLSは構造化され拡張可能で、プラグアンドプレイのテストベッドを提供することで、LSMをHLSワークフローでベンチマークするための基本的な方法論を確立している。

関連論文リスト

• TimelyHLS: LLM-Based Timing-Aware and Architecture-Specific FPGA HLS Optimization [0.0]
  TimelyHLSは、タイミングクリティカルとデザイン固有のプラグマの両方で注釈付けされたHLSコードを生成する。 TimelyHLSは、プラットフォーム間のタイミング閉鎖と機能的正しさを一貫して達成する。
  論文  参考訳（メタデータ） (2025-07-23T22:08:15Z)
• ForgeHLS: A Large-Scale, Open-Source Dataset for High-Level Synthesis [13.87691887333415]
  本稿では,機械学習(ML)駆動型HLS研究用に明示的に設計された大規模オープンソースデータセットであるForgeHLSを紹介する。 ForgeHLSは、広範囲のアプリケーションドメインをカバーする846のカーネルから生成される400万以上の多様な設計で構成されている。 既存のデータセットと比較して、ForgeHLSはスケール、多様性、設計カバレッジを大幅に向上する。
  論文  参考訳（メタデータ） (2025-07-04T02:23:46Z)
• HLS-Eval: A Benchmark and Framework for Evaluating LLMs on High-Level Synthesis Design Tasks [4.71707720395444]
  HLS-Evalは、HLS駆動設計のための最初の完全なベンチマークおよび評価フレームワークである。 ベンチマークには、標準のHLSベンチマークと新しいソースから描かれた94のユニークな設計が含まれている。 ベンチマーク以外にも、HLS-Evalは、ローカルおよびホストされたLLMの自動化、並列評価のためのモジュール型のPythonフレームワークを提供している。
  論文  参考訳（メタデータ） (2025-04-16T17:30:36Z)
• Exploring Code Language Models for Automated HLS-based Hardware Generation: Benchmark, Infrastructure and Analysis [14.458529723566379]
  LLM(Large Language Model)は、PythonやC++などのプログラミング言語に使用される。 本稿では,LLMを利用してHLS(High-Level Synthesis)ベースのハードウェア設計を行う。
  論文  参考訳（メタデータ） (2025-02-19T17:53:59Z)
• LLM2: Let Large Language Models Harness System 2 Reasoning [65.89293674479907]
  大規模言語モデル(LLM)は、無数のタスクにまたがって印象的な機能を示してきたが、時には望ましくない出力が得られる。 本稿では LLM とプロセスベースの検証器を組み合わせた新しいフレームワーク LLM2 を紹介する。 LLMs2は妥当な候補を生成するのに責任を持ち、検証者は望ましい出力と望ましくない出力を区別するためにタイムリーなプロセスベースのフィードバックを提供する。
  論文  参考訳（メタデータ） (2024-12-29T06:32:36Z)
• Are LLMs Any Good for High-Level Synthesis? [1.3927943269211591]
  大規模言語モデル(LLM)は、高レベル合成(HLS)プロセスの合理化や置き換えが可能である。 LLMは自然言語の仕様を理解し、Cコードや自然言語の仕様を翻訳することができる。 本研究の目的は、AIアクセラレーション、組み込みシステム、高性能コンピューティングなどのアプリケーションにおいて、最適化されたハードウェア設計のための将来的な方向性を特定することである。
  論文  参考訳（メタデータ） (2024-08-19T21:40:28Z)
• ML-Bench: Evaluating Large Language Models and Agents for Machine Learning Tasks on Repository-Level Code [76.84199699772903]
  ML-Benchは、既存のコードリポジトリを利用してタスクを実行する現実世界のプログラミングアプリケーションに根ざしたベンチマークである。 LLM(Large Language Model)とAIエージェントの両方を評価するために、事前に定義されたデプロイメント環境でLLMのテキスト-コード変換を評価するML-LLM-Benchと、Linuxサンドボックス環境でエンドツーエンドのタスク実行で自律エージェントをテストするML-Agent-Benchの2つの設定が採用されている。
  論文  参考訳（メタデータ） (2023-11-16T12:03:21Z)
• FederatedScope-LLM: A Comprehensive Package for Fine-tuning Large Language Models in Federated Learning [70.38817963253034]
  本稿では, ファインチューニング LLM のこれらの課題について論じ, 本パッケージ FS-LLM を主な貢献として紹介する。 我々は、FLシナリオにおける将来の拡張のために、包括的フェデレーションパラメータ効率の良い微調整アルゴリズムの実装と汎用プログラミングインタフェースを提供する。 本研究では, FS-LLM の有効性を検証し, FL 設定におけるパラメータ効率の高いパラメータ調整アルゴリズムを用いて, 高度な LLM のベンチマークを行う。
  論文  参考訳（メタデータ） (2023-09-01T09:40:36Z)
• Zero-Shot Cross-Lingual Summarization via Large Language Models [108.30673793281987]
  言語間要約(CLS)は、異なる対象言語で要約を生成する。 近年のLarge Language Models (LLMs) の出現は、計算言語学コミュニティから広く注目を集めている。 本稿では,異なるパラダイムからゼロショットCLSを実行するために,LSMを誘導するために様々なプロンプトを経験的に使用した。
  論文  参考訳（メタデータ） (2023-02-28T01:27:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。