論文の概要: CreativEval: Evaluating Creativity of LLM-Based Hardware Code Generation

• arxiv url: http://arxiv.org/abs/2404.08806v1
• Date: Fri, 12 Apr 2024 20:41:47 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-16 18:42:32.664788
• Title: CreativEval: Evaluating Creativity of LLM-Based Hardware Code Generation
• Title（参考訳）: CreativEval: LLMベースのハードウェアコード生成の創造性を評価する
• Authors: Matthew DeLorenzo, Vasudev Gohil, Jeyavijayan Rajendran,
• Abstract要約: 大規模言語モデル(LLM)は、コードを生成するのに効果的で効率的であることが証明されている。 CreativeEvalは、ハードウェア設計を作成するコンテキストにおけるLCMの創造性を評価するためのフレームワークである。
• 参考スコア（独自算出の注目度）: 4.664950672096393
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Large Language Models (LLMs) have proved effective and efficient in generating code, leading to their utilization within the hardware design process. Prior works evaluating LLMs' abilities for register transfer level code generation solely focus on functional correctness. However, the creativity associated with these LLMs, or the ability to generate novel and unique solutions, is a metric not as well understood, in part due to the challenge of quantifying this quality. To address this research gap, we present CreativeEval, a framework for evaluating the creativity of LLMs within the context of generating hardware designs. We quantify four creative sub-components, fluency, flexibility, originality, and elaboration, through various prompting and post-processing techniques. We then evaluate multiple popular LLMs (including GPT models, CodeLlama, and VeriGen) upon this creativity metric, with results indicating GPT-3.5 as the most creative model in generating hardware designs.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、コード生成において効率的かつ効率的であることが証明され、ハードウェア設計プロセス内での利用に繋がった。 LLMのレジスタ転送レベルのコード生成能力を評価する以前の研究は、機能的正確性のみに焦点を当てていた。 しかし、これらのLCMに関連する創造性や、新しくユニークなソリューションを生成する能力は、この品質を定量化することの難しさを理由として、あまりよく理解されていないメトリクスである。 この研究ギャップに対処するため,ハードウェア設計の文脈におけるLCMの創造性を評価するフレームワークであるCreativeEvalを提案する。 我々は、様々なプロンプトと後処理技術を用いて、4つの創造的サブコンポーネント、流布、柔軟性、独創性、そして実験を定量化する。 次に,GPTモデル,CodeLlama,VeriGenを含む複数の人気のあるLCMを評価し,GPT-3.5がハードウェア設計の最も創造的なモデルであることを示す。

関連論文リスト

• Exploring Code Language Models for Automated HLS-based Hardware Generation: Benchmark, Infrastructure and Analysis [49.998130983414924]
  LLM(Large Language Model)は、PythonやC++などのプログラミング言語に使用される。 本稿では,LLMを利用してHLS(High-Level Synthesis)ベースのハードウェア設計を行う。
  論文  参考訳（メタデータ） (2025-02-19T17:53:59Z)
• A Causality-aware Paradigm for Evaluating Creativity of Multimodal Large Language Models [100.16387798660833]
  オオギリゲーム(オオギリゲーム)は、ユーモアと連想的思考を必要とする創造的な仕事である。 LoTbenchはインタラクティブで因果性を考慮した評価フレームワークである。 その結果、ほとんどのLLMは制約された創造性を示すが、LLMと人間の間の性能格差は克服できないことがわかった。
  論文  参考訳（メタデータ） (2025-01-25T09:11:15Z)
• HiVeGen -- Hierarchical LLM-based Verilog Generation for Scalable Chip Design [55.54477725000291]
  HiVeGenは階層的なVerilog生成フレームワークで、生成タスクを階層的なサブモジュールに分解する。 自動設計空間探索(DSE)を階層対応のプロンプト生成に変換し、コードの再利用を強化するために重みに基づく検索を導入する。 エラー補正コストを低減し、生成した設計の質を大幅に向上させる。
  論文  参考訳（メタデータ） (2024-12-06T19:37:53Z)
• The creative psychometric item generator: a framework for item generation and validation using large language models [1.765099515298011]
  大規模な言語モデル(LLM)は、高い創造性を必要とする職場プロセスを自動化するために使われています。 我々は,創造的問題解決(CPS)タスクという,古典的な自由応答性創造性テストのためのテスト項目を作成するための心理的にインスパイアされたフレームワークを開発する。 CPIGが有効かつ信頼性の高い項目を生成し、この効果が評価過程における既知のバイアスに寄与しないという強い実証的証拠が得られた。
  論文  参考訳（メタデータ） (2024-08-30T18:31:02Z)
• Benchmarking Language Model Creativity: A Case Study on Code Generation [39.546827184857754]
  本研究では,LLMの創造性を定量化するフレームワークを提案する。 生成した創造的応答における収束的思考と発散的思考の両方を定量化する計量であるNEOGAUGEを定義する。 我々はCodeforcesの問題に関する提案されたフレームワークをテストする。これは、タスクをコーディングするための自然なデータセットと、先行する人間のソリューションのコレクションの両方に役立ちます。
  論文  参考訳（メタデータ） (2024-07-12T05:55:22Z)
• Improving Natural Language Capability of Code Large Language Model [13.639938216171185]
  本稿では,AttentionExtractorとAttentionCoderという2つのモジュールからなる新しいフレームワークを提案する。 AttentionExtractorはユーザの自然言語要求からキーフレーズを抽出する役割を持ち、AttentionCoderは抽出したフレーズを利用してターゲットコードを生成する。 フレームワークの有効性を検証するため、5つの自然言語をカバーするMultiNL-Hという新しいコード生成ベンチマークを構築した。
  論文  参考訳（メタデータ） (2024-01-25T15:33:20Z)
• Assessing and Understanding Creativity in Large Language Models [33.37237667182931]
  本稿では,大規模言語モデル(LLM)における創造性レベルを評価するための効率的な枠組みを確立することを目的とする。 The Torrance Tests of Creative Thinking を用いて、7つのタスクにまたがる様々なLSMの創造的パフォーマンスを評価する。 LLMの創造性は、主に独創性に欠けるが、エラボレーションには優れていた。
  論文  参考訳（メタデータ） (2024-01-23T05:19:47Z)
• Knowledge Fusion of Large Language Models [73.28202188100646]
  本稿では,大規模言語モデル(LLM)における知識融合の概念を紹介する。 我々は、それらの集合的知識と独特な強みを外部化し、それによってターゲットモデルの能力が、どのソースLLMよりも高められるようにします。 この結果から,LLMの融合により,推論やコモンセンス,コード生成など,対象モデルの性能が向上することが確認された。
  論文  参考訳（メタデータ） (2024-01-19T05:02:46Z)
• If LLM Is the Wizard, Then Code Is the Wand: A Survey on How Code Empowers Large Language Models to Serve as Intelligent Agents [81.60906807941188]
  大型言語モデル(LLM)は、自然言語と形式言語(コード)の組み合わせに基づいて訓練される コードは、標準構文、論理一貫性、抽象化、モジュール性を備えた高レベルの目標を実行可能なステップに変換する。
  論文  参考訳（メタデータ） (2024-01-01T16:51:20Z)
• LLM-Assisted Code Cleaning For Training Accurate Code Generators [53.087019724256606]
  コードの品質を調査した結果,より構造化され,読みやすくなれば,コード生成性能が向上することがわかった。 私たちは、これらの原則を使って既存のプログラムを変換する、新しいデータクリーニングパイプラインを構築します。 提案手法を2つのアルゴリズムコード生成ベンチマークで評価した結果,微調整のCodeLLaMa-7Bでは,元のデータセットの微調整に比べて最大30%性能が向上していることがわかった。
  論文  参考訳（メタデータ） (2023-11-25T02:45:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。