Fugu-MT 論文翻訳(概要): OriGen:Enhancing RTL Code Generation with Code-to-Code Augmentation and Self-Reflection

論文の概要: OriGen:Enhancing RTL Code Generation with Code-to-Code Augmentation and Self-Reflection

arxiv url: http://arxiv.org/abs/2407.16237v1
Date: Tue, 23 Jul 2024 07:22:25 GMT
ステータス: 処理完了
システム内更新日: 2024-07-24 18:16:07.956818
Title: OriGen:Enhancing RTL Code Generation with Code-to-Code Augmentation and Self-Reflection
Title（参考訳）: OriGen: Code-to-Code AugmentationとセルフリフレクションによるRTLコード生成の強化
Authors: Fan Cui, Chenyang Yin, Kexing Zhou, Youwei Xiao, Guangyu Sun, Qiang Xu, Qipeng Guo, Demin Song, Dahua Lin, Xingcheng Zhang, Yun, Liang,
Abstract要約: OriGenは、セルフリフレクション機能とデータセット拡張方法論を備えた、完全なオープンソースフレームワークである。我々は、OriGenがRTLコード生成において、他のオープンソース代替よりも著しく優れていることを示す。
参考スコア（独自算出の注目度）: 54.775409528658486
License: http://creativecommons.org/licenses/by-sa/4.0/
Abstract: Recent studies have illuminated that Large Language Models (LLMs) exhibit substantial potential in the realm of RTL (Register Transfer Level) code generation, with notable advancements evidenced by commercial models such as GPT-4 and Claude3-Opus. Despite their proficiency, these commercial LLMs often raise concerns regarding privacy and security. Conversely, open-source LLMs, which offer solutions to these concerns, have inferior performance in RTL code generation tasks to commercial models due to the lack of highquality open-source RTL datasets. To address this issue, we introduce OriGen, a fully open-source framework featuring self-reflection capabilities and a dataset augmentation methodology for generating high-quality, large-scale RTL code. We propose a novel code-to-code augmentation methodology that leverages knowledge distillation to enhance the quality of the open-source RTL code datasets. Additionally, OriGen is capable of correcting syntactic errors by leveraging a self-reflection process based on feedback from the compiler. The self-reflection ability of the model is facilitated by a carefully constructed dataset, which comprises a comprehensive collection of samples. Experimental results demonstrate that OriGen remarkably outperforms other open-source alternatives in RTL code generation, surpassing the previous best-performing LLM by 9.8% on the VerilogEval-Human benchmark. Furthermore, OriGen exhibits superior capabilities in self-reflection and error rectification, surpassing GPT-4 by 18.1% on the benchmark designed to evaluate the capability of self-reflection.
Abstract（参考訳）: 近年の研究では,大規模言語モデル (LLM) が RTL (Register Transfer Level) コード生成の領域において大きな可能性を秘めており,GPT-4 や Claude3-Opus などの商業モデルによる顕著な進歩が証明されている。熟練しているにもかかわらず、これらの商業LLMはプライバシーとセキュリティに関する懸念をしばしば提起する。逆に、これらの問題に対する解決策を提供するオープンソースのLLMは、高品質のオープンソースRTLデータセットが欠如しているため、商用モデルよりもRTLコード生成タスクの性能が劣っている。この問題に対処するために,自己回帰機能を備えた完全にオープンソースなフレームワークであるOriGenと,高品質で大規模なRTLコードを生成するデータセット拡張手法を紹介する。本稿では,知識蒸留を利用してオープンソースのRTLコードデータセットの品質を向上させる新しいコード・ツー・コード拡張手法を提案する。さらに、OriGenは、コンパイラからのフィードバックに基づいて自己回帰プロセスを活用することで、構文エラーを修正することができる。モデルの自己回帰能力は、包括的なサンプル収集を含む、慎重に構築されたデータセットによって促進される。実験の結果、OriGenはRTLコード生成において他のオープンソース代替製品よりも優れており、VerilogEval-Humanベンチマークでは9.8%上回った。さらに、OriGenは自己回帰とエラー修正の優れた能力を示し、自己回帰の能力を評価するために設計されたベンチマークでGPT-4を18.1%上回った。

関連論文リスト

ROCODE: Integrating Backtracking Mechanism and Program Analysis in Large Language Models for Code Generation [31.363781211927947]
大規模言語モデル(LLM)は、コード生成において素晴らしいパフォーマンスを達成した。 LLMはコード生成時にエラーの蓄積に影響を受けやすい。コード生成のためのLLMにバックトラック機構とプログラム解析を統合したROCODEを提案する。
論文参考訳（メタデータ） (2024-11-11T16:39:13Z)
CodeLutra: Boosting LLM Code Generation via Preference-Guided Refinement [32.46078765471136]
我々は、低パフォーマンスな大規模言語モデルを強化する新しいフレームワークであるCodeLutraを紹介する。従来の微調整とは異なり、CodeLutraは正しい解と間違った解を比較するために反復的な選好学習メカニズムを採用している。挑戦的なデータ分析タスクでは、わずか500個のサンプルを使用して、Llama-3-8Bの精度を28.2%から48.6%に改善し、GPT-4の性能に接近した。
論文参考訳（メタデータ） (2024-11-07T21:51:07Z)
OpenCoder: The Open Cookbook for Top-Tier Code Large Language Models [70.72097493954067]
コードのための大規模言語モデル(LLM)は、コード生成、推論タスク、エージェントシステムなど、さまざまな領域で必須になっている。オープンアクセスのコード LLM はプロプライエタリなモデルの性能レベルに近づきつつあるが、高品質なコード LLM は依然として限られている。トップクラスのコードLLMであるOpenCoderは、主要なモデルに匹敵するパフォーマンスを達成するだけでなく、研究コミュニティの"オープンクックブック"としても機能します。
論文参考訳（メタデータ） (2024-11-07T17:47:25Z)
AIvril: AI-Driven RTL Generation With Verification In-The-Loop [0.7831852829409273]
LLM(Large Language Models)は、複雑な自然言語処理タスクを実行できる計算モデルである。本稿では,RTL対応LLMの精度と信頼性を高めるためのフレームワークであるAIvrilを紹介する。
論文参考訳（メタデータ） (2024-09-03T15:07:11Z)
AutoVCoder: A Systematic Framework for Automated Verilog Code Generation using LLMs [27.179391677757565]
我々は,Verilogコード生成の正確性を大幅に向上するフレームワークであるAutoVCoderを開発した。本フレームワークは,高品質なハードウェアデータセット生成手法を含む3つの新しい手法を統合する。 AutoVCoderは、BetterVと比較して、EvalMachineとEvalHumanのベンチマークで機能的正しさが0.5%と2.2%向上している。
論文参考訳（メタデータ） (2024-07-21T16:42:45Z)
UniGen: A Unified Framework for Textual Dataset Generation Using Large Language Models [88.16197692794707]
UniGenは、多様で正確で高度に制御可能なデータセットを作成するように設計された包括的なフレームワークである。データ多様性を強化するため、UniGenは属性誘導生成モジュールとグループチェック機能を備えている。大規模な実験は、UniGenによって生成されたデータの優れた品質を示す。
論文参考訳（メタデータ） (2024-06-27T07:56:44Z)
DS-Agent: Automated Data Science by Empowering Large Language Models with Case-Based Reasoning [56.887047551101574]
大規模言語モデル(LLM)エージェントとケースベース推論(CBR)を利用した新しいフレームワークであるDS-Agentを提案する。開発段階では、DS-AgentはCBRフレームワークに従い、自動イテレーションパイプラインを構築する。デプロイメントの段階では、DS-Agentは、シンプルなCBRパラダイムで低リソースのデプロイメントステージを実装し、LCMの基本能力に対する需要を大幅に削減する。
論文参考訳（メタデータ） (2024-02-27T12:26:07Z)
StepCoder: Improve Code Generation with Reinforcement Learning from Compiler Feedback [58.20547418182074]
2つの主要コンポーネントからなるコード生成の新しいフレームワークであるStepCoderを紹介します。 CCCSは、長いシーケンスのコード生成タスクをCurriculum of Code Completion Subtaskに分割することで、探索課題に対処する。 FGOは、未実行のコードセグメントをマスクすることでのみモデルを最適化し、Fine-Grained Optimizationを提供する。提案手法は,出力空間を探索し,対応するベンチマークにおいて最先端の手法より優れた性能を発揮する。
論文参考訳（メタデータ） (2024-02-02T13:14:31Z)
LLM-Assisted Code Cleaning For Training Accurate Code Generators [53.087019724256606]
コードの品質を調査した結果,より構造化され,読みやすくなれば,コード生成性能が向上することがわかった。私たちは、これらの原則を使って既存のプログラムを変換する、新しいデータクリーニングパイプラインを構築します。提案手法を2つのアルゴリズムコード生成ベンチマークで評価した結果,微調整のCodeLLaMa-7Bでは,元のデータセットの微調整に比べて最大30%性能が向上していることがわかった。
論文参考訳（メタデータ） (2023-11-25T02:45:50Z)
Evaluating Diverse Large Language Models for Automatic and General Bug Reproduction [12.851941377433285]
大規模言語モデル(LLM)は自然言語処理やコード生成に適していることが証明されている。提案手法は,広く使用されているDefects4Jベンチマークにおいて,全バグの約3分の1を再現することができた。
論文参考訳（メタデータ） (2023-11-08T08:42:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。