論文の概要: OriGen:Enhancing RTL Code Generation with Code-to-Code Augmentation and Self-Reflection

• arxiv url: http://arxiv.org/abs/2407.16237v1
• Date: Tue, 23 Jul 2024 07:22:25 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-24 18:16:07.956818
• Title: OriGen:Enhancing RTL Code Generation with Code-to-Code Augmentation and Self-Reflection
• Title（参考訳）: OriGen: Code-to-Code AugmentationとセルフリフレクションによるRTLコード生成の強化
• Authors: Fan Cui, Chenyang Yin, Kexing Zhou, Youwei Xiao, Guangyu Sun, Qiang Xu, Qipeng Guo, Demin Song, Dahua Lin, Xingcheng Zhang, Yun, Liang,
• Abstract要約: OriGenは、セルフリフレクション機能とデータセット拡張方法論を備えた、完全なオープンソースフレームワークである。 我々は、OriGenがRTLコード生成において、他のオープンソース代替よりも著しく優れていることを示す。
• 参考スコア（独自算出の注目度）: 54.775409528658486
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Recent studies have illuminated that Large Language Models (LLMs) exhibit substantial potential in the realm of RTL (Register Transfer Level) code generation, with notable advancements evidenced by commercial models such as GPT-4 and Claude3-Opus. Despite their proficiency, these commercial LLMs often raise concerns regarding privacy and security. Conversely, open-source LLMs, which offer solutions to these concerns, have inferior performance in RTL code generation tasks to commercial models due to the lack of highquality open-source RTL datasets. To address this issue, we introduce OriGen, a fully open-source framework featuring self-reflection capabilities and a dataset augmentation methodology for generating high-quality, large-scale RTL code. We propose a novel code-to-code augmentation methodology that leverages knowledge distillation to enhance the quality of the open-source RTL code datasets. Additionally, OriGen is capable of correcting syntactic errors by leveraging a self-reflection process based on feedback from the compiler. The self-reflection ability of the model is facilitated by a carefully constructed dataset, which comprises a comprehensive collection of samples. Experimental results demonstrate that OriGen remarkably outperforms other open-source alternatives in RTL code generation, surpassing the previous best-performing LLM by 9.8% on the VerilogEval-Human benchmark. Furthermore, OriGen exhibits superior capabilities in self-reflection and error rectification, surpassing GPT-4 by 18.1% on the benchmark designed to evaluate the capability of self-reflection.
• Abstract（参考訳）: 近年の研究では,大規模言語モデル (LLM) が RTL (Register Transfer Level) コード生成の領域において大きな可能性を秘めており,GPT-4 や Claude3-Opus などの商業モデルによる顕著な進歩が証明されている。 熟練しているにもかかわらず、これらの商業LLMはプライバシーとセキュリティに関する懸念をしばしば提起する。 逆に、これらの問題に対する解決策を提供するオープンソースのLLMは、高品質のオープンソースRTLデータセットが欠如しているため、商用モデルよりもRTLコード生成タスクの性能が劣っている。 この問題に対処するために,自己回帰機能を備えた完全にオープンソースなフレームワークであるOriGenと,高品質で大規模なRTLコードを生成するデータセット拡張手法を紹介する。 本稿では,知識蒸留を利用してオープンソースのRTLコードデータセットの品質を向上させる新しいコード・ツー・コード拡張手法を提案する。 さらに、OriGenは、コンパイラからのフィードバックに基づいて自己回帰プロセスを活用することで、構文エラーを修正することができる。 モデルの自己回帰能力は、包括的なサンプル収集を含む、慎重に構築されたデータセットによって促進される。 実験の結果、OriGenはRTLコード生成において他のオープンソース代替製品よりも優れており、VerilogEval-Humanベンチマークでは9.8%上回った。 さらに、OriGenは自己回帰とエラー修正の優れた能力を示し、自己回帰の能力を評価するために設計されたベンチマークでGPT-4を18.1%上回った。

関連論文リスト

• ITERTL: An Iterative Framework for Fine-tuning LLMs for RTL Code Generation [9.409062607311528]
  大規模言語モデル(LLM)は、人間の命令を理解し、コードを生成するのに優れた性能を示した。 我々は,ITERTLという,シンプルながら効果的な反復訓練パラダイムを導入する。 提案手法によってトレーニングされたモデルは、最先端のオープンソースモデル(SOTA)と競合し、さらに優れていることを示す。
  論文  参考訳（メタデータ） (2024-06-28T01:44:57Z)
• Improving Logits-based Detector without Logits from Black-box LLMs [56.234109491884126]
  大規模言語モデル(LLM)はテキスト生成に革命をもたらし、人間の文章を忠実に模倣する出力を生成する。 我々は、ブラックボックステキスト検出における最先端性能を再定義する革新的なフレームワークであるDLD(Dis Distribution-Aligned LLMs Detection)を提案する。 DALDは、サロゲートモデルの分布を未知の目標LLMの分布と整合させ、高速モデルの反復に対する検出能力とレジリエンスを向上するように設計されている。
  論文  参考訳（メタデータ） (2024-06-07T19:38:05Z)
• AICoderEval: Improving AI Domain Code Generation of Large Language Models [10.060988050644076]
  この分野の研究を促進するために,AICoderEvalデータセットをオープンソースとして公開しています。 我々は,LLMが現実世界のタスクに関連するコードを生成するのを支援するために,エージェントベースのフレームワークであるCoderGenを提案する。 AICoderEvalをベースとしたllama-3を改良したAICoderという,より強力なタスク固有コード生成モデルをトレーニングしています。
  論文  参考訳（メタデータ） (2024-06-07T07:45:38Z)
• AlchemistCoder: Harmonizing and Eliciting Code Capability by Hindsight Tuning on Multi-source Data [64.69872638349922]
  本稿では、マルチソースデータに微調整されたコード生成と一般化機能を備えたコードLLMのシリーズであるAlchemistCoderを紹介する。 本稿では,データ構築過程を微調整データに組み込んで,命令の進化,データフィルタリング,コードレビューなどのコード理解タスクを提案する。
  論文  参考訳（メタデータ） (2024-05-29T16:57:33Z)
• An Empirical Study of Automated Vulnerability Localization with Large Language Models [21.84971967029474]
  大規模言語モデル(LLM)は、様々な領域において可能性を示しているが、脆弱性のローカライゼーションにおけるその有効性は未解明のままである。 本調査では,ChatGPTや各種オープンソースモデルなど,コード解析に適した10以上のLLMを対象とする。 ゼロショット学習,ワンショット学習,識別的微調整,生成的微調整の4つのパラダイムを用いて,これらのLCMの有効性を検討する。
  論文  参考訳（メタデータ） (2024-03-30T08:42:10Z)
• GOLD: Generalized Knowledge Distillation via Out-of-Distribution-Guided Language Data Generation [21.56082253577229]
  金はタスクに依存しないデータ生成および知識蒸留フレームワークである。 LLMには反復的なアウト・オブ・ディストリビューション誘導フィードバック機構が採用されている。 ノイズ発生データを扱うためのエネルギーベースOOD評価手法も導入されている。
  論文  参考訳（メタデータ） (2024-03-28T18:08:22Z)
• How Can LLM Guide RL? A Value-Based Approach [68.55316627400683]
  強化学習(Reinforcement Learning, RL)は、将来の行動方針をフィードバックで改善することにより、シーケンシャルな意思決定問題の事実上の標準的実践となった。 大規模言語モデル(LLM)の最近の発展は、言語理解と生成において印象的な能力を示したが、探索と自己改善能力に欠けていた。 我々はLINVITというアルゴリズムを開発し、LLMガイダンスを値ベースRLの正規化因子として組み込んで学習に必要なデータ量を大幅に削減する。
  論文  参考訳（メタデータ） (2024-02-25T20:07:13Z)
• StepCoder: Improve Code Generation with Reinforcement Learning from Compiler Feedback [58.20547418182074]
  2つの主要コンポーネントからなるコード生成の新しいフレームワークであるStepCoderを紹介します。 CCCSは、長いシーケンスのコード生成タスクをCurriculum of Code Completion Subtaskに分割することで、探索課題に対処する。 FGOは、未実行のコードセグメントをマスクすることでのみモデルを最適化し、Fine-Grained Optimizationを提供する。 提案手法は,出力空間を探索し,対応するベンチマークにおいて最先端の手法より優れた性能を発揮する。
  論文  参考訳（メタデータ） (2024-02-02T13:14:31Z)
• LLM-Assisted Code Cleaning For Training Accurate Code Generators [53.087019724256606]
  コードの品質を調査した結果,より構造化され,読みやすくなれば,コード生成性能が向上することがわかった。 私たちは、これらの原則を使って既存のプログラムを変換する、新しいデータクリーニングパイプラインを構築します。 提案手法を2つのアルゴリズムコード生成ベンチマークで評価した結果,微調整のCodeLLaMa-7Bでは,元のデータセットの微調整に比べて最大30%性能が向上していることがわかった。
  論文  参考訳（メタデータ） (2023-11-25T02:45:50Z)
• Evaluating Diverse Large Language Models for Automatic and General Bug Reproduction [12.851941377433285]
  大規模言語モデル(LLM)は自然言語処理やコード生成に適していることが証明されている。 提案手法は,広く使用されているDefects4Jベンチマークにおいて,全バグの約3分の1を再現することができた。
  論文  参考訳（メタデータ） (2023-11-08T08:42:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。