論文の概要: Empowering AI to Generate Better AI Code: Guided Generation of Deep Learning Projects with LLMs
- arxiv url: http://arxiv.org/abs/2504.15080v1
- Date: Mon, 21 Apr 2025 13:09:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-29 16:29:12.787063
- Title: Empowering AI to Generate Better AI Code: Guided Generation of Deep Learning Projects with LLMs
- Title(参考訳): AIによるより良いAIコード生成の強化 - LLMによるディープラーニングプロジェクトのガイド生成
- Authors: Chen Xie, Mingsheng Jiao, Xiaodong Gu, Beijun Shen,
- Abstract要約: 大規模言語モデル(LLM)は、ディープラーニングプロジェクト全体の生成に苦労する。
本稿では,ディープラーニングプロジェクトを生成するための新しい計画誘導型コード生成手法DLCodeGenを提案する。
- 参考スコア(独自算出の注目度): 4.616570111453259
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: While large language models (LLMs) have been widely applied to code generation, they struggle with generating entire deep learning projects, which are characterized by complex structures, longer functions, and stronger reliance on domain knowledge than general-purpose code. An open-domain LLM often lacks coherent contextual guidance and domain expertise for specific projects, making it challenging to produce complete code that fully meets user requirements. In this paper, we propose a novel planning-guided code generation method, DLCodeGen, tailored for generating deep learning projects. DLCodeGen predicts a structured solution plan, offering global guidance for LLMs to generate the project. The generated plan is then leveraged to retrieve semantically analogous code samples and subsequently abstract a code template. To effectively integrate these multiple retrieval-augmented techniques, a comparative learning mechanism is designed to generate the final code. We validate the effectiveness of our approach on a dataset we build for deep learning code generation. Experimental results demonstrate that DLCodeGen outperforms other baselines, achieving improvements of 9.7% in CodeBLEU and 3.6% in human evaluation metrics.
- Abstract(参考訳): 大規模言語モデル(LLM)はコード生成に広く適用されているが、複雑な構造、長い関数、汎用コードよりもドメイン知識への依存が強く、ディープラーニングプロジェクト全体の生成に苦慮している。
オープンドメインのLLMは、特定のプロジェクトに対する一貫性のあるコンテキストガイダンスやドメインの専門知識を欠いていることが多いため、ユーザ要求を完全に満たす完全なコードを生成するのは難しい。
本稿では,ディープラーニングプロジェクト生成に適した新しい計画誘導型コード生成手法DLCodeGenを提案する。
DLCodeGenは構造化されたソリューション計画を予測し、LCMがプロジェクトを生成するためのグローバルガイダンスを提供する。
生成されたプランは、セマンティックに類似したコードサンプルを取得し、その後、コードテンプレートを抽象化するために利用される。
これら複数の検索強化手法を効果的に統合するために、最終コードを生成するための比較学習機構が設計されている。
ディープラーニングコード生成のために構築したデータセットに対するアプローチの有効性を検証する。
実験の結果、DLCodeGenは他のベースラインよりも優れており、CodeBLEUでは9.7%、人間評価では3.6%の改善が達成されている。
関連論文リスト
- Pragmatic Reasoning improves LLM Code Generation [35.78260347663757]
我々は,Rational Speech Act (RSA) フレームワーク上に構築された新しいコード候補付け機構であるCodeRSAを提案する。
我々は、人気のあるコード生成データセット上で、最新のLarge Language Modelの1つを用いてCodeRSAを評価する。
論文 参考訳(メタデータ) (2025-02-20T12:44:26Z) - SnipGen: A Mining Repository Framework for Evaluating LLMs for Code [51.07471575337676]
言語モデル(LLM)は、コードリポジトリを含む広範なデータセットに基づいてトレーニングされる。
それらの有効性を評価することは、トレーニングに使用されるデータセットと評価に使用されるデータセットとが重複する可能性があるため、大きな課題となる。
SnipGenは、コード生成のために、様々な下流タスクをまたいだ迅速なエンジニアリングを活用するように設計された包括的なリポジトリマイニングフレームワークである。
論文 参考訳(メタデータ) (2025-02-10T21:28:15Z) - Renaissance of Literate Programming in the Era of LLMs: Enhancing LLM-Based Code Generation in Large-Scale Projects [7.927743991760644]
大規模言語モデル(LLM)は、コード生成、理解、修復を通じてプログラマの効率向上を支援する。
大規模プロジェクトへの彼らの適用は、複雑な相互依存と近代の広範な規模のために、依然として困難である。
本研究では,ILP(Interoperable LP)の概念を導入し,LLMによる小規模文書と大規模プロジェクトの開発を促進する。
論文 参考訳(メタデータ) (2024-12-25T12:02:46Z) - OpenCoder: The Open Cookbook for Top-Tier Code Large Language Models [76.59316249991657]
コードのための大規模言語モデル(LLM)は、コード生成、推論タスク、エージェントシステムなど、さまざまな領域で必須になっている。
オープンアクセスのコード LLM はプロプライエタリなモデルの性能レベルに近づきつつあるが、高品質なコード LLM は依然として限られている。
トップクラスのコードLLMであるOpenCoderは、主要なモデルに匹敵するパフォーマンスを達成するだけでなく、研究コミュニティの"オープンクックブック"としても機能します。
論文 参考訳(メタデータ) (2024-11-07T17:47:25Z) - Genetic Instruct: Scaling up Synthetic Generation of Coding Instructions for Large Language Models [59.60208063956459]
大規模言語モデル(LLM)は、効果的なアライメントのために高品質な命令データを必要とする。
本稿では,大規模かつ高品質な符号化命令を合成するスケーラブルなアルゴリズムであるGenematic-Instructを提案する。
論文 参考訳(メタデータ) (2024-07-29T20:42:59Z) - What's Wrong with Your Code Generated by Large Language Models? An Extensive Study [80.18342600996601]
大規模言語モデル(LLM)は、標準解に比べて短いがより複雑なコードを生成する。
3つのカテゴリと12のサブカテゴリを含む誤ったコードに対するバグの分類を開発し、一般的なバグタイプに対する根本原因を分析する。
そこで本研究では,LLMがバグタイプやコンパイラフィードバックに基づいて生成したコードを批判し,修正することのできる,自己批判を導入した新たな学習自由反復手法を提案する。
論文 参考訳(メタデータ) (2024-07-08T17:27:17Z) - A Survey on Large Language Models for Code Generation [9.555952109820392]
大規模言語モデル(LLM)は、様々なコード関連のタスクで顕著な進歩を遂げています。
本調査は、総合的かつ最新の文献レビューを提供することで、学界と実践的発展のギャップを埋めることを目的としている。
論文 参考訳(メタデータ) (2024-06-01T17:48:15Z) - CodeIP: A Grammar-Guided Multi-Bit Watermark for Large Language Models of Code [56.019447113206006]
大規模言語モデル(LLM)はコード生成において顕著な進歩を遂げた。
CodeIPは、新しいマルチビット透かし技術で、出所の詳細を保持するために追加情報を挿入する。
5つのプログラミング言語にまたがる実世界のデータセットで実施された実験は、CodeIPの有効性を実証している。
論文 参考訳(メタデータ) (2024-04-24T04:25:04Z) - Iterative Refinement of Project-Level Code Context for Precise Code Generation with Compiler Feedback [29.136378191436396]
我々は,コンパイラフィードバックを用いてLLM生成コードを改善する新しいコード生成手法であるCoCoGenを提案する。
CoCoGenは、まず静的解析を利用して、生成されたコードとプロジェクトのコンテキストのミスマッチを特定する。
その後、コードリポジトリから抽出された情報を使用して、識別されたエラーを反復的に調整し、修正する。
論文 参考訳(メタデータ) (2024-03-25T14:07:27Z) - StepCoder: Improve Code Generation with Reinforcement Learning from
Compiler Feedback [58.20547418182074]
2つの主要コンポーネントからなるコード生成の新しいフレームワークであるStepCoderを紹介します。
CCCSは、長いシーケンスのコード生成タスクをCurriculum of Code Completion Subtaskに分割することで、探索課題に対処する。
FGOは、未実行のコードセグメントをマスクすることでのみモデルを最適化し、Fine-Grained Optimizationを提供する。
提案手法は,出力空間を探索し,対応するベンチマークにおいて最先端の手法より優れた性能を発揮する。
論文 参考訳(メタデータ) (2024-02-02T13:14:31Z) - On the Effectiveness of Large Language Models in Domain-Specific Code Generation [20.61882220430463]
ChatGPTのような大規模言語モデル(LLM)は、コード生成において顕著な能力を示している。
コード生成プロセスにAPI知識を効果的に組み込む方法について検討する。
私たちはこれらの戦略を、DomCoderと呼ばれる新しいコード生成アプローチと呼んでいる。
論文 参考訳(メタデータ) (2023-12-04T05:41:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。