論文の概要: RETROcode: Leveraging a Code Database for Improved Natural Language to Code Generation

• arxiv url: http://arxiv.org/abs/2504.05759v2
• Date: Wed, 09 Apr 2025 06:55:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-10 13:06:50.565746
• Title: RETROcode: Leveraging a Code Database for Improved Natural Language to Code Generation
• Title（参考訳）: RETROcode: 改善された自然言語からコード生成へのコードデータベースの活用
• Authors: Nathanaël Beau, Benoît Crabbé,
• Abstract要約: 本稿では,シーケンス・ツー・シーケンス・モデルに対するRETROアーキテクチャの新たな適応であるRETROcodeを提案する。 以上の結果から,RETROcode はテストセット上での類似サイズの従来型アーキテクチャよりも優れるだけでなく,はるかに大きな Codex モデルの有効性にもアプローチすることが示唆された。
• 参考スコア（独自算出の注目度）: 10.19019476978683
• License:
• Abstract: As text and code resources have expanded, large-scale pre-trained models have shown promising capabilities in code generation tasks, typically employing supervised fine-tuning with problem statement-program pairs. However, increasing model size and data volume for performance gains also raises computational demands and risks of overfitting. Addressing these challenges, we present RETROcode, a novel adaptation of the RETRO architecture \cite{RETRO} for sequence-to-sequence models, utilizing a large code database as an auxiliary scaling method. This approach, diverging from simply enlarging model and dataset sizes, allows RETROcode to leverage a vast code database for prediction, enhancing the model's efficiency by integrating extensive memory. Our findings indicate that RETROcode not only outperforms similar-sized traditional architectures on test sets but also approaches the effectiveness of the much larger Codex model, despite being trained from scratch on a substantially smaller dataset.
• Abstract（参考訳）: テキストとコードリソースが拡大するにつれて、大規模な事前訓練されたモデルはコード生成タスクにおいて有望な能力を示し、典型的には問題文とプログラムのペアを教師付き微調整する。 しかし、性能向上のためのモデルサイズとデータ量の増加は、計算要求や過度な適合のリスクも引き起こす。 これらの課題に対処するために,大規模なコードデータベースを補助スケーリング手法として利用したRETROアーキテクチャのシーケンス・ツー・シーケンス・モデルに対する新しい適応RETROcodeを提案する。 このアプローチは、モデルとデータセットのサイズを単純に拡大することから、RETROcodeが予測に巨大なコードデータベースを活用することを可能にし、広範なメモリを統合することでモデルの効率を高める。 以上の結果から,RETROcodeは,テストセット上での類似サイズの従来型アーキテクチャよりも優れるだけでなく,はるかに小さなデータセットでスクラッチからトレーニングされているにも関わらず,はるかに大きなCodexモデルの有効性にもアプローチしていることがわかった。

関連論文リスト

• CodeXEmbed: A Generalist Embedding Model Family for Multiligual and Multi-task Code Retrieval [103.116634967815]
  CodeXEmbedは400Mから7Bパラメータの大規模なコード埋め込みモデルのファミリーである。 我々の新しいトレーニングパイプラインは、複数のプログラミング言語を統合し、様々なコード関連タスクを共通の検索フレームワークに変換する。 私たちの7Bモデルは、コード検索において新しい最先端(SOTA)を設定し、以前の主要なモデルであるVoyage-CodeをCoIRベンチマークで20%以上上回っています。
  論文  参考訳（メタデータ） (2024-11-19T16:54:45Z)
• Can Models Help Us Create Better Models? Evaluating LLMs as Data Scientists [41.94295877935867]
  データサイエンスにおける最も知識集約的な課題の1つに取り組むために設計された,大規模言語モデルのベンチマークを示す。 提案手法のFeatEngは,LLMの幅広い能力を安価かつ効率的に評価できることを実証する。
  論文  参考訳（メタデータ） (2024-10-30T17:59:01Z)
• StepCoder: Improve Code Generation with Reinforcement Learning from Compiler Feedback [58.20547418182074]
  2つの主要コンポーネントからなるコード生成の新しいフレームワークであるStepCoderを紹介します。 CCCSは、長いシーケンスのコード生成タスクをCurriculum of Code Completion Subtaskに分割することで、探索課題に対処する。 FGOは、未実行のコードセグメントをマスクすることでのみモデルを最適化し、Fine-Grained Optimizationを提供する。 提案手法は,出力空間を探索し,対応するベンチマークにおいて最先端の手法より優れた性能を発揮する。
  論文  参考訳（メタデータ） (2024-02-02T13:14:31Z)
• LLM-Assisted Code Cleaning For Training Accurate Code Generators [53.087019724256606]
  コードの品質を調査した結果,より構造化され,読みやすくなれば,コード生成性能が向上することがわかった。 私たちは、これらの原則を使って既存のプログラムを変換する、新しいデータクリーニングパイプラインを構築します。 提案手法を2つのアルゴリズムコード生成ベンチマークで評価した結果,微調整のCodeLLaMa-7Bでは,元のデータセットの微調整に比べて最大30%性能が向上していることがわかった。
  論文  参考訳（メタデータ） (2023-11-25T02:45:50Z)
• Back to Basics: A Simple Recipe for Improving Out-of-Domain Retrieval in Dense Encoders [63.28408887247742]
  得られたモデルにおいて,より優れた一般化能力を得るために,トレーニング手順の改善が可能であるかを検討する。 我々は、高密度エンコーダをトレーニングするための簡単なレシピを推奨する: LoRAのようなパラメータ効率のよいMSMARCOのトレーニング。
  論文  参考訳（メタデータ） (2023-11-16T10:42:58Z)
• Exploring the Robustness of Large Language Models for Solving Programming Problems [15.80687717725775]
  我々は、ソースコード生成のためのいくつかの人気のある大規模言語モデル(LLM)の堅牢性を理解するために実験を行う。 以上の結果から,CodeGenとCodexは問題記述の表面的な修正に敏感であり,コード生成性能に大きな影響を及ぼすことが示された。 InstructGPT(英語版)やChatGPT(英語版)のような最先端のSOTA(英語版)モデルは、表面的な修正に対して高い堅牢性を示し、プログラミング問題の解決に優れた能力を持っている。
  論文  参考訳（メタデータ） (2023-06-26T10:48:50Z)
• Better Language Models of Code through Self-Improvement [18.75015225501755]
  コードのための事前学習言語モデル(PLMC)のための単純なデータ拡張フレームワークを提案する。 本フレームワークは,事前学習と微調整の段階で得られた知識を利用して擬似データを生成し,次のステップのトレーニングデータとして利用する。 その結果,コード関連シーケンス生成タスクにおいて,PLMCの性能が大幅に向上することが示唆された。
  論文  参考訳（メタデータ） (2023-04-02T10:59:19Z)
• Greener yet Powerful: Taming Large Code Generation Models with Quantization [47.734976584580224]
  事前訓練された大規模なディープラーニングモデルは、コード生成の境界を大幅に押し下げた。 その大きな力にもかかわらず、膨大な数のモデルパラメータが、通常のソフトウェア開発環境でそれらを適用することに重大な脅威をもたらします。 モデル圧縮はこれらの課題に対処するための有望なアプローチである。
  論文  参考訳（メタデータ） (2023-03-09T16:25:51Z)
• CodeRL: Mastering Code Generation through Pretrained Models and Deep Reinforcement Learning [92.36705236706678]
  CodeRLは、事前訓練されたLMと深層強化学習によるプログラム合成タスクのための新しいフレームワークである。 推論中、我々は重要なサンプリング戦略を持つ新しい生成手順を導入する。 モデルバックボーンについては,CodeT5のエンコーダデコーダアーキテクチャを拡張し,学習目標を拡張した。
  論文  参考訳（メタデータ） (2022-07-05T02:42:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。