論文の概要: Chain-of-Thought in Neural Code Generation: From and For Lightweight Language Models

• arxiv url: http://arxiv.org/abs/2312.05562v2
• Date: Sun, 4 Aug 2024 04:53:53 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-06 23:55:54.653668
• Title: Chain-of-Thought in Neural Code Generation: From and For Lightweight Language Models
• Title（参考訳）: ニューラルコード生成の連鎖--軽量言語モデルを中心に
• Authors: Guang Yang, Yu Zhou, Xiang Chen, Xiangyu Zhang, Terry Yue Zhuo, Taolue Chen,
• Abstract要約: 大規模言語モデル(LLM)は、コード生成において顕著な可能性を示している。 本研究では,100億未満のパラメータを持つと定義される軽量言語モデル (lLM) について検討する。 これらの知見に基づいて,思考の連鎖(CoTs)を自動生成する lLM を利用した新しいアプローチ COTTON を設計する。 その結果,COTTONが生成するCoTsは,自動評価と人的評価の指標において,ベースラインを上回っていることがわかった。
• 参考スコア（独自算出の注目度）: 22.392809555644646
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) have demonstrated remarkable potential in code generation. The integration of Chain of Thought (CoT) reasoning can further boost their performance. However, current CoT methods often require manual writing or LLMs with over 100 billion parameters to generate, impeding their applicability in resource-constrained scenarios. In this study, we investigate lightweight Language Models (lLMs), which are defined to have fewer than 10 billion parameters. Empirically, we find that most lLMs cannot generate high-quality CoTs when prompted by the few-shot method, but can take advantage of high-quality CoTs generated elsewhere to improve their performance in code generation. Based on these findings, we design a novel approach COTTON which can leverage lLMs to automatically generate CoTs for code generation. We synthesize new datasets and conduct extensive experiments on various benchmarks. The results show that the CoTs generated by COTTON outperform the baselines in terms of automated and human evaluation metrics. In particular, the CoTs generated by COTTON boost various lLMs to achieve higher performance gains than those generated by LLMs such as ChatGLM (130B), and are competitive with those generated by gpt-3.5-turbo (175B). Our study also showcases the potential of lLMs in software engineering applications.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、コード生成において顕著な可能性を示している。 思考の連鎖(CoT)推論の統合は、そのパフォーマンスをさらに向上させる。 しかしながら、現在のCoTメソッドは、リソース制約のあるシナリオにおいて適用性を妨げ、1000億以上のパラメータを生成するために手書きやLLMを必要とすることが多い。 本研究では,100億未満のパラメータを持つと定義される軽量言語モデル (lLM) について検討する。 経験的に、ほとんどの lLM は数ショット法によって高品質な CoT を生成できないが、コード生成におけるパフォーマンスを向上させるために、他の場所で生成された高品質な CoT を活用することができる。 これらの知見に基づいて,コード生成のためのCOTを自動生成するためにlLMを利用する新しいアプローチCOTTONを設計する。 我々は新しいデータセットを合成し、様々なベンチマークで広範な実験を行う。 その結果,COTTONが生成するCoTsは,自動評価と人的評価の指標において,ベースラインを上回っていることがわかった。 特に、COTTONが生成するCoTは、ChatGLM (130B)のようなLCMよりも高い性能を達成するために様々なlLMを増強し、gpt-3.5-turbo (175B) で生成されたものと競合する。 また,ソフトウェア工学応用における lLM の可能性についても検討した。

関連論文リスト

• Self-Explained Keywords Empower Large Language Models for Code Generation [5.236633572296712]
  大規模言語モデル(LLM)は、コード生成において素晴らしいパフォーマンスを達成した。 Sek(textbfSelf-textbfExplained textbfKeywords)は、LLM自体による問題記述における重要な用語を抽出し、説明する。
  論文  参考訳（メタデータ） (2024-10-21T12:52:03Z)
• Reference Trustable Decoding: A Training-Free Augmentation Paradigm for Large Language Models [79.41139393080736]
  大規模言語モデル(LLM)は急速に進歩し、印象的な機能を示している。 In-Context Learning (ICL) など。 効率的なファインチューニング(PEFT)は、現在2つの主要な拡張方法である。 下流タスクへのLLM。 我々は、モデルが微調整なしで新しいタスクに迅速に適応できるパラダイムである参照信頼復号(RTD)を提案する。
  論文  参考訳（メタデータ） (2024-09-30T10:48:20Z)
• Genetic Instruct: Scaling up Synthetic Generation of Coding Instructions for Large Language Models [54.51932175059004]
  本稿では,大規模言語モデルのコード生成能力を高めるために,合成命令を生成するスケーラブルな手法を提案する。 提案したアルゴリズムは進化過程を模倣し、自己インストラクションを利用して限られた数の種子から多数の合成サンプルを生成する。
  論文  参考訳（メタデータ） (2024-07-29T20:42:59Z)
• What's Wrong with Your Code Generated by Large Language Models? An Extensive Study [80.18342600996601]
  大規模言語モデル(LLM)は、標準解に比べて短いがより複雑なコードを生成する。 3つのカテゴリと12のサブカテゴリを含む誤ったコードに対するバグの分類を開発し、一般的なバグタイプに対する根本原因を分析する。 そこで本研究では,LLMがバグタイプやコンパイラフィードバックに基づいて生成したコードを批判し,修正することのできる,自己批判を導入した新たな学習自由反復手法を提案する。
  論文  参考訳（メタデータ） (2024-07-08T17:27:17Z)
• Applying RLAIF for Code Generation with API-usage in Lightweight LLMs [15.366324461797582]
  Reinforcement Learning from AI Feedback (RLAIF)は、さまざまな領域で大きな可能性を証明している。 本稿では,軽量 (1B パラメータ) LLM のコード生成能力を改善するための RLAIF フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-28T17:16:03Z)
• UniTSyn: A Large-Scale Dataset Capable of Enhancing the Prowess of Large Language Models for Program Testing [27.45301385265713]
  単体テスト合成のためのLLMの高度化が可能な大規模データセットUniTSynを提案する。 Language Server Protocolを活用することで、UniSynは、プロジェクトごとの実行セットアップや言語ごとのセットアップなしでフォーカス-テストペアを収集するという挑戦的な目標を達成する。 実験により、UniTSynをベースとした自己回帰モデルを構築することにより、単体テスト表現の学習と理解において大きなメリットが得られます。
  論文  参考訳（メタデータ） (2024-02-04T22:48:05Z)
• StepCoder: Improve Code Generation with Reinforcement Learning from Compiler Feedback [58.20547418182074]
  2つの主要コンポーネントからなるコード生成の新しいフレームワークであるStepCoderを紹介します。 CCCSは、長いシーケンスのコード生成タスクをCurriculum of Code Completion Subtaskに分割することで、探索課題に対処する。 FGOは、未実行のコードセグメントをマスクすることでのみモデルを最適化し、Fine-Grained Optimizationを提供する。 提案手法は,出力空間を探索し,対応するベンチマークにおいて最先端の手法より優れた性能を発揮する。
  論文  参考訳（メタデータ） (2024-02-02T13:14:31Z)
• Knowledge Fusion of Large Language Models [73.28202188100646]
  本稿では,大規模言語モデル(LLM)における知識融合の概念を紹介する。 我々は、それらの集合的知識と独特な強みを外部化し、それによってターゲットモデルの能力が、どのソースLLMよりも高められるようにします。 この結果から,LLMの融合により,推論やコモンセンス,コード生成など,対象モデルの性能が向上することが確認された。
  論文  参考訳（メタデータ） (2024-01-19T05:02:46Z)
• LLM-Assisted Code Cleaning For Training Accurate Code Generators [53.087019724256606]
  コードの品質を調査した結果,より構造化され,読みやすくなれば,コード生成性能が向上することがわかった。 私たちは、これらの原則を使って既存のプログラムを変換する、新しいデータクリーニングパイプラインを構築します。 提案手法を2つのアルゴリズムコード生成ベンチマークで評価した結果,微調整のCodeLLaMa-7Bでは,元のデータセットの微調整に比べて最大30%性能が向上していることがわかった。
  論文  参考訳（メタデータ） (2023-11-25T02:45:50Z)
• Bridging Code Semantic and LLMs: Semantic Chain-of-Thought Prompting for Code Generation [22.219645213202178]
  本稿では,SeCoT というコードの意味情報を抽出する "Semantic Chain-of-Thought" 手法を提案する。 本研究では,SeCoTが最先端の性能を実現し,大規模モデルやコード生成の可能性を大幅に向上させることを示す。
  論文  参考訳（メタデータ） (2023-10-16T05:09:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。