論文の概要: Chain-of-Thought in Neural Code Generation: From and For Lightweight
Language Models
- arxiv url: http://arxiv.org/abs/2312.05562v1
- Date: Sat, 9 Dec 2023 12:20:50 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-12 20:12:48.131899
- Title: Chain-of-Thought in Neural Code Generation: From and For Lightweight
Language Models
- Title(参考訳): ニューラルコード生成における思考の連鎖--軽量言語モデルから学ぶ
- Authors: Guang Yang, Yu Zhou, Xiang Chen, Xiangyu Zhang, Terry Yue Zhuo, Taolue
Chen
- Abstract要約: 大規模言語モデル(LLM)は、コード生成において顕著な可能性を示している。
本研究では,100億未満のパラメータを持つと定義される軽量言語モデル (lLM) について検討する。
これらの知見に基づいて,思考の連鎖(CoTs)を自動生成する lLM を利用した新しいアプローチ COTTON を設計する。
その結果,COTTONが生成するCoTsは,自動評価と人的評価の指標において,ベースラインを上回っていることがわかった。
- 参考スコア(独自算出の注目度): 23.727775288971003
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large Language Models (LLMs) have demonstrated remarkable potential in code
generation. The integration of Chain of Thought (CoT) reasoning can further
boost their performance. However, current CoT methods often require manual
writing or LLMs with over 100 billion parameters to generate, impeding their
applicability in resource-constrained scenarios. In this study, we investigate
lightweight Language Models (lLMs), which are defined to have fewer than 10
billion parameters. Empirically, we find that most lLMs cannot generate
high-quality CoTs when prompted by the few-shot method, but can take advantage
of high-quality CoTs generated elsewhere to improve their performance in code
generation. Based on these findings, we design a novel approach COTTON which
can leverage lLMs to automatically generate CoTs for code generation. We
synthesize new datasets and conduct extensive experiments on various
benchmarks. The results show that the CoTs generated by COTTON outperform the
baselines in terms of automated and human evaluation metrics. In particular,
the CoTs generated by COTTON boost various lLMs to achieve higher performance
gains than those generated by LLMs such as ChatGLM (130B), and are competitive
with those generated by gpt-3.5-turbo (175B). Our study also showcases the
potential of lLMs in software engineering applications.
- Abstract(参考訳): 大規模言語モデル(llm)はコード生成において顕著な可能性を示している。
思考の連鎖(CoT)推論の統合は、そのパフォーマンスをさらに向上させる。
しかしながら、現在のCoTメソッドは、リソース制約のあるシナリオにおいて適用性を妨げ、1000億以上のパラメータを生成するために手書きやLLMを必要とすることが多い。
本研究では,100億未満のパラメータを持つと定義される軽量言語モデル (lLM) について検討する。
経験的に、ほとんどの lLM は、数ショット法によって、高品質な CoT を生成することはできないが、コード生成におけるパフォーマンスを改善するために、他の場所で生成された高品質な CoT を活用することができる。
これらの知見に基づいて,コード生成のためのCOTを自動生成するためにlLMを利用する新しいアプローチCOTTONを設計する。
我々は新しいデータセットを合成し、様々なベンチマークで広範な実験を行う。
その結果,COTTONが生成するCoTsは,自動評価と人的評価の指標において,ベースラインを上回っていることがわかった。
特に、COTTONが生成するCoTは、ChatGLM (130B)のようなLCMよりも高い性能を達成するために様々なlLMを増強し、gpt-3.5-turbo (175B) で生成されたものと競合する。
また,ソフトウェア工学応用における lLM の可能性についても検討した。
関連論文リスト
- UniTSyn: A Large-Scale Dataset Capable of Enhancing the Prowess of Large
Language Models for Program Testing [27.45301385265713]
単体テスト合成のためのLLMの高度化が可能な大規模データセットUniTSynを提案する。
Language Server Protocolを活用することで、UniSynは、プロジェクトごとの実行セットアップや言語ごとのセットアップなしでフォーカス-テストペアを収集するという挑戦的な目標を達成する。
実験により、UniTSynをベースとした自己回帰モデルを構築することにより、単体テスト表現の学習と理解において大きなメリットが得られます。
論文 参考訳(メタデータ) (2024-02-04T22:48:05Z) - StepCoder: Improve Code Generation with Reinforcement Learning from
Compiler Feedback [58.20547418182074]
2つの主要コンポーネントからなるコード生成の新しいフレームワークであるStepCoderを紹介します。
CCCSは、長いシーケンスのコード生成タスクをCurriculum of Code Completion Subtaskに分割することで、探索課題に対処する。
FGOは、未実行のコードセグメントをマスクすることでのみモデルを最適化し、Fine-Grained Optimizationを提供する。
提案手法は,出力空間を探索し,対応するベンチマークにおいて最先端の手法より優れた性能を発揮する。
論文 参考訳(メタデータ) (2024-02-02T13:14:31Z) - Knowledge Fusion of Large Language Models [73.28202188100646]
本稿では,大規模言語モデル(LLM)における知識融合の概念を紹介する。
我々は、それらの集合的知識と独特な強みを外部化し、それによってターゲットモデルの能力が、どのソースLLMよりも高められるようにします。
この結果から,LLMの融合により,推論やコモンセンス,コード生成など,対象モデルの性能が向上することが確認された。
論文 参考訳(メタデータ) (2024-01-19T05:02:46Z) - Federated Full-Parameter Tuning of Billion-Sized Language Models with
Communication Cost under 18 Kilobytes [56.67419203687434]
事前訓練された大規模言語モデル(LLM)は、自然言語命令に対する応答性を改善するために微調整が必要である。
FedKSeedは、ランダムシードの有限セットによるゼロ階最適化を採用している。
サーバとクライアント間の通信要求を大幅に減らし、ランダムなシードをわずかに減らします。
論文 参考訳(メタデータ) (2023-12-11T13:03:21Z) - LLM-Assisted Code Cleaning For Training Accurate Code Generators [53.087019724256606]
コードの品質を調査した結果,より構造化され,読みやすくなれば,コード生成性能が向上することがわかった。
私たちは、これらの原則を使って既存のプログラムを変換する、新しいデータクリーニングパイプラインを構築します。
提案手法を2つのアルゴリズムコード生成ベンチマークで評価した結果,微調整のCodeLLaMa-7Bでは,元のデータセットの微調整に比べて最大30%性能が向上していることがわかった。
論文 参考訳(メタデータ) (2023-11-25T02:45:50Z) - Speak Like a Native: Prompting Large Language Models in a Native Style [53.84738665918496]
In-context Learning (ICL) with large language model (LLMs) は、多くの自然言語処理タスクにおいて近代的なツールとなっている。
本稿では, LLMの推論能力を向上させるために, textbfAlignedCoT という新しい効果的手法を提案する。
数学的質問答え、常識的推論、テキスト理解に関するいくつかのベンチマークにおいて、広範囲かつ包括的な実験を行う。
論文 参考訳(メタデータ) (2023-11-22T17:24:21Z) - ML-Bench: Evaluating Large Language Models for Code Generation in Repository-Level Machine Learning Tasks [76.85930757493409]
大規模言語モデル(LLM)は、コード生成ベンチマークの習熟度を示しているが、これらの結果を実用的な開発シナリオに変換することは依然として難しい。
ML-Benchは、レポジトリレベルのオープンソースライブラリを統合して機械学習タスクを完了させるLLMの機能を評価するために設計された、新しいベンチマークである。
以上の結果から, GPT-4は他のLSMよりも優れており, 課題の複雑さを浮き彫りにしたタスクは33.82%に過ぎなかった。
論文 参考訳(メタデータ) (2023-11-16T12:03:21Z) - Bridging Code Semantic and LLMs: Semantic Chain-of-Thought Prompting for
Code Generation [22.219645213202178]
本稿では,SeCoT というコードの意味情報を抽出する "Semantic Chain-of-Thought" 手法を提案する。
本研究では,SeCoTが最先端の性能を実現し,大規模モデルやコード生成の可能性を大幅に向上させることを示す。
論文 参考訳(メタデータ) (2023-10-16T05:09:58Z) - LLMatic: Neural Architecture Search via Large Language Models and Quality Diversity Optimization [4.951599300340954]
大きな言語モデル(LLM)は、幅広いタスクをこなせる強力なツールとして登場した。
本稿では、LLMの符号化機能を用いて、ニューラルネットワークを定義するコードに意味のあるバリエーションを導入することを提案する。
本稿では,LLMのコード生成能力とQDソリューションの多様性と堅牢性を融合させることで,ニューラルネットワーク探索(NAS)アルゴリズムであるtextttLLMaticを導入する。
論文 参考訳(メタデータ) (2023-06-01T19:33:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。