論文の概要: Bridging Code Semantic and LLMs: Semantic Chain-of-Thought Prompting for Code Generation

• arxiv url: http://arxiv.org/abs/2310.10698v2
• Date: Sun, 22 Oct 2023 10:21:12 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-25 06:08:28.796385
• Title: Bridging Code Semantic and LLMs: Semantic Chain-of-Thought Prompting for Code Generation
• Title（参考訳）: コードセマンティックとLLMのブリッジ: コード生成のためのセマンティック連鎖
• Authors: Yingwei Ma, Yue Yu, Shanshan Li, Yu Jiang, Yong Guo, Yuanliang Zhang, Yutao Xie, Xiangke Liao
• Abstract要約: 本稿では,SeCoT というコードの意味情報を抽出する "Semantic Chain-of-Thought" 手法を提案する。 本研究では,SeCoTが最先端の性能を実現し,大規模モデルやコード生成の可能性を大幅に向上させることを示す。
• 参考スコア（独自算出の注目度）: 22.219645213202178
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) have showcased remarkable prowess in code generation. However, automated code generation is still challenging since it requires a high-level semantic mapping between natural language requirements and codes. Most existing LLMs-based approaches for code generation rely on decoder-only causal language models often treate codes merely as plain text tokens, i.e., feeding the requirements as a prompt input, and outputing code as flat sequence of tokens, potentially missing the rich semantic features inherent in source code. To bridge this gap, this paper proposes the "Semantic Chain-of-Thought" approach to intruduce semantic information of code, named SeCoT. Our motivation is that the semantic information of the source code (\eg data flow and control flow) describes more precise program execution behavior, intention and function. By guiding LLM consider and integrate semantic information, we can achieve a more granular understanding and representation of code, enhancing code generation accuracy. Meanwhile, while traditional techniques leveraging such semantic information require complex static or dynamic code analysis to obtain features such as data flow and control flow, SeCoT demonstrates that this process can be fully automated via the intrinsic capabilities of LLMs (i.e., in-context learning), while being generalizable and applicable to challenging domains. While SeCoT can be applied with different LLMs, this paper focuses on the powerful GPT-style models: ChatGPT(close-source model) and WizardCoder(open-source model). The experimental study on three popular DL benchmarks (i.e., HumanEval, HumanEval-ET and MBPP) shows that SeCoT can achieves state-of-the-art performance, greatly improving the potential for large models and code generation.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、コード生成において顕著な進歩を見せている。 しかし、自然言語要求とコードの間の高度なセマンティックマッピングを必要とするため、自動コード生成は依然として難しい。 コード生成のための既存のllmsベースのアプローチのほとんどは、デコーダのみの因果言語モデルに依存しており、単に単なるプレーンテキストトークンとして、すなわち、要求をプロンプト入力として送り、コードを平易なトークン列として出力する。 このギャップを埋めるため,本論文では,secot というコードの意味的情報を侵入する "semantic chain-of-thought" アプローチを提案する。 我々のモチベーションは、ソースコードの意味情報(データフローと制御フロー)がより正確なプログラム実行行動、意図、機能を記述することである。 LLMを考慮し、セマンティック情報を統合することにより、より粒度の細かいコード理解と表現を実現し、コード生成の精度を高めることができる。 一方、従来の手法では、データフローや制御フローなどの機能を得るためには、複雑な静的または動的コード解析を必要とするが、SeCoTは、このプロセスがLLMの本質的な能力(インコンテキスト学習)を介して完全に自動化され、一般化可能であり、挑戦的なドメインに適用可能であることを実証している。 本論文は,SeCoT を異なる LLM に適用できる一方で,強力な GPT スタイルモデルである ChatGPT (クローズソースモデル) と WizardCoder (オープンソースモデル) に焦点を当てる。 一般的な3つのDLベンチマーク(HumanEval、HumanEval-ET、MBPP)の実験研究は、SeCoTが最先端のパフォーマンスを達成でき、大規模モデルやコード生成の可能性を大幅に改善できることを示している。

関連論文リスト

• CodeSAM: Source Code Representation Learning by Infusing Self-Attention with Multi-Code-View Graphs [8.850533100643547]
  我々は,複数のコードビューをトランスフォーマーベースモデルに注入する新しいフレームワークであるCodeSAMを提案する。 CodeSAMを使って、セマンティックコード検索、コードクローン検出、プログラム分類の下流SEタスクでCodeBERTのような小さな言語モデル(SLM)を微調整します。
  論文  参考訳（メタデータ） (2024-11-21T22:24:47Z)
• OpenCoder: The Open Cookbook for Top-Tier Code Large Language Models [70.72097493954067]
  コードのための大規模言語モデル(LLM)は、コード生成、推論タスク、エージェントシステムなど、さまざまな領域で必須になっている。 オープンアクセスのコード LLM はプロプライエタリなモデルの性能レベルに近づきつつあるが、高品質なコード LLM は依然として限られている。 トップクラスのコードLLMであるOpenCoderは、主要なモデルに匹敵するパフォーマンスを達成するだけでなく、研究コミュニティの"オープンクックブック"としても機能します。
  論文  参考訳（メタデータ） (2024-11-07T17:47:25Z)
• An Empirical Study on Capability of Large Language Models in Understanding Code Semantics [4.638578225024275]
  コードのための大規模言語モデル(コードLLM)は、様々なソフトウェア工学(SE)タスクで顕著なパフォーマンスを示している。 本稿では,コード意味論の理解におけるLLMの能力を評価するためのフレームワークであるEMPICAを紹介する。
  論文  参考訳（メタデータ） (2024-07-04T03:40:58Z)
• Decoding at the Speed of Thought: Harnessing Parallel Decoding of Lexical Units for LLMs [57.27982780697922]
  大規模言語モデルは、自然言語の理解と生成において例外的な能力を示した。 しかし、それらの生成速度は、その復号過程の本質的にシーケンシャルな性質によって制限される。 本稿では,データ駆動方式で実装された新しいデコーディング手法であるLexical Unit Decodingを紹介する。
  論文  参考訳（メタデータ） (2024-05-24T04:35:13Z)
• CodeGRAG: Bridging the Gap between Natural Language and Programming Language via Graphical Retrieval Augmented Generation [58.84212778960507]
  我々は,LLMの性能を高めるため,グラフィカル検索拡張コード生成フレームワークであるCodeGRAGを提案する。 CodeGRAGは、制御フローとデータフローに基づいて、コードブロックのグラフィカルなビューを構築し、プログラミング言語と自然言語のギャップを埋める。 ハードメタグラフプロンプト、ソフトプロンプト技術、事前訓練されたGNN専門家の目的の有効性を検証するために、C++言語とピソン言語の両方を含む4つのデータセットで様々な実験と改善が行われた。
  論文  参考訳（メタデータ） (2024-05-03T02:48:55Z)
• CodeIP: A Grammar-Guided Multi-Bit Watermark for Large Language Models of Code [56.019447113206006]
  大規模言語モデル(LLM)はコード生成において顕著な進歩を遂げた。 CodeIPは、新しいマルチビット透かし技術で、出所の詳細を保存するために追加情報を埋め込む。 5つのプログラミング言語にまたがる実世界のデータセットで実施された実験は、CodeIPの有効性を実証している。
  論文  参考訳（メタデータ） (2024-04-24T04:25:04Z)
• Comments as Natural Logic Pivots: Improve Code Generation via Comment Perspective [85.48043537327258]
  本稿では, MANGO (comMents As Natural loGic pivOts) を提案する。 その結果、MANGOは強いベースラインに基づいてコードパス率を大幅に改善することがわかった。 論理的なコメントの復号化戦略の堅牢性は、考えの連鎖よりも顕著に高い。
  論文  参考訳（メタデータ） (2024-04-11T08:30:46Z)
• If LLM Is the Wizard, Then Code Is the Wand: A Survey on How Code Empowers Large Language Models to Serve as Intelligent Agents [81.60906807941188]
  大型言語モデル(LLM)は、自然言語と形式言語(コード)の組み合わせに基づいて訓練される コードは、標準構文、論理一貫性、抽象化、モジュール性を備えた高レベルの目標を実行可能なステップに変換する。
  論文  参考訳（メタデータ） (2024-01-01T16:51:20Z)
• Exploring Large Language Models for Code Explanation [3.2570216147409514]
  大規模言語モデル(LLM)は自然言語処理において顕著な進歩を遂げている。 本研究では,様々なLLMを用いて,コードスニペットの自然言語要約を生成するタスクについて検討する。
  論文  参考訳（メタデータ） (2023-10-25T14:38:40Z)
• Test-Case-Driven Programming Understanding in Large Language Models for Better Code Generation [15.166827643436346]
  muFiXは、大きな言語モデル(LLM)のコード生成性能を改善する新しいプロンプト技術である。 まず、テストケース分析を利用して仕様の理解を得、自己改善プロセスを可能にする。 muFiXはさらに、提供された理解と実際の理解の間のギャップを減らす方向に向けた仕様理解を修正している。
  論文  参考訳（メタデータ） (2023-09-28T02:58:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。