論文の概要: A Prompt Learning Framework for Source Code Summarization

• arxiv url: http://arxiv.org/abs/2312.16066v1
• Date: Tue, 26 Dec 2023 14:37:55 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-27 14:58:29.842597
• Title: A Prompt Learning Framework for Source Code Summarization
• Title（参考訳）: ソースコード要約のためのプロンプト学習フレームワーク
• Authors: Weisong Sun and Chunrong Fang and Yudu You and Yuchen Chen and Yi Liu and Chong Wang and Jian Zhang and Quanjun Zhang and Hanwei Qian and Wei Zhao and Yang Liu and Zhenyu Chen
• Abstract要約: 本稿では,PromptCSと呼ばれるコード要約のための新しいプロンプト学習フレームワークを提案する。 PromptCSは、コード要約においてLLMのポテンシャルを解放するために連続的なプロンプトを生成するプロンプトエージェントを訓練する。 複数のプログラミング言語を含むCodeSearchNetデータセット上でPromptCSを評価する。
• 参考スコア（独自算出の注目度）: 24.33455799484519
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: (Source) code summarization is the task of automatically generating natural language summaries for given code snippets. Such summaries play a key role in helping developers understand and maintain source code. Recently, with the successful application of large language models (LLMs) in numerous fields, software engineering researchers have also attempted to adapt LLMs to solve code summarization tasks. The main adaptation schemes include instruction prompting and task-oriented fine-tuning. However, instruction prompting involves designing crafted prompts for zero-shot learning or selecting appropriate samples for few-shot learning and requires users to have professional domain knowledge, while task-oriented fine-tuning requires high training costs. In this paper, we propose a novel prompt learning framework for code summarization called PromptCS. PromptCS trains a prompt agent that can generate continuous prompts to unleash the potential for LLMs in code summarization. Compared to the human-written discrete prompt, the continuous prompts are produced under the guidance of LLMs and are therefore easier to understand by LLMs. PromptCS freezes the parameters of LLMs when training the prompt agent, which can greatly reduce the requirements for training resources. We evaluate PromptCS on the CodeSearchNet dataset involving multiple programming languages. The results show that PromptCS significantly outperforms instruction prompting schemes on all four widely used metrics. In some base LLMs, e.g., CodeGen-Multi-2B and StarCoderBase-1B and -3B, PromptCS even outperforms the task-oriented fine-tuning scheme. More importantly, the training efficiency of PromptCS is faster than the task-oriented fine-tuning scheme, with a more pronounced advantage on larger LLMs. The results of the human evaluation demonstrate that PromptCS can generate more good summaries compared to baselines.
• Abstract（参考訳）: ソース) コード要約は、与えられたコードスニペットの自然言語要約を自動的に生成するタスクです。 このような要約は、開発者がソースコードを理解し維持するのを手助けする上で重要な役割を果たす。 近年,大規模言語モデル (LLM) の多くの分野への応用が成功し,ソフトウェア工学研究者はLLMをコード要約タスクに適応させようと試みている。 主な適応方式は命令プロンプトとタスク指向の微調整である。 しかし、命令プロンプトはゼロショット学習のための巧妙なプロンプトを設計したり、数ショット学習のための適切なサンプルを選択することを含み、ユーザーはプロのドメイン知識を必要とする。 本稿では,PromptCSと呼ばれるコード要約のための新しいプロンプト学習フレームワークを提案する。 PromptCSは、コード要約においてLLMのポテンシャルを解放するために連続的なプロンプトを生成するプロンプトエージェントを訓練する。 人間によって書かれた離散的なプロンプトと比較して、連続的なプロンプトはLLMの指導の下で生成され、LLMによって理解しやすい。 PromptCSは、プロンプトエージェントのトレーニング時にLCMのパラメータを凍結する。 複数のプログラミング言語を含むCodeSearchNetデータセット上でPromptCSを評価する。 その結果、PromptCSは4つの広く使用されている指標の全てにおいて、命令のプロンプトスキームを著しく上回っていることがわかった。 例えば CodeGen-Multi-2B や StarCoderBase-1B や -3B といった基本的な LLM では、PromptCS はタスク指向の微調整方式よりも優れています。 さらに重要なことに、PromptCSのトレーニング効率はタスク指向の微調整方式よりも高速であり、より大きなLLMに対してより顕著な利点がある。 人的評価の結果,プロンプトクチャはベースラインよりも優れた要約を生成できることが示されている。

関連論文リスト

• zsLLMCode: An Effective Approach for Functional Code Embedding via LLM with Zero-Shot Learning [6.976968804436321]
  大型言語モデル(LLM)はゼロショット学習の能力を持ち、訓練や微調整を必要としない。 LLMを用いた関数型コード埋め込みを生成する新しいアプローチであるzsLLMCodeを提案する。
  論文  参考訳（メタデータ） (2024-09-23T01:03:15Z)
• What Should We Engineer in Prompts? Training Humans in Requirement-Driven LLM Use [30.933375576806156]
  既存のプロンプトエンジニアリングの指示は、しばしば要求調節に焦点を合わせる訓練を欠いている。 本稿では,要求指向型プロンプトエンジニアリング(ROPE)について紹介する。 30人の初心者によるランダム化制御実験では、ROPEは従来のプロンプトエンジニアリングトレーニングよりも大幅に優れています。
  論文  参考訳（メタデータ） (2024-09-13T12:34:14Z)
• Efficient Prompting for LLM-based Generative Internet of Things [88.84327500311464]
  大規模言語モデル(LLM)は、様々なタスクにおいて顕著な能力を示しており、最近、IoT(Internet of Things)アプリケーションにLLMの能力を統合することが研究の注目を集めている。 セキュリティ上の懸念から、多くの機関は最先端の商用LLMサービスへのアクセスを避け、ローカルネットワーク環境でのオープンソースLLMのデプロイと利用を必要としている。 本研究では,LLMを用いた生成IoT(Generative IoT)システムを提案する。
  論文  参考訳（メタデータ） (2024-06-14T19:24:00Z)
• If LLM Is the Wizard, Then Code Is the Wand: A Survey on How Code Empowers Large Language Models to Serve as Intelligent Agents [81.60906807941188]
  大型言語モデル(LLM)は、自然言語と形式言語(コード)の組み合わせに基づいて訓練される コードは、標準構文、論理一貫性、抽象化、モジュール性を備えた高レベルの目標を実行可能なステップに変換する。
  論文  参考訳（メタデータ） (2024-01-01T16:51:20Z)
• kNN-ICL: Compositional Task-Oriented Parsing Generalization with Nearest Neighbor In-Context Learning [50.40636157214161]
  Task-Oriented Parsing (TOP)により、会話アシスタントは自然言語で表現されたユーザーコマンドを解釈できる。 LLMは、自然言語のプロンプトに基づいて、コンピュータプログラムにおいて印象的な性能を達成した。 本稿では,LLMのセマンティック解析機能を活用することに焦点を当てる。
  論文  参考訳（メタデータ） (2023-12-17T17:26:50Z)
• Exploring Parameter-Efficient Fine-Tuning Techniques for Code Generation with Large Language Models [11.845239346943067]
  パラメータ効率のよい微調整(PEFT)は、大規模言語モデル(LLM)をタスク固有のデータに効率的に専門化するための有望なアプローチである。 本研究は,PEFTと量子化を組み合わせることで,より大きなLCMをチューニングし,メモリ使用量を大幅に削減する可能性を明らかにする。
  論文  参考訳（メタデータ） (2023-08-21T04:31:06Z)
• SatLM: Satisfiability-Aided Language Models Using Declarative Prompting [68.40726892904286]
  本研究では,大規模言語モデル (LLM) の推論能力を向上させるために,新しい満足度支援言語モデリング (SatLM) 手法を提案する。 我々はLLMを用いて命令型プログラムではなく宣言型タスク仕様を生成し、既製の自動定理証明器を利用して最終解を導出する。 我々はSATLMを8つの異なるデータセット上で評価し、命令パラダイムにおいてプログラム支援されたLMよりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2023-05-16T17:55:51Z)
• Low-code LLM: Graphical User Interface over Large Language Models [115.08718239772107]
  本稿では,人間-LLMインタラクションフレームワークであるLow-code LLMを紹介する。 より制御可能で安定した応答を実現するために、6種類のシンプルなローコードビジュアルプログラミングインタラクションを組み込んでいる。 ユーザフレンドリなインタラクション,制御可能な生成,広い適用性という,低コード LLM の3つの利点を強調した。
  論文  参考訳（メタデータ） (2023-04-17T09:27:40Z)
• RLPrompt: Optimizing Discrete Text Prompts With Reinforcement Learning [84.75064077323098]
  本稿では、強化学習(RL)を用いた離散的高速最適化手法RLPromptを提案する。 RLPromptは、マスク付きジベリッシュ(例:grammaBERT)や左から右へのモデル(例:GPT)など、様々な種類のLMに柔軟に適用可能である。 少数ショット分類と教師なしテキストスタイル転送の実験は、既存のファインタニングやプロンプト手法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2022-05-25T07:50:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。