論文の概要: Distilled GPT for Source Code Summarization
- arxiv url: http://arxiv.org/abs/2308.14731v2
- Date: Mon, 5 Feb 2024 18:47:42 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-07 05:31:42.114441
- Title: Distilled GPT for Source Code Summarization
- Title（参考訳）: ソースコード要約のための蒸留GPT
- Authors: Chia-Yi Su and Collin McMillan
- Abstract要約: 我々は, GPT-3.5 で生成したサンプルを知識蒸留のプロセスに用いて, オープンソースモデルを訓練する。
我々のモデルは1つの16gbのGPUで動かすのに十分小さい(350mパラメータ)が、このタスクでGPT-3.5を模倣するのに十分な大きさであることを示す。
- 参考スコア（独自算出の注目度）: 2.88268082568407
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: A code summary is a brief natural language description of source code.
Summaries are usually only a single sentence long, and yet form the backbone of
developer documentation. A short descriptions such as "changes all visible
polygons to the color blue" can give a programmer a high-level idea of what
code does without the effort of reading the code itself. Recently, products
based on Large Language Models such as ChatGPT have demonstrated a strong
ability to write these descriptions automatically. However, to use these tools,
programmers must send their code to untrusted third parties for processing
(e.g., via an API call). This loss of custody is not acceptable to many
organizations. In this paper, we present an alternative: we train an open
source model using sample output generated by GPT-3.5 in a process related to
knowledge distillation. Our model is small enough (350m parameters) to be run
on a single 16gb GPU, yet we show in our evaluation that it is large enough to
mimic GPT-3.5 on this task.
- Abstract（参考訳）: コード概要は、ソースコードの簡単な自然言語記述である。
要約は通常は1文だけであり、開発者ドキュメントのバックボーンを形成している。
のような短い記述は、プログラマにコード自体を読み込むことなく、コードが何を行うかという高レベルなアイデアを与えることができる。
近年、ChatGPTのような大規模言語モデルに基づく製品は、これらの記述を自動的に記述する強力な能力を示している。
しかし、これらのツールを使用するには、プログラマは信頼できないサードパーティにコードを送信する必要がある(API呼び出しなど)。
この保護の喪失は多くの組織には受け入れられない。
本稿では, gpt-3.5で生成したサンプル出力を用いて, 知識蒸留に関する過程において, オープンソースモデルを訓練する。
我々のモデルは1つの16gbのGPUで動かすのに十分小さい(350mパラメータ)が、このタスクでGPT-3.5を模倣するのに十分な大きさであることを示す。
関連論文リスト
- Context-aware Code Summary Generation [11.83787165247987]
コード要約生成は、ソースコードのセクションの自然言語記述を記述するタスクである。
大規模言語モデル(LLM)や他のAIベースの技術の最近の進歩は、自動コード要約の実現に役立っている。
本稿では,この文脈を最近のLLMに基づくコード要約に含めるためのアプローチを提案する。
論文 参考訳（メタデータ） (2024-08-16T20:15:34Z) - SemCoder: Training Code Language Models with Comprehensive Semantics Reasoning [24.93484793667691]
本稿では,静的テキストデータへのコードLLMの依存と意味理解の必要性のギャップを埋めることを目的としている。
包括的意味論を推論するために、コードLLMを訓練するための新しい戦略であるモノローグ推論を導入する。
我々は、コード生成および実行推論タスクにおいて、GPT-3.5-turboと競合する性能を示す、たった6.7BパラメータのコードLLMであるSemCoderを開発した。
論文 参考訳（メタデータ） (2024-06-03T05:36:57Z) - Comments as Natural Logic Pivots: Improve Code Generation via Comment Perspective [85.48043537327258]
本稿では, MANGO (comMents As Natural loGic pivOts) を提案する。
その結果、MANGOは強いベースラインに基づいてコードパス率を大幅に改善することがわかった。
論理的なコメントの復号化戦略の堅牢性は、考えの連鎖よりも顕著に高い。
論文 参考訳（メタデータ） (2024-04-11T08:30:46Z) - Read between the lines -- Functionality Extraction From READMEs [7.302971710984904]
Gitファイルから機能を抽出する,新鮮で有用なバージョンを紹介します。
このタスクの背後にあるモチベーションは、コード関連のタスクに大規模言語モデルを使用することに関する研究と開発活動が最近急増したことに起因している。
最高の微調整された70億コードラマモデルは、それぞれChatGPTとBardに対するF1スコアに対して70%と20%の利得を示している。
論文 参考訳（メタデータ） (2024-03-15T11:11:57Z) - Towards Summarizing Code Snippets Using Pre-Trained Transformers [20.982048349530483]
この作業では、DLモデルをトレーニングしてコードスニペットを文書化するために必要なすべてのステップを取ります。
我々のモデルは84%の精度でコード要約を識別し、それらを文書化されたコード行にリンクすることができる。
これにより、ドキュメント化されたコードスニペットの大規模なデータセットを構築することが可能になった。
論文 参考訳（メタデータ） (2024-02-01T11:39:19Z) - SelfCheckGPT: Zero-Resource Black-Box Hallucination Detection for
Generative Large Language Models [55.60306377044225]
「SelfCheckGPT」は、ブラックボックスモデルの応答をファクトチェックする単純なサンプリングベースアプローチである。
本稿では,GPT-3を用いてWikiBioデータセットから個人に関するパスを生成する手法について検討する。
論文 参考訳（メタデータ） (2023-03-15T19:31:21Z) - Stealing the Decoding Algorithms of Language Models [56.369946232765656]
現代の言語モデル(LM)からテキストを生成する重要な要素は、復号アルゴリズムの選択とチューニングである。
本研究では,LMに典型的なAPIアクセスを持つ敵が,その復号アルゴリズムの型とハイパーパラメータを盗むことができることを示す。
我々の攻撃は、GPT-2、GPT-3、GPT-Neoなどのテキスト生成APIで使われる一般的なLMに対して効果的である。
論文 参考訳（メタデータ） (2023-03-08T17:15:58Z) - Binding Language Models in Symbolic Languages [146.3027328556881]
Binderはトレーニング不要のニューラルシンボリックフレームワークで、タスク入力をプログラムにマッピングする。
解析の段階では、Codexは元のプログラミング言語では答えられないタスク入力の一部を特定することができる。
実行段階では、CodexはAPI呼び出しで適切なプロンプトを与えられた万能機能を実行することができる。
論文 参考訳（メタデータ） (2022-10-06T12:55:17Z) - Interactive Code Generation via Test-Driven User-Intent Formalization [60.90035204567797]
大きな言語モデル(LLM)は、非公式な自然言語(NL)の意図からコードを生成する。
自然言語は曖昧であり、形式的な意味論が欠けているため、正確性の概念を定義するのは難しい。
言語に依存しない抽象アルゴリズムと具体的な実装TiCoderについて述べる。
論文 参考訳（メタデータ） (2022-08-11T17:41:08Z) - A Systematic Evaluation of Large Language Models of Code [88.34057460577957]
コードの大規模な言語モデル(LM)は、最近、コードを完成させ、自然言語記述からコードを合成する大きな可能性を示しています。
現在の最先端のコードLMは公開されておらず、モデルやデータ設計の決定について多くの疑問が残されている。
Codexはオープンソースではありませんが、既存のオープンソースモデルはいくつかのプログラミング言語でクローズな結果が得られることが分かりました。
GPT-2アーキテクチャに基づいた2.7Bパラメータを持つ新しいモデルPolyCoderをリリースし、12のプログラミング言語を1台のマシンで249GBのコードでトレーニングした。
論文 参考訳（メタデータ） (2022-02-26T15:53:55Z) - Leveraging Unsupervised Learning to Summarize APIs Discussed in Stack
Overflow [1.8047694351309207]
本稿では,Stack Overflowで議論されているAndroid APIメソッドを要約する手法を提案する。
提案手法では,APIメソッドの名称を入力として,そのAPIメソッドに関するStack Overflowの議論に基づいて,自然言語の要約を生成する。
我々は16人のAndroid開発者が自動生成された要約の品質を評価し、それらを公式のAndroidドキュメントと比較する調査を実施した。
論文 参考訳（メタデータ） (2021-11-27T18:49:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。