Fugu-MT 論文翻訳(概要): The Behavior of Large Language Models When Prompted to Generate Code Explanations

論文の概要: The Behavior of Large Language Models When Prompted to Generate Code Explanations

arxiv url: http://arxiv.org/abs/2311.01490v1
Date: Thu, 2 Nov 2023 17:14:38 GMT
ステータス: 処理完了
システム内更新日: 2023-11-06 16:30:02.612570
Title: The Behavior of Large Language Models When Prompted to Generate Code Explanations
Title（参考訳）: コード説明の生成を促す場合の大規模言語モデルの振る舞い
Authors: Priti Oli, Rabin Banjade, Jeevan Chapagain, Vasile Rus
Abstract要約: 本稿では,大規模言語モデルがプログラミングの内科目で使用される型のコード例をいかに生成するかを示す。説明は正確さにおいて非常に高く評価されるが、他の3つの指標(完全性、簡潔性、文脈化)より少ない。
参考スコア（独自算出の注目度）: 0.3293989832773954
License: http://creativecommons.org/licenses/by/4.0/
Abstract: This paper systematically explores how Large Language Models (LLMs) generate explanations of code examples of the type used in intro-to-programming courses. As we show, the nature of code explanations generated by LLMs varies considerably based on the wording of the prompt, the target code examples being explained, the programming language, the temperature parameter, and the version of the LLM. Nevertheless, they are consistent in two major respects for Java and Python: the readability level, which hovers around 7-8 grade, and lexical density, i.e., the relative size of the meaningful words with respect to the total explanation size. Furthermore, the explanations score very high in correctness but less on three other metrics: completeness, conciseness, and contextualization.
Abstract（参考訳）: 本稿では,Large Language Models (LLMs) が,イントロプログラミングコースで使用されるタイプのコード例をどう生成するかを,体系的に検討する。我々が示すように、llmが生成するコード説明の性質は、プロンプトの単語化、説明対象のコード例、プログラミング言語、温度パラメータ、llmのバージョンによって大きく異なる。それにもかかわらず、それらはJavaとPythonの2つの主要な点で一貫性がある: 可読性レベルは7-8グレードにホバリングし、語彙密度、すなわち、意味のある単語の総説明サイズに対する相対的なサイズである。さらに、説明は正確性が非常に高いが、完全性、簡潔性、文脈化の3つの他の指標よりも低い。

関連論文リスト

The First Prompt Counts the Most! An Evaluation of Large Language Models on Iterative Example-based Code Generation [33.77058239791512]
本稿では,Large Language Models (LLMs) を用いたサンプルベースコード生成の総合的研究について述べる。 I/O例の不完全性に起因する誤りに対処するために,反復的評価フレームワークを採用する。我々は168の多様な目標関数のベンチマークを用いて6つの最先端LCMを評価した。
論文参考訳（メタデータ） (2024-11-11T08:05:37Z)
Source Code Summarization in the Era of Large Language Models [23.715005053430957]
大規模言語モデル(LLM)は、コード関連のタスクのパフォーマンスを大幅に向上させた。本稿では,LLMにおけるコード要約の体系的および包括的研究を行う。
論文参考訳（メタデータ） (2024-07-09T05:48:42Z)
Code Prompting Elicits Conditional Reasoning Abilities in Text+Code LLMs [65.2379940117181]
自然言語の問題をコードに変換する一連のプロンプトであるコードプロンプトを導入します。コードプロンプトは複数のLLMに対して高速に向上することがわかった。 GPT 3.5を解析した結果,入力問題のコードフォーマッティングが性能向上に不可欠であることが判明した。
論文参考訳（メタデータ） (2024-01-18T15:32:24Z)
If LLM Is the Wizard, Then Code Is the Wand: A Survey on How Code Empowers Large Language Models to Serve as Intelligent Agents [81.60906807941188]
大型言語モデル(LLM)は、自然言語と形式言語(コード)の組み合わせに基づいて訓練されるコードは、標準構文、論理一貫性、抽象化、モジュール性を備えた高レベルの目標を実行可能なステップに変換する。
論文参考訳（メタデータ） (2024-01-01T16:51:20Z)
Language Agnostic Code Embeddings [61.84835551549612]
私たちは、さまざまなプログラミング言語にまたがるコード埋め込みの言語間機能に重点を置いています。 1つは特定の言語のニュアンスと構文に深く結びついており、もう1つは詳細を知らない。我々は、この言語固有のコンポーネントを分離して排除すると、下流のコード検索タスクが大幅に改善されることを示した。
論文参考訳（メタデータ） (2023-10-25T17:34:52Z)
Exploring Large Language Models for Code Explanation [3.2570216147409514]
大規模言語モデル(LLM)は自然言語処理において顕著な進歩を遂げている。本研究では,様々なLLMを用いて,コードスニペットの自然言語要約を生成するタスクについて検討する。
論文参考訳（メタデータ） (2023-10-25T14:38:40Z)
Benchmarking and Explaining Large Language Model-based Code Generation: A Causality-Centric Approach [12.214585409361126]
大規模言語モデル(LLM)ベースのコード生成は複雑で強力なブラックボックスモデルである。本稿では,プロンプトと生成されたコードの因果グラフに基づく新しい表現を提案する。我々は,12以上の迅速な調整戦略で3つの人気のあるLCMを研究することで,我々のフレームワークが提供できる洞察について説明する。
論文参考訳（メタデータ） (2023-10-10T14:56:26Z)
Simple Linguistic Inferences of Large Language Models (LLMs): Blind Spots and Blinds [59.71218039095155]
我々は,ほとんどの人間が自明に感じる単純な推論タスクにおいて,言語理解能力を評価する。我々は, (i) 文法的に特定された含意, (ii) 不確実性のある明らかな副詞を持つ前提, (iii) 単調性含意を目標とする。モデルはこれらの評価セットに対して中程度から低い性能を示す。
論文参考訳（メタデータ） (2023-05-24T06:41:09Z)
Comparing Code Explanations Created by Students and Large Language Models [4.526618922750769]
コードについて推論し、その目的を説明することは、コンピュータ科学者にとって基本的なスキルである。可能なすべてのインプットに対してコードがどのように振る舞うかを、高いレベルの抽象化で記述する能力は、コード記述スキルと強く相関する。既存の教育的なアプローチは、要求に応じてコード説明を作成するなど、コードを説明する能力を足場に置いていますが、現在、大規模な教室ではうまくスケールしていません。
論文参考訳（メタデータ） (2023-04-08T06:52:54Z)
Python Code Generation by Asking Clarification Questions [57.63906360576212]
本稿では,この課題に対して,より斬新で現実的なセットアップを導入する。我々は、自然言語記述の過小評価は、明確化を問うことで解決できると仮定する。我々は、生成した合成明確化質問と回答を含む自然言語記述とコードのペアを含む、CodeClarQAという新しいデータセットを収集し、導入する。
論文参考訳（メタデータ） (2022-12-19T22:08:36Z)
Language Models of Code are Few-Shot Commonsense Learners [106.1531522893209]
自然言語入力が与えられた場合、目標はイベントや推論グラフなどのグラフを生成することだ。既存のアプローチは、出力グラフをノードとエッジのフラットリストとしてシリアライズする。コード生成タスクとして構造化コモンセンス推論タスクをフレーム化する場合、事前学習されたコードLMは自然言語のLMよりも構造化コモンセンス推論タスクの方が優れていることを示す。
論文参考訳（メタデータ） (2022-10-13T16:09:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。