論文の概要: The Behavior of Large Language Models When Prompted to Generate Code Explanations

• arxiv url: http://arxiv.org/abs/2311.01490v2
• Date: Thu, 9 Nov 2023 20:56:15 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-13 17:13:43.918490
• Title: The Behavior of Large Language Models When Prompted to Generate Code Explanations
• Title（参考訳）: コード説明の生成を促す場合の大規模言語モデルの振る舞い
• Authors: Priti Oli, Rabin Banjade, Jeevan Chapagain, Vasile Rus
• Abstract要約: 本稿では,Large Language Models (LLM) によるコード記述の生成を体系的に検討する。 この結果から,LLMのコード説明の性質は,プロンプトの単語化などの要因の影響を受け,大きな変化がみられた。 説明によると、Flesch-Kincaidの可読性は約7-8グレードである。
• 参考スコア（独自算出の注目度）: 0.3293989832773954
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper systematically investigates the generation of code explanations by Large Language Models (LLMs) for code examples commonly encountered in introductory programming courses. Our findings reveal significant variations in the nature of code explanations produced by LLMs, influenced by factors such as the wording of the prompt, the specific code examples under consideration, the programming language involved, the temperature parameter, and the version of the LLM. However, a consistent pattern emerges for Java and Python, where explanations exhibit a Flesch-Kincaid readability level of approximately 7-8 grade and a consistent lexical density, indicating the proportion of meaningful words relative to the total explanation size. Additionally, the generated explanations consistently achieve high scores for correctness, but lower scores on three other metrics: completeness, conciseness, and specificity.
• Abstract（参考訳）: 本稿では,導入プログラミングコースでよく見られるコード例に対して,Large Language Models (LLMs) によるコード説明の生成を体系的に検討する。 本研究は,プロンプトの単語化,検討中の特定のコード例,関連するプログラミング言語,温度パラメータ,llmのバージョンなどの要因から,llmが生成するコード説明の性質に有意な変化があることを明らかにした。 しかし、javaとpythonの一貫性のあるパターンが出現し、説明には約7-8グレードのflesch-kincaid可読性レベルと、総説明サイズに対する意味のある単語の割合を示す一貫した語彙密度が示される。 さらに、生成された説明は一貫して正確性のための高いスコアを得るが、他の3つの指標(完全性、簡潔性、特異性)では低いスコアとなる。

関連論文リスト

• Idiosyncrasies in Large Language Models [54.26923012617675]
  大規模言語モデル(LLM)における慣用句の公開と研究 LLM生成テキスト上に既存のテキスト埋め込みモデルを微調整することで、優れた分類精度が得られることが判明した。 我々はLLMを審査員として利用し、各モデルの慣用句の詳細かつオープンな記述を生成する。
  論文  参考訳（メタデータ） (2025-02-17T18:59:02Z)
• The First Prompt Counts the Most! An Evaluation of Large Language Models on Iterative Example-based Code Generation [33.77058239791512]
  本稿では,Large Language Models (LLMs) を用いたサンプルベースコード生成の総合的研究について述べる。 I/O例の不完全性に起因する誤りに対処するために,反復的評価フレームワークを採用する。 我々は168の多様な目標関数のベンチマークを用いて6つの最先端LCMを評価した。
  論文  参考訳（メタデータ） (2024-11-11T08:05:37Z)
• Source Code Summarization in the Era of Large Language Models [23.715005053430957]
  大規模言語モデル(LLM)は、コード関連のタスクのパフォーマンスを大幅に向上させた。 本稿では,LLMにおけるコード要約の体系的および包括的研究を行う。
  論文  参考訳（メタデータ） (2024-07-09T05:48:42Z)
• Code Prompting Elicits Conditional Reasoning Abilities in Text+Code LLMs [65.2379940117181]
  自然言語の問題をコードに変換する一連のプロンプトであるコードプロンプトを導入します。 コードプロンプトは複数のLLMに対して高速に向上することがわかった。 GPT 3.5を解析した結果,入力問題のコードフォーマッティングが性能向上に不可欠であることが判明した。
  論文  参考訳（メタデータ） (2024-01-18T15:32:24Z)
• If LLM Is the Wizard, Then Code Is the Wand: A Survey on How Code Empowers Large Language Models to Serve as Intelligent Agents [81.60906807941188]
  大型言語モデル(LLM)は、自然言語と形式言語(コード)の組み合わせに基づいて訓練される コードは、標準構文、論理一貫性、抽象化、モジュール性を備えた高レベルの目標を実行可能なステップに変換する。
  論文  参考訳（メタデータ） (2024-01-01T16:51:20Z)
• Language Agnostic Code Embeddings [61.84835551549612]
  私たちは、さまざまなプログラミング言語にまたがるコード埋め込みの言語間機能に重点を置いています。 1つは特定の言語のニュアンスと構文に深く結びついており、もう1つは詳細を知らない。 我々は、この言語固有のコンポーネントを分離して排除すると、下流のコード検索タスクが大幅に改善されることを示した。
  論文  参考訳（メタデータ） (2023-10-25T17:34:52Z)
• Exploring Large Language Models for Code Explanation [3.2570216147409514]
  大規模言語モデル(LLM)は自然言語処理において顕著な進歩を遂げている。 本研究では,様々なLLMを用いて,コードスニペットの自然言語要約を生成するタスクについて検討する。
  論文  参考訳（メタデータ） (2023-10-25T14:38:40Z)
• Benchmarking and Explaining Large Language Model-based Code Generation: A Causality-Centric Approach [12.214585409361126]
  大規模言語モデル(LLM)ベースのコード生成は複雑で強力なブラックボックスモデルである。 本稿では,プロンプトと生成されたコードの因果グラフに基づく新しい表現を提案する。 我々は,12以上の迅速な調整戦略で3つの人気のあるLCMを研究することで,我々のフレームワークが提供できる洞察について説明する。
  論文  参考訳（メタデータ） (2023-10-10T14:56:26Z)
• Simple Linguistic Inferences of Large Language Models (LLMs): Blind Spots and Blinds [59.71218039095155]
  我々は,ほとんどの人間が自明に感じる単純な推論タスクにおいて,言語理解能力を評価する。 我々は, (i) 文法的に特定された含意, (ii) 不確実性のある明らかな副詞を持つ前提, (iii) 単調性含意を目標とする。 モデルはこれらの評価セットに対して中程度から低い性能を示す。
  論文  参考訳（メタデータ） (2023-05-24T06:41:09Z)
• Comparing Code Explanations Created by Students and Large Language Models [4.526618922750769]
  コードについて推論し、その目的を説明することは、コンピュータ科学者にとって基本的なスキルである。 可能なすべてのインプットに対してコードがどのように振る舞うかを、高いレベルの抽象化で記述する能力は、コード記述スキルと強く相関する。 既存の教育的なアプローチは、要求に応じてコード説明を作成するなど、コードを説明する能力を足場に置いていますが、現在、大規模な教室ではうまくスケールしていません。
  論文  参考訳（メタデータ） (2023-04-08T06:52:54Z)
• Python Code Generation by Asking Clarification Questions [57.63906360576212]
  本稿では,この課題に対して,より斬新で現実的なセットアップを導入する。 我々は、自然言語記述の過小評価は、明確化を問うことで解決できると仮定する。 我々は、生成した合成明確化質問と回答を含む自然言語記述とコードのペアを含む、CodeClarQAという新しいデータセットを収集し、導入する。
  論文  参考訳（メタデータ） (2022-12-19T22:08:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。