論文の概要: Uncovering Intention through LLM-Driven Code Snippet Description Generation

• arxiv url: http://arxiv.org/abs/2506.15453v1
• Date: Wed, 18 Jun 2025 13:33:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-19 19:35:51.675872
• Title: Uncovering Intention through LLM-Driven Code Snippet Description Generation
• Title（参考訳）: LLM駆動型コードスニペット記述生成による意図の発見
• Authors: Yusuf Sulistyo Nugroho, Farah Danisha Salam, Brittany Reid, Raula Gaikovina Kula, Kazumasa Shimari, Kenichi Matsumoto,
• Abstract要約: コードスニペットのドキュメンテーションは、開発者とユーザの両方が注意を払うべき重要な領域を特定するために不可欠である。 LLM(Large Language Models)の台頭により、主要なゴールは開発者がよく使う記述の種類を調べることである。 NPM Code Snippetsは185,412パッケージと1,024,579コードスニペットで構成されています。
• 参考スコア（独自算出の注目度）: 2.916588882952662
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Documenting code snippets is essential to pinpoint key areas where both developers and users should pay attention. Examples include usage examples and other Application Programming Interfaces (APIs), which are especially important for third-party libraries. With the rise of Large Language Models (LLMs), the key goal is to investigate the kinds of description developers commonly use and evaluate how well an LLM, in this case Llama, can support description generation. We use NPM Code Snippets, consisting of 185,412 packages with 1,024,579 code snippets. From there, we use 400 code snippets (and their descriptions) as samples. First, our manual classification found that the majority of original descriptions (55.5%) highlight example-based usage. This finding emphasizes the importance of clear documentation, as some descriptions lacked sufficient detail to convey intent. Second, the LLM correctly identified the majority of original descriptions as "Example" (79.75%), which is identical to our manual finding, showing a propensity for generalization. Third, compared to the originals, the produced description had an average similarity score of 0.7173, suggesting relevance but room for improvement. Scores below 0.9 indicate some irrelevance. Our results show that depending on the task of the code snippet, the intention of the document may differ from being instructions for usage, installations, or descriptive learning examples for any user of a library.
• Abstract（参考訳）: コードスニペットのドキュメンテーションは、開発者とユーザの両方が注意を払うべき重要な領域を特定するために不可欠である。 例えば、使用例やその他のアプリケーションプログラミングインターフェース(API)があり、これはサードパーティのライブラリにとって特に重要である。 LLM(Large Language Models)の台頭により、主要なゴールは、開発者が一般的に使用する記述の種類を調査し、LlamaのようなLLMがいかに記述生成をサポートできるかを評価することである。 NPM Code Snippetsは185,412パッケージと1,024,579コードスニペットで構成されています。 そこから400のコードスニペット(とその記述)をサンプルとして使います。 まず、手作業による分類では、オリジナルの記述の大部分(55.5%)がサンプルベースの使用に焦点を当てていることがわかった。 この発見は、意図を伝えるのに十分な詳細を欠いた記述があるので、明確なドキュメントの重要性を強調している。 第2に、LLMは元の記述の大半を「例」 (79.75%) と正しく識別し、これは我々の手作業による発見と同一であり、一般化の正当性を示している。 第3に、原文と比較して、生成した記述の平均類似度スコアは0.7173であり、関連性はあるが改善の余地があることを示唆している。 0.9以下のスコアはいくつかの無関係を示す。 コードスニペットのタスクによって、文書の意図は、ライブラリの任意のユーザに対する使用例、インストール例、記述学習例の指示と異なる可能性がある。

関連論文リスト

• Simple and Effective Baselines for Code Summarisation Evaluation [12.640225615568749]
  簡単なベースラインを導入し、LCMに概要に総合的なスコアを与える。 n-gramや埋め込みベースのベースラインとは異なり、私たちのアプローチではスコアを与える際にコードを考慮できます。
  論文  参考訳（メタデータ） (2025-05-26T01:16:41Z)
• Beyond Memorization: Evaluating the True Type Inference Capabilities of LLMs for Java Code Snippets [3.152174935904172]
  最近の研究は、コードスニペットの型推論にLarge Language Modelsを活用し、有望な結果を示している。 しかし、ベンチマークスイート(StatType-SO)が2017年以来GitHubで公開されているため、これらの結果はデータ漏洩の影響を受けやすい。 Java コードスニペット上で LLM の型推論能力を総合的に評価するために,3段階評価を行った。
  論文  参考訳（メタデータ） (2025-03-06T04:13:40Z)
• Detection of LLM-Paraphrased Code and Identification of the Responsible LLM Using Coding Style Features [5.774786149181392]
  Aliciousのユーザは、大きな言語モデル(LLM)を使って、オリジナルのものとよく似ているプロプライエタリなコードのパラフレーズ付きバージョンを生成することができる。 LPcodedecは人書きとLLM生成コード間のパラフレーズ関係を識別する手法である。 LPcodedecは2つのタスクで最高のベースラインを達成し、F1スコアは2.64%、F1スコアは15.17%向上し、それぞれ1,343xと213xのスピードアップを達成した。
  論文  参考訳（メタデータ） (2025-02-25T00:58:06Z)
• I Can Find You in Seconds! Leveraging Large Language Models for Code Authorship Attribution [10.538442986619147]
  State-of-the-art large language model (LLM)は、様々な言語でソースコードのオーサリングに成功している。 LLMは、悪質な攻撃に対する敵対的な堅牢性を示す。 本稿では,大規模属性に対するトーナメント方式のアプローチを提案する。
  論文  参考訳（メタデータ） (2025-01-14T14:46:19Z)
• CodecLM: Aligning Language Models with Tailored Synthetic Data [51.59223474427153]
  命令追従能力のための高品質な合成データを適応的に生成するフレームワークであるCodecLMを紹介する。 まず、ターゲットの指示分布をキャプチャするために、オンザフライで生成された簡潔なキーワードであるメタデータにシード命令をエンコードする。 また、デコード中に自己論理とコントラストフィルタを導入し、データ効率の良いサンプルを調整する。
  論文  参考訳（メタデータ） (2024-04-08T21:15:36Z)
• A Semantic Space is Worth 256 Language Descriptions: Make Stronger Segmentation Models with Descriptive Properties [53.177550970052174]
  ProLabは、プロパティレベルのラベル空間を使用して、強力な解釈可能なセグメンテーションモデルを作成する新しいアプローチである。 セグメンテーションモデルを監督するために、常識知識に根ざした記述的特性を使用する。
  論文  参考訳（メタデータ） (2023-12-21T11:43:41Z)
• Large Language Model-Aware In-Context Learning for Code Generation [75.68709482932903]
  大規模言語モデル(LLM)は、コード生成において印象的なコンテキスト内学習(ICL)能力を示している。 コード生成のためのLAIL (LLM-Aware In-context Learning) という新しい学習ベース選択手法を提案する。
  論文  参考訳（メタデータ） (2023-10-15T06:12:58Z)
• BYOC: Personalized Few-Shot Classification with Co-Authored Class Descriptions [2.076173115539025]
  LLMを用いた少数ショットテキスト分類のための新しい手法を提案する。 わずかな例ではなく、LLMは各クラスの健全な特徴を記述して誘導される。 例、質問、回答は、分類プロンプトを形成するために要約される。
  論文  参考訳（メタデータ） (2023-10-09T19:37:38Z)
• AnnoLLM: Making Large Language Models to Be Better Crowdsourced Annotators [98.11286353828525]
  GPT-3.5シリーズのモデルは、様々なNLPタスクにまたがる顕著な少数ショットとゼロショットの能力を示している。 本稿では,2段階のアプローチを取り入れたAnnoLLMを提案する。 我々はAnnoLLMを用いた対話型情報検索データセットを構築した。
  論文  参考訳（メタデータ） (2023-03-29T17:03:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。