論文の概要: Analyzing the Performance of Large Language Models on Code Summarization

• arxiv url: http://arxiv.org/abs/2404.08018v1
• Date: Wed, 10 Apr 2024 22:42:18 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-15 16:44:18.178014
• Title: Analyzing the Performance of Large Language Models on Code Summarization
• Title（参考訳）: コード要約による大規模言語モデルの性能解析
• Authors: Rajarshi Haldar, Julia Hockenmaier,
• Abstract要約: Llama 2のような大規模言語モデル(LLM)は、自然言語とソースコードの両方を含むタスクで非常によく機能する。 コード要約のタスクにおいて、これらのモデルの性能は、コードとデータセットの対応する自然言語記述との間の重複する(サブワード)トークンの量に依存することがよく示される。
• 参考スコア（独自算出の注目度）: 4.6785446727033335
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) such as Llama 2 perform very well on tasks that involve both natural language and source code, particularly code summarization and code generation. We show that for the task of code summarization, the performance of these models on individual examples often depends on the amount of (subword) token overlap between the code and the corresponding reference natural language descriptions in the dataset. This token overlap arises because the reference descriptions in standard datasets (corresponding to docstrings in large code bases) are often highly similar to the names of the functions they describe. We also show that this token overlap occurs largely in the function names of the code and compare the relative performance of these models after removing function names versus removing code structure. We also show that using multiple evaluation metrics like BLEU and BERTScore gives us very little additional insight since these metrics are highly correlated with each other.
• Abstract（参考訳）: Llama 2のような大規模言語モデル(LLM)は、自然言語とソースコードの両方、特にコードの要約とコード生成を含むタスクで非常によく機能する。 コード要約のタスクにおいて、個々の例におけるこれらのモデルの性能は、コードとデータセットの対応する参照自然言語記述との重複する(サブワード)トークンの量に依存することがよく示される。 このトークンの重複は、標準データセットの参照記述(大きなコードベースのドクストリングに対応する)が、しばしばそれらが記述する関数の名前と非常によく似ているためである。 また、このトークン重複はコードの関数名に大きく影響し、関数名とコード構造を取り除いた後、これらのモデルの相対的な性能を比較した。 また、BLEUやBERTScoreのような複数の評価指標を使用することで、これらの指標が互いに非常に相関しているため、さらなる洞察が得られません。

関連論文リスト

• SparseCoder: Identifier-Aware Sparse Transformer for File-Level Code Summarization [51.67317895094664]
  本稿では,大規模なソースコードプロジェクトの理解と維持を支援するファイルレベルのコード要約について検討する。 長いコードシーケンスを効果的に処理するための識別子対応スパース変換器であるSparseCoderを提案する。
  論文  参考訳（メタデータ） (2024-01-26T09:23:27Z)
• Exploring Large Language Models for Code Explanation [3.2570216147409514]
  大規模言語モデル(LLM)は自然言語処理において顕著な進歩を遂げている。 本研究では,様々なLLMを用いて,コードスニペットの自然言語要約を生成するタスクについて検討する。
  論文  参考訳（メタデータ） (2023-10-25T14:38:40Z)
• LongCoder: A Long-Range Pre-trained Language Model for Code Completion [56.813974784131624]
  LongCoderは自己アテンションにスライディングウィンドウ機構を採用し、グローバルアクセス可能なトークンを2種類導入している。 ブリッジトークンは入力シーケンス全体を通して挿入され、ローカル情報を集約し、グローバルな相互作用を促進する。 メモリトークンは、後で呼び出され、記憶する必要がある重要なステートメントをハイライトするために含まれます。
  論文  参考訳（メタデータ） (2023-06-26T17:59:24Z)
• CompoundPiece: Evaluating and Improving Decompounding Performance of Language Models [77.45934004406283]
  複合語を構成語に分割する作業である「分解」を体系的に研究する。 We introduced a dataset of 255k compound and non-compound words across 56 various languages obtained from Wiktionary。 分割のための専用モデルを訓練するための新しい手法を導入する。
  論文  参考訳（メタデータ） (2023-05-23T16:32:27Z)
• LAMNER: Code Comment Generation Using Character Language Model and Named Entity Recognition [0.7894331610810762]
  LANguage Model と Named Entity Recognition (LAMNER) を提案する。 LAMNERは、コード構造を効果的に符号化し、コードトークンの構造的特性をキャプチャできるコードコメント生成装置である。 LAMNERや他のベースラインから生成されたコメントを、一般的な4つのメトリクスを持つ人気のあるJavaデータセットで評価する。
  論文  参考訳（メタデータ） (2022-04-05T20:53:06Z)
• Multilingual Autoregressive Entity Linking [49.35994386221958]
  mGENREはMultilingual Entity Linking問題のためのシーケンス対シーケンスシステムである。 与えられた言語で言及すると、mGENREはターゲットエンティティの名前を左から右へ、トークンごとに予測します。 提案手法の有効性を3つのMELベンチマーク実験を含む広範囲な評価により示す。
  論文  参考訳（メタデータ） (2021-03-23T13:25:55Z)
• Deep Graph Matching and Searching for Semantic Code Retrieval [76.51445515611469]
  本稿では,グラフニューラルネットワークに基づくエンドツーエンドのディープグラフマッチングと探索モデルを提案する。 まず、自然言語クエリテキストとプログラミング言語のコードスニペットをグラフ構造化データで表現する。 特に、DGMSは、個々のクエリテキストやコードスニペットのより構造的な情報をキャプチャするだけでなく、それらの微妙な類似性も学習する。
  論文  参考訳（メタデータ） (2020-10-24T14:16:50Z)
• GraphCodeBERT: Pre-training Code Representations with Data Flow [97.00641522327699]
  本稿では,コード固有の構造を考慮したプログラミング言語の事前学習モデルであるGraphCodeBERTを提案する。 これは変数間の"where-the-value-comes-from"の関係をエンコードするコードのセマンティックレベルの構造です。 コード検索,クローン検出,コード翻訳,コード改良の4つのタスクにおいて,本モデルを評価する。
  論文  参考訳（メタデータ） (2020-09-17T15:25:56Z)
• Leveraging Code Generation to Improve Code Retrieval and Summarization via Dual Learning [18.354352985591305]
  コード要約は、ソースコードスニペットが与えられた短い自然言語記述を生成し、コード検索は、自然言語クエリが与えられた関連するソースコードを取得する。 最近の研究は、これらの2つのタスクを組み合わせてパフォーマンスを改善している。 本稿では,新たなコード生成タスクを導入することによって,2つのタスクのエンド・ツー・エンド・モデルを提案する。
  論文  参考訳（メタデータ） (2020-02-24T12:26:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。