論文の概要: Semantic Similarity Loss for Neural Source Code Summarization
- arxiv url: http://arxiv.org/abs/2308.07429v1
- Date: Mon, 14 Aug 2023 19:51:45 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-16 14:47:31.633880
- Title: Semantic Similarity Loss for Neural Source Code Summarization
- Title(参考訳): ニューラルソースコード要約のための意味的類似性損失
- Authors: Chia-Yi Su and Collin McMillan
- Abstract要約: 本稿では,ニューラルネットワークの要約における損失関数の改善について述べる。
コード要約は、ソースコードの自然言語記述を記述するタスクである。
- 参考スコア(独自算出の注目度): 2.88268082568407
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: This paper presents an improved loss function for neural source code
summarization. Code summarization is the task of writing natural language
descriptions of source code. Neural code summarization refers to automated
techniques for generating these descriptions using neural networks. Almost all
current approaches involve neural networks as either standalone models or as
part of a pretrained large language models e.g., GPT, Codex, LLaMA. Yet almost
all also use a categorical cross-entropy (CCE) loss function for network
optimization. Two problems with CCE are that 1) it computes loss over each word
prediction one-at-a-time, rather than evaluating a whole sentence, and 2) it
requires a perfect prediction, leaving no room for partial credit for synonyms.
We propose and evaluate a loss function to alleviate this problem. In essence,
we propose to use a semantic similarity metric to calculate loss over the whole
output sentence prediction per training batch, rather than just loss for each
word. We also propose to combine our loss with traditional CCE for each word,
which streamlines the training process compared to baselines. We evaluate our
approach over several baselines and report an improvement in the vast majority
of conditions.
- Abstract(参考訳): 本稿では,ニューラルネットワークの要約における損失関数の改善について述べる。
コード要約は、ソースコードの自然言語記述を記述するタスクである。
ニューラルコード要約(neural code summarization)は、ニューラルネットワークを使用してこれらの記述を生成する自動化技術である。
現在のほとんどのアプローチは、ニューラルネットワークをスタンドアロンモデルまたはGPT、Codex、LLaMAなどの事前訓練された大規模言語モデルの一部として含む。
しかし、ほとんどの場合、ネットワーク最適化にカテゴリクロスエントロピー(CCE)損失関数を使用する。
CCEの2つの問題は
1)全文を評価するのではなく,各単語を1対1で予測する損失を計算する。
2) 完全予測が必要であり、同義語の部分的信用の余地は残っていない。
この問題を緩和するための損失関数を提案し,評価する。
そこで本研究では,各単語に対する損失ではなく,訓練バッチ毎の出力文予測全体の損失を計算するための意味的類似度指標を提案する。
また,学習過程をベースラインと比較し,学習過程の合理化を図るため,各単語に対する従来のCCEと組み合わせることを提案する。
我々は,いくつかのベースラインに対するアプローチを評価し,ほとんどの条件の改善を報告した。
関連論文リスト
- Semantics Alignment via Split Learning for Resilient Multi-User Semantic
Communication [56.54422521327698]
最近の意味コミュニケーションの研究は、ディープジョイントソースやチャネルコーディング(DeepJSCC)のようなニューラルネットワーク(NN)ベースのトランシーバに依存している。
従来のトランシーバとは異なり、これらのニューラルトランシーバは実際のソースデータとチャネルを使用してトレーニング可能であり、セマンティクスを抽出し通信することができる。
本稿では,分割学習(SL)と部分的NN微調整技術を活用する分散学習ベースソリューションを提案する。
論文 参考訳(メタデータ) (2023-10-13T20:29:55Z) - On Model Compression for Neural Networks: Framework, Algorithm, and
Convergence Guarantee [10.783153208561469]
本稿では,低ランク近似と重み近似の2つのモデル圧縮手法に焦点を当てた。
本稿では,非最適化の新たな視点から,モデル圧縮のための全体論的なフレームワークを提案する。
論文 参考訳(メタデータ) (2023-03-13T02:14:42Z) - Towards Better Out-of-Distribution Generalization of Neural Algorithmic
Reasoning Tasks [51.8723187709964]
ニューラルネットワーク推論タスクのOOD一般化について検討する。
目標は、ディープニューラルネットワークを使用して入出力ペアからアルゴリズムを学ぶことである。
論文 参考訳(メタデータ) (2022-11-01T18:33:20Z) - Refining neural network predictions using background knowledge [68.35246878394702]
学習システムにおける論理的背景知識を用いて,ラベル付きトレーニングデータの不足を補うことができることを示す。
そこで本研究では,修正された予測を元の予測に近い精度で検出する微分可能精細関数を提案する。
このアルゴリズムは、複雑なSATの公式に対して、非常に少ない繰り返しで最適に洗練され、勾配降下ができない解がしばしば見つかる。
論文 参考訳(メタデータ) (2022-06-10T10:17:59Z) - Regularization-based Pruning of Irrelevant Weights in Deep Neural
Architectures [0.0]
本稿では,無関係な重みを識別し,そのノルムを選択的に縮小する正規化手法を用いて,スパース神経トポロジを学習する手法を提案する。
提案手法を画像分類と自然言語生成のタスクで検証し,スパーシティとメトリクスの両面から比較結果を得た。
論文 参考訳(メタデータ) (2022-04-11T09:44:16Z) - Language Semantics Interpretation with an Interaction-based Recurrent
Neural Networks [0.0]
本稿では,新しいインフルエンススコア (I-score) と,BDA (Backward Dropping Algorithm) と呼ばれるグリージー検索アルゴリズムと,"Dagger Technique" と呼ばれる特徴工学的手法を提案する。
提案手法は,他の人気ピアと比較して81%の誤差削減率で予測性能を向上させるために適用された。
論文 参考訳(メタデータ) (2021-11-02T00:39:21Z) - Understanding the Generalization of Adam in Learning Neural Networks
with Proper Regularization [118.50301177912381]
我々は,重力減衰グローバリゼーションにおいても,目的の異なる解に確実に異なる誤差で収束できることを示す。
凸と重み減衰正則化を用いると、Adamを含む任意の最適化アルゴリズムは同じ解に収束することを示す。
論文 参考訳(メタデータ) (2021-08-25T17:58:21Z) - On the Reproducibility of Neural Network Predictions [52.47827424679645]
そこで本研究では, チャーン問題について検討し, 原因因子を同定し, 緩和する2つの簡単な方法を提案する。
最初に、標準的な画像分類タスクであっても、チャーンが問題であることを示す。
我々は,予測信頼度を高めるために,エントロピー正規化器を提案する。
両手法の有効性を実証的に示し, 基礎モデルの精度を向上しながら, チャーン低減効果を示す。
論文 参考訳(メタデータ) (2021-02-05T18:51:01Z) - Compressive Sensing and Neural Networks from a Statistical Learning
Perspective [4.561032960211816]
線形測定の少ないスパース再構成に適したニューラルネットワークのクラスに対する一般化誤差解析を提案する。
現実的な条件下では、一般化誤差は層数で対数的にしかスケールせず、測定数ではほとんど線形である。
論文 参考訳(メタデータ) (2020-10-29T15:05:43Z) - Improved Code Summarization via a Graph Neural Network [96.03715569092523]
一般に、ソースコード要約技術はソースコードを入力として使用し、自然言語記述を出力する。
これらの要約を生成するために、ASTのデフォルト構造によくマッチするグラフベースのニューラルアーキテクチャを使用するアプローチを提案する。
論文 参考訳(メタデータ) (2020-04-06T17:36:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。