論文の概要: Semantic Similarity Loss for Neural Source Code Summarization

• arxiv url: http://arxiv.org/abs/2308.07429v1
• Date: Mon, 14 Aug 2023 19:51:45 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-16 14:47:31.633880
• Title: Semantic Similarity Loss for Neural Source Code Summarization
• Title（参考訳）: ニューラルソースコード要約のための意味的類似性損失
• Authors: Chia-Yi Su and Collin McMillan
• Abstract要約: 本稿では,ニューラルネットワークの要約における損失関数の改善について述べる。 コード要約は、ソースコードの自然言語記述を記述するタスクである。
• 参考スコア（独自算出の注目度）: 2.88268082568407
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: This paper presents an improved loss function for neural source code summarization. Code summarization is the task of writing natural language descriptions of source code. Neural code summarization refers to automated techniques for generating these descriptions using neural networks. Almost all current approaches involve neural networks as either standalone models or as part of a pretrained large language models e.g., GPT, Codex, LLaMA. Yet almost all also use a categorical cross-entropy (CCE) loss function for network optimization. Two problems with CCE are that 1) it computes loss over each word prediction one-at-a-time, rather than evaluating a whole sentence, and 2) it requires a perfect prediction, leaving no room for partial credit for synonyms. We propose and evaluate a loss function to alleviate this problem. In essence, we propose to use a semantic similarity metric to calculate loss over the whole output sentence prediction per training batch, rather than just loss for each word. We also propose to combine our loss with traditional CCE for each word, which streamlines the training process compared to baselines. We evaluate our approach over several baselines and report an improvement in the vast majority of conditions.
• Abstract（参考訳）: 本稿では,ニューラルネットワークの要約における損失関数の改善について述べる。 コード要約は、ソースコードの自然言語記述を記述するタスクである。 ニューラルコード要約(neural code summarization)は、ニューラルネットワークを使用してこれらの記述を生成する自動化技術である。 現在のほとんどのアプローチは、ニューラルネットワークをスタンドアロンモデルまたはGPT、Codex、LLaMAなどの事前訓練された大規模言語モデルの一部として含む。 しかし、ほとんどの場合、ネットワーク最適化にカテゴリクロスエントロピー(CCE)損失関数を使用する。 CCEの2つの問題は 1)全文を評価するのではなく,各単語を1対1で予測する損失を計算する。 2) 完全予測が必要であり、同義語の部分的信用の余地は残っていない。 この問題を緩和するための損失関数を提案し,評価する。 そこで本研究では,各単語に対する損失ではなく,訓練バッチ毎の出力文予測全体の損失を計算するための意味的類似度指標を提案する。 また,学習過程をベースラインと比較し,学習過程の合理化を図るため,各単語に対する従来のCCEと組み合わせることを提案する。 我々は,いくつかのベースラインに対するアプローチを評価し,ほとんどの条件の改善を報告した。

関連論文リスト

• Sparse Attention-Based Neural Networks for Code Classification [15.296053323327312]
  コード分類のためのスパース注意型ニューラルネットワーク(SACC)を提案する。 最初のステップでは、ソースコードは構文解析と前処理を行う。 サブツリーの符号化されたシーケンスは、分類のためにスパースアテンション機構を組み込んだTransformerモデルに入力される。
  論文  参考訳（メタデータ） (2023-11-11T14:07:12Z)
• Semantics Alignment via Split Learning for Resilient Multi-User Semantic Communication [56.54422521327698]
  最近の意味コミュニケーションの研究は、ディープジョイントソースやチャネルコーディング(DeepJSCC)のようなニューラルネットワーク(NN)ベースのトランシーバに依存している。 従来のトランシーバとは異なり、これらのニューラルトランシーバは実際のソースデータとチャネルを使用してトレーニング可能であり、セマンティクスを抽出し通信することができる。 本稿では,分割学習(SL)と部分的NN微調整技術を活用する分散学習ベースソリューションを提案する。
  論文  参考訳（メタデータ） (2023-10-13T20:29:55Z)
• Scalable Learning of Latent Language Structure With Logical Offline Cycle Consistency [71.42261918225773]
  概念的には、LOCCOは、トレーニング対象のセマンティクスを使用してラベルなしテキストのアノテーションを生成する、自己学習の一形態と見なすことができる。 追加ボーナスとして、LOCCOによって生成されたアノテーションは、神経テキスト生成モデルをトレーニングするために自明に再利用することができる。
  論文  参考訳（メタデータ） (2023-05-31T16:47:20Z)
• Towards Better Out-of-Distribution Generalization of Neural Algorithmic Reasoning Tasks [51.8723187709964]
  ニューラルネットワーク推論タスクのOOD一般化について検討する。 目標は、ディープニューラルネットワークを使用して入出力ペアからアルゴリズムを学ぶことである。
  論文  参考訳（メタデータ） (2022-11-01T18:33:20Z)
• Regularization-based Pruning of Irrelevant Weights in Deep Neural Architectures [0.0]
  本稿では,無関係な重みを識別し,そのノルムを選択的に縮小する正規化手法を用いて,スパース神経トポロジを学習する手法を提案する。 提案手法を画像分類と自然言語生成のタスクで検証し,スパーシティとメトリクスの両面から比較結果を得た。
  論文  参考訳（メタデータ） (2022-04-11T09:44:16Z)
• Relational Surrogate Loss Learning [41.61184221367546]
  本稿では、評価指標を近似するためにディープニューラルネットワークを用いる代理損失学習を再考する。 本稿では,サロゲート損失と測定値の関係を直接的に維持することを示す。 私たちの方法は最適化がずっと簡単で、大幅な効率と性能向上を享受しています。
  論文  参考訳（メタデータ） (2022-02-26T17:32:57Z)
• Language Semantics Interpretation with an Interaction-based Recurrent Neural Networks [0.0]
  本稿では,新しいインフルエンススコア (I-score) と,BDA (Backward Dropping Algorithm) と呼ばれるグリージー検索アルゴリズムと,"Dagger Technique" と呼ばれる特徴工学的手法を提案する。 提案手法は,他の人気ピアと比較して81%の誤差削減率で予測性能を向上させるために適用された。
  論文  参考訳（メタデータ） (2021-11-02T00:39:21Z)
• Understanding the Generalization of Adam in Learning Neural Networks with Proper Regularization [118.50301177912381]
  我々は,重力減衰グローバリゼーションにおいても,目的の異なる解に確実に異なる誤差で収束できることを示す。 凸と重み減衰正則化を用いると、Adamを含む任意の最適化アルゴリズムは同じ解に収束することを示す。
  論文  参考訳（メタデータ） (2021-08-25T17:58:21Z)
• Extracting Grammars from a Neural Network Parser for Anomaly Detection in Unknown Formats [79.6676793507792]
  強化学習は、ある未知のフォーマットで文を解析するために、人工知能を訓練する技術として、最近約束されている。 本稿では、ニューラルネットワークから生成規則を抽出し、これらの規則を用いて、ある文が名目か異常かを決定する手順を提案する。
  論文  参考訳（メタデータ） (2021-07-30T23:10:24Z)
• Autoregressive Belief Propagation for Decoding Block Codes [113.38181979662288]
  誤り訂正符号の復号化にグラフニューラルネットワークを用いた最近の手法を再検討する。 本手法は,他手法がゼロワードでのみ学習できる対称性条件に反する。 1つの単語でトレーニングする余地がなく、関連するサンプル空間のごく一部でトレーニングできないにもかかわらず、効果的なトレーニングを実演する。
  論文  参考訳（メタデータ） (2021-01-23T17:14:55Z)
• Logic Constrained Pointer Networks for Interpretable Textual Similarity [11.142649867439406]
  本稿では, セシネルゲーティング機能を備えた新しいポインターネットワークモデルを導入し, 構成チャンクを整列させる。 両文の相違を等しく補償し、アライメントが双方向であることを保証するために、損失関数によるこのベースモデルを改善する。 このモデルは、チャンクアライメントタスクのためのベンチマークSemEvalデータセットにおいて、97.73と96.32のF1スコアを達成する。
  論文  参考訳（メタデータ） (2020-07-15T13:01:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。