論文の概要: Neural Code Summarization: How Far Are We?
- arxiv url: http://arxiv.org/abs/2107.07112v1
- Date: Thu, 15 Jul 2021 04:33:59 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-16 13:56:13.647557
- Title: Neural Code Summarization: How Far Are We?
- Title（参考訳）: ニューラルネットワークの要約: どこまであるのか?
- Authors: Ensheng Shi, Yanlin Wang, Lun Du, Junjie Chen, Shi Han, Hongyu Zhang,
Dongmei Zhang, Hongbin Sun
- Abstract要約: ディープラーニング技術を利用して、与えられたコードスニペットの要約を自動的に生成する。
本稿では,5つの最先端のニューラルネットワークの要約モデルについて,系統的かつ詳細な解析を行う。
- 参考スコア（独自算出の注目度）: 30.324396716447602
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Source code summaries are important for the comprehension and maintenance of
programs. However, there are plenty of programs with missing, outdated, or
mismatched summaries. Recently, deep learning techniques have been exploited to
automatically generate summaries for given code snippets. To achieve a profound
understanding of how far we are from solving this problem, in this paper, we
conduct a systematic and in-depth analysis of five state-of-the-art neural
source code summarization models on three widely used datasets. Our evaluation
results suggest that: (1) The BLEU metric, which is widely used by existing
work for evaluating the performance of the summarization models, has many
variants. Ignoring the differences among the BLEU variants could affect the
validity of the claimed results. Furthermore, we discover an important,
previously unknown bug about BLEU calculation in a commonly-used software
package. (2) Code pre-processing choices can have a large impact on the
summarization performance, therefore they should not be ignored. (3) Some
important characteristics of datasets (corpus size, data splitting method, and
duplication ratio) have a significant impact on model evaluation. Based on the
experimental results, we give some actionable guidelines on more systematic
ways for evaluating code summarization and choosing the best method in
different scenarios. We also suggest possible future research directions. We
believe that our results can be of great help for practitioners and researchers
in this interesting area.
- Abstract（参考訳）: ソースコードの要約は、プログラムの理解とメンテナンスに重要である。
しかし、不足、時代遅れ、あるいはミスマッチした要約を持つプログラムはたくさんあります。
近年,コードスニペットの要約を自動的に生成するためにディープラーニング技術が活用されている。
この問題の解決からどこまで遠いのかを深く理解するために,本稿では,広く使用されている3つのデータセット上で,最先端の5つのニューラルネットワークの要約モデルについて,体系的かつ詳細な分析を行う。
その結果,(1)要約モデルの性能評価のために既存の研究で広く用いられているbleuメトリックには,多くのバリエーションがあることが示唆された。
bleu変種間の差異を無視することは, 請求結果の妥当性に影響を及ぼす可能性がある。
さらに,bleu計算に関する重要で未知のバグを,広く使用されているソフトウェアパッケージで発見する。
2) コード前処理の選択は要約性能に大きな影響を与える可能性があるため、無視すべきではない。
3) データセットの重要な特徴(コーパスサイズ、データ分割方法、重複率)は、モデル評価に大きな影響を与える。
実験結果に基づいて,コードの要約を評価し,異なるシナリオで最適な方法を選択するための,より体系的な方法に関する実践可能なガイドラインを提示する。
今後の研究の方向性も提案する。
この興味深い分野の実践者や研究者にとって、私たちの結果は大きな助けになると考えています。
関連論文リスト
- Rethinking Negative Pairs in Code Search [56.23857828689406]
我々は、重み項をInfoNCEに挿入する簡易で効果的なSoft-InfoNCE損失を提案する。
我々は,Soft-InfoNCEが学習したコード表現の分布を制御することと,より正確な相互情報推定の導出に与える影響を分析する。
論文 参考訳（メタデータ） (2023-10-12T06:32:42Z) - DCID: Deep Canonical Information Decomposition [84.59396326810085]
本稿では,2つの1次元目標変数間で共有される信号の同定について考察する。
そこで本研究では,地中トラスラベルの存在下で使用可能な評価指標であるICMを提案する。
また、共有変数を学習するための単純かつ効果的なアプローチとして、Deep Canonical Information Decomposition (DCID)を提案する。
論文 参考訳（メタデータ） (2023-06-27T16:59:06Z) - Deep networks for system identification: a Survey [56.34005280792013]
システム識別は、入力出力データから動的システムの数学的記述を学習する。
同定されたモデルの主な目的は、以前の観測から新しいデータを予測することである。
我々は、フィードフォワード、畳み込み、リカレントネットワークなどの文献で一般的に採用されているアーキテクチャについて論じる。
論文 参考訳（メタデータ） (2023-01-30T12:38:31Z) - On the State of German (Abstractive) Text Summarization [3.1776833268555134]
ドイツの抽象的テキスト要約の景観を評価する。
業界において,抽象的なテキスト要約のための実用的なソリューションがいまだに欠落している理由を考察する。
論文 参考訳（メタデータ） (2023-01-17T18:59:20Z) - An Empirical Investigation of Commonsense Self-Supervision with
Knowledge Graphs [67.23285413610243]
大規模知識グラフから抽出した情報に基づく自己監督は、言語モデルの一般化を改善することが示されている。
本研究では,言語モデルに適用可能な合成データを生成するための知識サンプリング戦略とサイズの影響について検討する。
論文 参考訳（メタデータ） (2022-05-21T19:49:04Z) - On Modality Bias Recognition and Reduction [70.69194431713825]
マルチモーダル分類の文脈におけるモダリティバイアス問題について検討する。
本稿では,各ラベルの特徴空間を適応的に学習するプラグアンドプレイ損失関数法を提案する。
本手法は, ベースラインに比べ, 顕著な性能向上を実現している。
論文 参考訳（メタデータ） (2022-02-25T13:47:09Z) - On the Evaluation of Commit Message Generation Models: An Experimental
Study [33.19314967188712]
コミットメッセージは、コード変更の自然言語記述であり、プログラムの理解とメンテナンスに重要である。
コミットメッセージを自動的に生成するために, 生成手法や検索手法を利用した様々な手法が提案されている。
本稿では,最先端のモデルとデータセットの体系的,詳細な分析を行う。
論文 参考訳（メタデータ） (2021-07-12T12:38:02Z) - Combining Feature and Instance Attribution to Detect Artifacts [62.63504976810927]
トレーニングデータアーティファクトの識別を容易にする手法を提案する。
提案手法は,トレーニングデータのアーティファクトの発見に有効であることを示す。
我々は,これらの手法が実際にNLP研究者にとって有用かどうかを評価するために,小規模なユーザスタディを実施している。
論文 参考訳（メタデータ） (2021-07-01T09:26:13Z) - A Comparison of Methods for Treatment Assignment with an Application to
Playlist Generation [13.804332504576301]
文献で提案される様々な手法をアルゴリズムの3つの一般的なクラス(またはメタナー)に分類する。
結果や因果効果の予測を最適化することは、治療課題の最適化と同じではないことを分析的および実証的に示す。
これは、大規模な実世界のアプリケーションにおける3つの異なるメタラーナーの最初の比較である。
論文 参考訳（メタデータ） (2020-04-24T04:56:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。