論文の概要: Relevance Transformer: Generating Concise Code Snippets with Relevance Feedback

• arxiv url: http://arxiv.org/abs/2007.02609v2
• Date: Tue, 8 Dec 2020 16:33:43 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-13 01:26:30.353090
• Title: Relevance Transformer: Generating Concise Code Snippets with Relevance Feedback
• Title（参考訳）: Relevance Transformer: 関連フィードバックによる簡潔コードスニペットの生成
• Authors: Carlos Gemmell, Federico Rossetto, Jeffrey Dalton
• Abstract要約: 我々は、明示的なコード生成のためのモダントランスフォーマーアーキテクチャを導入し、研究する。 我々は、擬似関連フィードバックを用いて外部知識を組み込んだRelevance Transformerと呼ばれる新しいモデルを提案する。 その結果,BLEU評価に基づく最先端手法の改善が示された。
• 参考スコア（独自算出の注目度）: 6.230751621285322
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Tools capable of automatic code generation have the potential to augment programmer's capabilities. While straightforward code retrieval is incorporated into many IDEs, an emerging area is explicit code generation. Code generation is currently approached as a Machine Translation task, with Recurrent Neural Network (RNN) based encoder-decoder architectures trained on code-description pairs. In this work we introduce and study modern Transformer architectures for this task. We further propose a new model called the Relevance Transformer that incorporates external knowledge using pseudo-relevance feedback. The Relevance Transformer biases the decoding process to be similar to existing retrieved code while enforcing diversity. We perform experiments on multiple standard benchmark datasets for code generation including Django, Hearthstone, and CoNaLa. The results show improvements over state-of-the-art methods based on BLEU evaluation. The Relevance Transformer model shows the potential of Transformer-based architectures for code generation and introduces a method of incorporating pseudo-relevance feedback during inference.
• Abstract（参考訳）: 自動コード生成が可能なツールは、プログラマの能力を増強する可能性がある。 単純なコード検索は多くのIDEに組み込まれているが、新たな領域は明示的なコード生成である。 現在、コード生成は機械翻訳タスクとしてアプローチされており、リカレントニューラルネットワーク(RNN)ベースのエンコーダ-デコーダアーキテクチャはコード記述ペアに基づいて訓練されている。 本稿では、このタスクのためのモダントランスフォーマーアーキテクチャを紹介し、研究する。 さらに、擬似関連フィードバックを用いて外部知識を取り入れたRelevance Transformerと呼ばれる新しいモデルを提案する。 関連トランスフォーマーは、多様性を強制しながら、デコーディングプロセスを既存の検索コードに類似させる。 我々は、Django、Hearthstone、CoNaLaを含むコード生成のための複数の標準ベンチマークデータセットで実験を行う。 その結果,BLEU評価に基づく最先端手法の改善が示された。 Relevance Transformerモデルは、コード生成のためのTransformerベースのアーキテクチャの可能性を示し、推論中に擬似関連フィードバックを組み込む方法を導入する。

関連論文リスト

• CodeRAG-Bench: Can Retrieval Augment Code Generation? [78.37076502395699]
  検索拡張生成を用いたコード生成の系統的,大規模な解析を行う。 まず、コード生成タスクの3つのカテゴリを含む総合的な評価ベンチマークであるCodeRAG-Benchをキュレートする。 CodeRAG-Bench上のトップパフォーマンスモデルについて、1つまたは複数のソースから検索したコンテキストを提供することにより検討する。
  論文  参考訳（メタデータ） (2024-06-20T16:59:52Z)
• kTrans: Knowledge-Aware Transformer for Binary Code Embedding [15.361622199889263]
  我々は,知識を意識したバイナリコード埋め込みを生成するために,トランスフォーマーベースの新しいアプローチ,すなわちkTransを提案する。 生成した埋め込みを外部検出と可視化で検査し、kTransを3つの下流タスクに適用する:バイナリコード類似度検出(BCSD)、FTR(Function Type Recovery)、ICR(Indirect Call Recognition)。 評価の結果、kTransは高品質なバイナリコード埋め込みを生成でき、それぞれ5.2%、6.8%、12.6%のダウンストリームタスクに対するSOTA(State-of-the-art)アプローチを上回っている。
  論文  参考訳（メタデータ） (2023-08-24T09:07:11Z)
• Planning with Large Language Models for Code Generation [100.07232672883897]
  Planning-Guided Transformer Decoding (PG-TD) は、計画アルゴリズムを用いてルックアヘッド検索を行い、トランスフォーマーを誘導してより良いプログラムを生成する。 我々は、公開コーディングチャレンジベンチマークのバックボーンとして、いくつかの大きな言語モデルを用いて、我々のフレームワークを実証的に評価する。
  論文  参考訳（メタデータ） (2023-03-09T18:59:47Z)
• Transformer with Tree-order Encoding for Neural Program Generation [8.173517923612426]
  木に基づく位置エンコーディングと、トランスフォーマーのための自然言語サブワード語彙の共有を導入する。 その結果,木に基づく位置符号化と自然言語サブワード語彙の共有を併用することで,逐次的位置符号化よりも生成性能が向上することが示唆された。
  論文  参考訳（メタデータ） (2022-05-30T12:27:48Z)
• GypSum: Learning Hybrid Representations for Code Summarization [21.701127410434914]
  GypSumは、グラフアテンションニューラルネットワークと事前学習されたプログラミングと自然言語モデルを使用してハイブリッド表現を学習する、新しいディープラーニングモデルである。 本稿では,トランスフォーマーデコーダのエンコーダ-デコーダサブレイヤを変更して表現を融合させ,要約生成を容易にするデュアルコピー機構を提案する。
  論文  参考訳（メタデータ） (2022-04-26T07:44:49Z)
• Error Correction Code Transformer [92.10654749898927]
  本稿では,トランスフォーマーアーキテクチャを任意のブロック長で線形符号のソフトデコードに拡張することを提案する。 我々は,各チャネルの出力次元を高次元に符号化し,個別に処理すべきビット情報のより良い表現を行う。 提案手法は、トランスフォーマーの極端なパワーと柔軟性を示し、既存の最先端のニューラルデコーダを、その時間的複雑さのごく一部で大きなマージンで上回る。
  論文  参考訳（メタデータ） (2022-03-27T15:25:58Z)
• ReACC: A Retrieval-Augmented Code Completion Framework [53.49707123661763]
  本稿では,語彙のコピーと類似したセマンティクスを持つコード参照の両方を検索により活用する検索拡張コード補完フレームワークを提案する。 我々は,Python および Java プログラミング言語のコード補完タスクにおけるアプローチを評価し,CodeXGLUE ベンチマークで最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2022-03-15T08:25:08Z)
• Thinking Like Transformers [64.96770952820691]
  本稿では,プログラミング言語の形式で変換器エンコーダの計算モデルを提案する。 RASPは、トランスフォーマーによって確実に学習できるタスクの解決策をプログラムするのにどのように使えるかを示す。 ヒストグラム、ソート、ダイク言語のためのRASPプログラムを提供する。
  論文  参考訳（メタデータ） (2021-06-13T13:04:46Z)
• Swin-Unet: Unet-like Pure Transformer for Medical Image Segmentation [63.46694853953092]
  Swin-Unetは、医用画像セグメンテーション用のUnetライクなトランスフォーマーである。 トークン化されたイメージパッチは、TransformerベースのU字型デコーダデコーダアーキテクチャに供給される。
  論文  参考訳（メタデータ） (2021-05-12T09:30:26Z)
• Code Structure Guided Transformer for Source Code Summarization [17.512699897227055]
  トランスフォーマーベースのアプローチは、コードセマンティクスのキャプチャに重要なコード構造情報を明示的に組み込むものではない。 コード構造特性をトランスフォーマーに組み込むSG-Transという新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-04-19T14:26:56Z)
• Retrieve and Refine: Exemplar-based Neural Comment Generation [27.90756259321855]
  同様のコードスニペットのコメントはコメントの生成に役立ちます。 我々は、与えられたコード、AST、類似したコード、そして入力として見劣りする新しいセク2seqニューラルネットワークを設計する。 約200万のサンプルを含む大規模Javaコーパスに対するアプローチを評価した。
  論文  参考訳（メタデータ） (2020-10-09T09:33:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。