論文の概要: UniGenCoder: Merging Seq2Seq and Seq2Tree Paradigms for Unified Code Generation

• arxiv url: http://arxiv.org/abs/2502.12490v1
• Date: Tue, 18 Feb 2025 03:19:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-19 14:03:04.200788
• Title: UniGenCoder: Merging Seq2Seq and Seq2Tree Paradigms for Unified Code Generation
• Title（参考訳）: UniGenCoder: 統一コード生成のためのSeq2SeqとSeq2Treeパラダイムの統合
• Authors: Liangying Shao, Yanfu Yan, Denys Poshyvanyk, Jinsong Su,
• Abstract要約: 既存のコード生成アプローチでは、トークンのシーケンスとしてターゲットコードを生成するSequence-to-Sequenceパラダイムや、アクションのシーケンスとしてコードを出力するSequence-to-Treeパラダイムが重視されている。 コード関連生成タスクに対してUniGenCoderを提案する。これは共有エンコーダと、最小限の追加パラメータを持つ共有デコーダと、各インスタンスに対して最適なパラダイムを動的に選択するセレクタから構成される。 テキスト・ツー・コード生成タスクとコード・ツー・コード生成タスクの実験結果から,提案手法の有効性が示された。
• 参考スコア（独自算出の注目度）: 32.315975899771495
• License:
• Abstract: Deep learning-based code generation has completely transformed the way developers write programs today. Existing approaches to code generation have focused either on the Sequence-to-Sequence paradigm, which generates target code as a sequence of tokens, or the Sequence-to-Tree paradigm, which outputs code as a sequence of actions. While these two paradigms are intuitively complementary, their combination has not been previously explored. By comparing the code generated under these two paradigms, we find that integrating them holds significant potential. In this paper, we propose UniGenCoder for code-related generation tasks, which consists of a shared encoder, a shared decoder with a minimal set of additional parameters to unify two paradigms, and a selector that dynamically chooses optimal paradigm for each instance. Also, during the model training, we first perform the multi-task learning and distillation strategies to facilitate knowledge transfer between two paradigms, and then leverage contrastive learning to train the selector. Experimental results on the text-to-code and code-to-code generation tasks demonstrate the effectiveness of our proposed model. We release our code at https://github.com/DeepLearnXMU/UniGenCoder.
• Abstract（参考訳）: ディープラーニングベースのコード生成は、今日の開発者がプログラムを書く方法を完全に変えた。 既存のコード生成アプローチでは、トークンのシーケンスとしてターゲットコードを生成するSequence-to-Sequenceパラダイムや、アクションのシーケンスとしてコードを出力するSequence-to-Treeパラダイムが重視されている。 これらの2つのパラダイムは直感的に相補的であるが、それらの組み合わせは以前にも検討されていない。 これら2つのパラダイムで生成されたコードを比較することで、それらの統合が大きな可能性を秘めていることがわかる。 本稿では,コード関連タスクのためのUniGenCoderを提案する。これは共有エンコーダと,2つのパラダイムを統一するための最小限の追加パラメータを持つ共有デコーダと,インスタンス毎に最適なパラダイムを動的に選択するセレクタから構成される。 また,モデル学習中に,まず2つのパラダイム間の知識伝達を容易にするマルチタスク学習・蒸留戦略を実行し,コントラスト学習を活用してセレクタを訓練する。 テキスト・ツー・コード生成タスクとコード・ツー・コード生成タスクの実験結果から,提案手法の有効性が示された。 コードをhttps://github.com/DeepLearnXMU/UniGenCoder.comでリリースします。

関連論文リスト

• Soft-Labeled Contrastive Pre-training for Function-level Code Representation [127.71430696347174]
  textbfSoft-labeled contrastive pre-training framework with two positive sample construction method。 大規模コードコーパスにおけるコード間の関連性を考慮すると、ソフトラベル付きコントラスト付き事前学習は、きめ細かいソフトラベルを得ることができる。 SCodeRは、7つのデータセットで4つのコード関連タスクに対して、最先端のパフォーマンスを新たに達成する。
  論文  参考訳（メタデータ） (2022-10-18T05:17:37Z)
• GypSum: Learning Hybrid Representations for Code Summarization [21.701127410434914]
  GypSumは、グラフアテンションニューラルネットワークと事前学習されたプログラミングと自然言語モデルを使用してハイブリッド表現を学習する、新しいディープラーニングモデルである。 本稿では,トランスフォーマーデコーダのエンコーダ-デコーダサブレイヤを変更して表現を融合させ,要約生成を容易にするデュアルコピー機構を提案する。
  論文  参考訳（メタデータ） (2022-04-26T07:44:49Z)
• InCoder: A Generative Model for Code Infilling and Synthesis [88.46061996766348]
  InCoderは、プログラム合成(左から右への生成)と編集(埋め込み)が可能な統合生成モデルである。 InCoderは、許可されたコードの大きなコーパスからコードファイルを生成するように訓練されている。 私たちのモデルは、ゼロショットコードの埋め込みを直接実行できる最初の生成モデルです。
  論文  参考訳（メタデータ） (2022-04-12T16:25:26Z)
• Enhancing Semantic Code Search with Multimodal Contrastive Learning and Soft Data Augmentation [50.14232079160476]
  コード検索のためのマルチモーダルコントラスト学習とソフトデータ拡張を用いた新しい手法を提案する。 我々は,6つのプログラミング言語を用いた大規模データセットにおけるアプローチの有効性を評価するために,広範囲な実験を行った。
  論文  参考訳（メタデータ） (2022-04-07T08:49:27Z)
• UniXcoder: Unified Cross-Modal Pre-training for Code Representation [65.6846553962117]
  プログラミング言語のためのクロスモーダル事前学習モデルUniXcoderを提案する。 木の構造情報を全て保持するシーケンス構造でASTを変換する1対1のマッピング手法を提案する。 我々は,UniXcoderを9つのデータセット上で5つのコード関連タスクで評価する。
  論文  参考訳（メタデータ） (2022-03-08T04:48:07Z)
• CodeRetriever: Unimodal and Bimodal Contrastive Learning [128.06072658302165]
  関数レベルのコードセマンティック表現を訓練するために,一様および二様のコントラスト学習を組み合わせたCodeRetrieverモデルを提案する。 ノンモーダルなコントラスト学習のために、文書と関数名に基づいてポジティブなコードペアを構築するためのセマンティックガイド付き手法を設計する。 バイモーダルなコントラスト学習では、コードのドキュメンテーションとインラインコメントを活用して、テキストコードペアを構築します。
  論文  参考訳（メタデータ） (2022-01-26T10:54:30Z)
• CLSEBERT: Contrastive Learning for Syntax Enhanced Code Pre-Trained Model [23.947178895479464]
  CLSEBERTは,構文強化符号事前学習モデルのための構築学習フレームワークである。 事前学習段階では、抽象構文木(AST)に含まれるコード構文と階層について検討する。 ひとつは抽象構文木内のノード間のエッジを予測することであり、もう一つはコードトークンの型を予測することである。
  論文  参考訳（メタデータ） (2021-08-10T10:08:21Z)
• Improving Tree-Structured Decoder Training for Code Generation via Mutual Learning [27.080718377956693]
  コード生成は、入力された自然言語の発話に与えられたコードを自動的に生成することを目的としている。 まず、異なるデコードを持つニューラルコード生成モデル間のコンテキストモデリングの違いを網羅的に分析する。 本稿では,これらのモデルを協調的に学習するための相互学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-05-31T08:44:13Z)
• GraphCodeBERT: Pre-training Code Representations with Data Flow [97.00641522327699]
  本稿では,コード固有の構造を考慮したプログラミング言語の事前学習モデルであるGraphCodeBERTを提案する。 これは変数間の"where-the-value-comes-from"の関係をエンコードするコードのセマンティックレベルの構造です。 コード検索,クローン検出,コード翻訳,コード改良の4つのタスクにおいて,本モデルを評価する。
  論文  参考訳（メタデータ） (2020-09-17T15:25:56Z)
• Leveraging Code Generation to Improve Code Retrieval and Summarization via Dual Learning [18.354352985591305]
  コード要約は、ソースコードスニペットが与えられた短い自然言語記述を生成し、コード検索は、自然言語クエリが与えられた関連するソースコードを取得する。 最近の研究は、これらの2つのタスクを組み合わせてパフォーマンスを改善している。 本稿では,新たなコード生成タスクを導入することによって,2つのタスクのエンド・ツー・エンド・モデルを提案する。
  論文  参考訳（メタデータ） (2020-02-24T12:26:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。