論文の概要: Contrastive Code Representation Learning

• arxiv url: http://arxiv.org/abs/2007.04973v4
• Date: Thu, 6 Jan 2022 19:18:09 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-12 03:13:20.300618
• Title: Contrastive Code Representation Learning
• Title（参考訳）: 対照的なコード表現学習
• Authors: Paras Jain, Ajay Jain, Tianjun Zhang, Pieter Abbeel, Joseph E. Gonzalez, Ion Stoica
• Abstract要約: 一般的な再構成に基づくBERTモデルは,ソースコードの編集に敏感であることを示す。 コントラコード(ContraCode)は、コード機能を学ぶのにフォームではなく、コントラスト的な事前学習タスクである。
• 参考スコア（独自算出の注目度）: 95.86686147053958
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Recent work learns contextual representations of source code by reconstructing tokens from their context. For downstream semantic understanding tasks like summarizing code in English, these representations should ideally capture program functionality. However, we show that the popular reconstruction-based BERT model is sensitive to source code edits, even when the edits preserve semantics. We propose ContraCode: a contrastive pre-training task that learns code functionality, not form. ContraCode pre-trains a neural network to identify functionally similar variants of a program among many non-equivalent distractors. We scalably generate these variants using an automated source-to-source compiler as a form of data augmentation. Contrastive pre-training improves JavaScript summarization and TypeScript type inference accuracy by 2% to 13%. We also propose a new zero-shot JavaScript code clone detection dataset, showing that ContraCode is both more robust and semantically meaningful. On it, we outperform RoBERTa by 39% AUROC in an adversarial setting and up to 5% on natural code.
• Abstract（参考訳）: 最近の研究は、そのコンテキストからトークンを再構築することで、ソースコードの文脈表現を学習する。 英語でコードを要約するような下流のセマンティック理解タスクでは、これらの表現は理想的にプログラム機能をキャプチャするべきである。 しかし、一般的な再構成に基づくBERTモデルは、編集が意味を保存する場合でもソースコードの編集に敏感であることを示す。 フォームではなく、コード機能を学ぶコントラコード(contracode)を提案する。 contracodeはニューラルネットワークを事前学習し、多くの非等価な邪魔者の間で、プログラムの機能的に類似した変種を識別する。 データ拡張の一形態として、自動ソース・ソース・コンパイラを使って、これらの変種を辛抱強く生成する。 対照的な事前トレーニングは、javascriptの要約とtypescriptの型推論精度を2%から13%向上させる。 また、新しいゼロショットJavaScriptコードクローン検出データセットを提案し、ContraCodeがより堅牢で意味のあるものであることを示す。 その上で,敵意設定では39%のaurocと,自然コードでは最大5%のrobertaを上回っています。

関連論文リスト

• ESALE: Enhancing Code-Summary Alignment Learning for Source Code Summarization [21.886950861445122]
  コード要約は、与えられたコードスニペットに対して簡潔な自然言語要約を自動的に生成することを目的としている。 本稿では,要約に焦点をあてたタスクに基づいて,コード要約を改善する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-07-01T03:06:51Z)
• CONCORD: Clone-aware Contrastive Learning for Source Code [64.51161487524436]
  セルフ教師付き事前トレーニングは、多くのダウンストリームSEタスクに価値のあるジェネリックコード表現を学ぶための牽引役になった。 汎用的な表現学習のために、開発者が日々どのようにコードをコーディングするかは、要因としても不可欠である、と私たちは主張する。 特に,表現空間に良性クローンを近づける自己教師型コントラスト学習戦略であるCONCORDを提案する。
  論文  参考訳（メタデータ） (2023-06-05T20:39:08Z)
• Soft-Labeled Contrastive Pre-training for Function-level Code Representation [127.71430696347174]
  textbfSoft-labeled contrastive pre-training framework with two positive sample construction method。 大規模コードコーパスにおけるコード間の関連性を考慮すると、ソフトラベル付きコントラスト付き事前学習は、きめ細かいソフトラベルを得ることができる。 SCodeRは、7つのデータセットで4つのコード関連タスクに対して、最先端のパフォーマンスを新たに達成する。
  論文  参考訳（メタデータ） (2022-10-18T05:17:37Z)
• Enhancing Semantic Code Search with Multimodal Contrastive Learning and Soft Data Augmentation [50.14232079160476]
  コード検索のためのマルチモーダルコントラスト学習とソフトデータ拡張を用いた新しい手法を提案する。 我々は,6つのプログラミング言語を用いた大規模データセットにおけるアプローチの有効性を評価するために,広範囲な実験を行った。
  論文  参考訳（メタデータ） (2022-04-07T08:49:27Z)
• ReACC: A Retrieval-Augmented Code Completion Framework [53.49707123661763]
  本稿では,語彙のコピーと類似したセマンティクスを持つコード参照の両方を検索により活用する検索拡張コード補完フレームワークを提案する。 我々は,Python および Java プログラミング言語のコード補完タスクにおけるアプローチを評価し,CodeXGLUE ベンチマークで最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2022-03-15T08:25:08Z)
• CodeRetriever: Unimodal and Bimodal Contrastive Learning [128.06072658302165]
  関数レベルのコードセマンティック表現を訓練するために,一様および二様のコントラスト学習を組み合わせたCodeRetrieverモデルを提案する。 ノンモーダルなコントラスト学習のために、文書と関数名に基づいてポジティブなコードペアを構築するためのセマンティックガイド付き手法を設計する。 バイモーダルなコントラスト学習では、コードのドキュメンテーションとインラインコメントを活用して、テキストコードペアを構築します。
  論文  参考訳（メタデータ） (2022-01-26T10:54:30Z)
• CLSEBERT: Contrastive Learning for Syntax Enhanced Code Pre-Trained Model [23.947178895479464]
  CLSEBERTは,構文強化符号事前学習モデルのための構築学習フレームワークである。 事前学習段階では、抽象構文木(AST)に含まれるコード構文と階層について検討する。 ひとつは抽象構文木内のノード間のエッジを予測することであり、もう一つはコードトークンの型を予測することである。
  論文  参考訳（メタデータ） (2021-08-10T10:08:21Z)
• CoreGen: Contextualized Code Representation Learning for Commit Message Generation [39.383390029545865]
  コミットメッセージ生成(CoreGen)のためのコンテキスト適応型コード表現学習戦略を提案する。 ベンチマークデータセットの実験では、BLEU-4スコアの少なくとも28.18%の改善により、ベースラインモデルよりもモデルの有効性が向上した。
  論文  参考訳（メタデータ） (2020-07-14T09:43:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。