論文の概要: Adversarial Training for Code Retrieval with Question-Description Relevance Regularization

• arxiv url: http://arxiv.org/abs/2010.09803v2
• Date: Tue, 10 Nov 2020 05:49:02 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-05 20:36:26.658411
• Title: Adversarial Training for Code Retrieval with Question-Description Relevance Regularization
• Title（参考訳）: 質問記述関連規則化によるコード検索の敵意学習
• Authors: Jie Zhao, Huan Sun
• Abstract要約: 入力問題から難しいコードスニペットを生成するために,簡単な逆学習手法を適用した。 本稿では,逆学習の規則化に質問記述の関連性を活用することを提案する。 我々の対角学習法は,最先端モデルの性能を向上させることができる。
• 参考スコア（独自算出の注目度）: 34.29822107097347
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Code retrieval is a key task aiming to match natural and programming languages. In this work, we propose adversarial learning for code retrieval, that is regularized by question-description relevance. First, we adapt a simple adversarial learning technique to generate difficult code snippets given the input question, which can help the learning of code retrieval that faces bi-modal and data-scarce challenges. Second, we propose to leverage question-description relevance to regularize adversarial learning, such that a generated code snippet should contribute more to the code retrieval training loss, only if its paired natural language description is predicted to be less relevant to the user given question. Experiments on large-scale code retrieval datasets of two programming languages show that our adversarial learning method is able to improve the performance of state-of-the-art models. Moreover, using an additional duplicate question prediction model to regularize adversarial learning further improves the performance, and this is more effective than using the duplicated questions in strong multi-task learning baselines
• Abstract（参考訳）: コード検索は自然言語とプログラミング言語のマッチングを目的とした重要なタスクである。 本研究では,質問記述関連性によって正規化されるコード検索のための逆学習を提案する。 まず,入力質問から難解なコードスニペットを生成するために,単純な逆学習手法を適用することで,バイモーダル・データ・スカルス課題に直面するコード検索の学習を支援する。 第2に,生成したコードスニペットがコード検索トレーニングの損失により多くの貢献をするべきであるが,そのペアリングされた自然言語記述がユーザの質問にはあまり関係がないと予測された場合に限り,質問記述との関連性を活用することを提案する。 2つのプログラミング言語の大規模コード検索データセットに関する実験により,本手法は最先端モデルの性能を向上させることができることが示された。 さらに、対向学習を規則化する追加の重複質問予測モデルを用いることで、パフォーマンスがさらに向上し、強力なマルチタスク学習ベースラインで重複質問を使用するよりも効果的である。

関連論文リスト

• Large Language Model Augmented Exercise Retrieval for Personalized Language Learning [2.946562343070891]
  ベクトル類似性アプローチは,学習者が学習したいことを表現するために使用するエクササイズコンテンツと言語との関係を,不十分に捉えていることがわかった。 我々は,学習者の入力に基づいて仮説的演習を合成することにより,大きな言語モデルの生成能力を活用してギャップを埋める。 我々はmHyERと呼ぶアプローチを,(1)学習における関連ラベルの欠如,(2)制限なし学習者の入力内容,(3)入力候補と検索候補とのセマンティックな類似性の低さという3つの課題を克服する。
  論文  参考訳（メタデータ） (2024-02-08T20:35:31Z)
• A Syntax-Guided Multi-Task Learning Approach for Turducken-Style Code Generation [19.489202790935902]
  本稿では,構文誘導型マルチタスク学習手法TurduckenGenを提案する。 具体的には、まず最初に型情報をコードトークンに明示的に付加し、構文制約の表現をキャプチャします。 次に,構文制約表現を用いたコード生成を補助タスクとして形式化し,モデルの構文制約学習を可能にする。
  論文  参考訳（メタデータ） (2023-03-09T06:22:07Z)
• Exploring Representation-Level Augmentation for Code Search [50.94201167562845]
  我々は、データ処理やトレーニングを必要としない表現レベルでデータ(コードとクエリの両方)を増強する拡張手法について検討する。 大規模公開データセット上で,最先端のコード検索モデルを用いた表現レベル向上手法を実験的に評価した。
  論文  参考訳（メタデータ） (2022-10-21T22:47:37Z)
• Soft-Labeled Contrastive Pre-training for Function-level Code Representation [127.71430696347174]
  textbfSoft-labeled contrastive pre-training framework with two positive sample construction method。 大規模コードコーパスにおけるコード間の関連性を考慮すると、ソフトラベル付きコントラスト付き事前学習は、きめ細かいソフトラベルを得ることができる。 SCodeRは、7つのデータセットで4つのコード関連タスクに対して、最先端のパフォーマンスを新たに達成する。
  論文  参考訳（メタデータ） (2022-10-18T05:17:37Z)
• Enhancing Semantic Code Search with Multimodal Contrastive Learning and Soft Data Augmentation [50.14232079160476]
  コード検索のためのマルチモーダルコントラスト学習とソフトデータ拡張を用いた新しい手法を提案する。 我々は,6つのプログラミング言語を用いた大規模データセットにおけるアプローチの有効性を評価するために,広範囲な実験を行った。
  論文  参考訳（メタデータ） (2022-04-07T08:49:27Z)
• Discovering Non-monotonic Autoregressive Orderings with Variational Inference [67.27561153666211]
  我々は、訓練データから高品質な生成順序を純粋に検出する、教師なし並列化可能な学習装置を開発した。 エンコーダを非因果的注意を持つトランスフォーマーとして実装し、1つのフォワードパスで置換を出力する。 言語モデリングタスクにおける経験的結果から,我々の手法は文脈認識であり,一定の順序と競合する,あるいはより優れた順序を見つけることができる。
  論文  参考訳（メタデータ） (2021-10-27T16:08:09Z)
• Retrieve, Program, Repeat: Complex Knowledge Base Question Answering via Alternate Meta-learning [56.771557756836906]
  本稿では,弱い監督からプログラマと交互に検索モデルを自動的に学習する手法を提案する。 本システムでは,知識ベースに対する複雑な質問応答を行う大規模タスクにおいて,最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2020-10-29T18:28:16Z)
• Self-Supervised Contrastive Learning for Code Retrieval and Summarization via Semantic-Preserving Transformations [28.61567319928316]
  Corderは、ソースコードモデルのための自己教師付きコントラスト学習フレームワークである。 重要なイノベーションは、ソースコードモデルをトレーニングし、類似した、異種のコードスニペットを認識するように要求することです。 Corderで事前訓練されたコードモデルは、コード・ツー・コード検索、テキスト・ツー・コード検索、およびコード・ツー・テキスト要約タスクにおいて、他のベースラインを大幅に上回っていることを示す。
  論文  参考訳（メタデータ） (2020-09-06T13:31:16Z)
• A Transformer-based Approach for Source Code Summarization [86.08359401867577]
  コードトークン間のペア関係をモデル化することにより,要約のためのコード表現を学習する。 アプローチは単純であるにもかかわらず、最先端技術よりもかなりの差があることが示される。
  論文  参考訳（メタデータ） (2020-05-01T23:29:36Z)
• Leveraging Code Generation to Improve Code Retrieval and Summarization via Dual Learning [18.354352985591305]
  コード要約は、ソースコードスニペットが与えられた短い自然言語記述を生成し、コード検索は、自然言語クエリが与えられた関連するソースコードを取得する。 最近の研究は、これらの2つのタスクを組み合わせてパフォーマンスを改善している。 本稿では,新たなコード生成タスクを導入することによって,2つのタスクのエンド・ツー・エンド・モデルを提案する。
  論文  参考訳（メタデータ） (2020-02-24T12:26:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。