Fugu-MT 論文翻訳(概要): Natural Language to Code Using Transformers

論文の概要: Natural Language to Code Using Transformers

arxiv url: http://arxiv.org/abs/2202.00367v1
Date: Tue, 1 Feb 2022 12:17:52 GMT
ステータス: 処理完了
システム内更新日: 2022-02-02 13:32:05.852043
Title: Natural Language to Code Using Transformers
Title（参考訳）: トランスフォーマーを用いた自然言語からコードへの変換
Authors: Uday Kusupati and Venkata Ravi Teja Ailavarapu
Abstract要約: 我々は、CoNaLaデータセットを用いて自然言語記述からコードスニペットを生成する問題に取り組む。自己アテンションに基づくトランスフォーマーアーキテクチャを用いて、繰り返しアテンションベースのエンコーダデコーダよりも優れた性能を示す。
参考スコア（独自算出の注目度）: 2.0305676256390934
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We tackle the problem of generating code snippets from natural language descriptions using the CoNaLa dataset. We use the self-attention based transformer architecture and show that it performs better than recurrent attention-based encoder decoder. Furthermore, we develop a modified form of back translation and use cycle consistent losses to train the model in an end-to-end fashion. We achieve a BLEU score of 16.99 beating the previously reported baseline of the CoNaLa challenge.
Abstract（参考訳）: 我々は、CoNaLaデータセットを用いて自然言語記述からコードスニペットを生成する問題に取り組む。自己アテンションに基づくトランスフォーマアーキテクチャを用いて,リカレント注意型エンコーダデコーダよりも優れた性能を示す。さらに,バックエンド翻訳の修正形式を開発し,モデルのエンドツーエンドなトレーニングに一貫したサイクルの損失を使用する。 BLEUスコアは16.99で、これまでに報告されたCoNaLaチャレンジのベースラインを上回ります。

関連論文リスト

Calibration & Reconstruction: Deep Integrated Language for Referring Image Segmentation [8.225408779913712]
画像セグメンテーションの参照は、画像から自然言語表現によって参照されるオブジェクトをセグメンテーションすることを目的としている。従来のトランスフォーマーデコーダは、より深い層で言語情報を歪め、最適な結果をもたらす。本稿では,変換器デコーダのマルチモーダル機能を反復的に校正するモデルであるCRFormerを紹介する。
論文参考訳（メタデータ） (2024-04-12T07:13:32Z)
Decoder-Only or Encoder-Decoder? Interpreting Language Model as a Regularized Encoder-Decoder [75.03283861464365]
seq2seqタスクは、与えられた入力ソースシーケンスに基づいてターゲットシーケンスを生成することを目的としている。伝統的に、seq2seqタスクのほとんどはエンコーダによって解決され、ソースシーケンスとデコーダをエンコードしてターゲットテキストを生成する。最近、デコーダのみの言語モデルをseq2seqタスクに直接適用する、多くの新しいアプローチが出現しました。
論文参考訳（メタデータ） (2023-04-08T15:44:29Z)
Inflected Forms Are Redundant in Question Generation Models [27.49894653349779]
本稿では,エンコーダ・デコーダ・フレームワークを用いた質問生成の性能向上手法を提案する。まず,エンコーダの入力から入力された単語を識別し,根語に置き換える。次に,エンコード・デコーダ・フレームワークにおける以下の動作の組合せとしてQGを適用することを提案する。質問語の生成,ソースシーケンスからの単語のコピー,単語変換型の生成である。
論文参考訳（メタデータ） (2023-01-01T13:08:11Z)
Transformer with Tree-order Encoding for Neural Program Generation [8.173517923612426]
木に基づく位置エンコーディングと、トランスフォーマーのための自然言語サブワード語彙の共有を導入する。その結果,木に基づく位置符号化と自然言語サブワード語彙の共有を併用することで,逐次的位置符号化よりも生成性能が向上することが示唆された。
論文参考訳（メタデータ） (2022-05-30T12:27:48Z)
Improving Code-switching Language Modeling with Artificially Generated Texts using Cycle-consistent Adversarial Networks [41.88097793717185]
コードスイッチング学習用テキストデータを人工的に生成する手法について検討する。本稿では,単言語テキストをコードスイッチングテキストに転送するための,サイクル一貫性のある敵対的ネットワークベースのフレームワークを提案する。
論文参考訳（メタデータ） (2021-12-12T21:27:32Z)
Sentence Bottleneck Autoencoders from Transformer Language Models [53.350633961266375]
我々は、事前訓練されたフリーズトランスフォーマー言語モデルから文レベルのオートエンコーダを構築する。我々は、文ボトルネックと1層修飾トランスフォーマーデコーダのみを訓練しながら、マスク付き言語モデリングの目的を生成的・認知的言語として適応する。本研究では,テキスト類似性タスク,スタイル転送,単一文分類タスクにおける事前学習されたトランスフォーマーからの表現をGLUEベンチマークで抽出する手法よりも,大規模な事前学習モデルよりも少ないパラメータを用いて,より高品質な文表現を実現することを示す。
論文参考訳（メタデータ） (2021-08-31T19:39:55Z)
Regularizing Transformers With Deep Probabilistic Layers [62.997667081978825]
本研究では,BERT に深層生成モデルを含めることで,より汎用的なモデルを実現する方法を示す。トランスフォーマーだけでなく、最も関連性の高いエンコーダデコーダベースのLM, seq2seqでも、注意なく有効であることを示す。
論文参考訳（メタデータ） (2021-08-23T10:17:02Z)
DeltaLM: Encoder-Decoder Pre-training for Language Generation and Translation by Augmenting Pretrained Multilingual Encoders [92.90543340071007]
本稿では,事前訓練された多言語エンコーダデコーダモデルDeltaLMを紹介する。具体的には,事前学習した多言語エンコーダをデコーダで拡張し,自己指導型で事前学習する。実験により、DeltaLMは自然言語生成と翻訳の両方のタスクにおいて、様々な強力なベースラインを上回ります。
論文参考訳（メタデータ） (2021-06-25T16:12:10Z)
Text Compression-aided Transformer Encoding [77.16960983003271]
本稿では,トランスフォーマーのエンコーディングを強化するために,明示的で暗黙的なテキスト圧縮手法を提案する。バックボーン情報、つまり入力テキストのgistは、特に焦点を当てていません。評価の結果,提案した明示的かつ暗黙的なテキスト圧縮手法は,強いベースラインと比較して結果を改善することがわかった。
論文参考訳（メタデータ） (2021-02-11T11:28:39Z)
Transition based Graph Decoder for Neural Machine Translation [41.7284715234202]
本稿では,木とグラフのデコーディングをトランジションのシーケンス生成に基づいて一般化したトランスフォーマーベースのアプローチを提案する。標準のTransformerデコーダよりも性能が向上し,モデルの短縮バージョンも向上した。
論文参考訳（メタデータ） (2021-01-29T15:20:45Z)
Cross-Thought for Sentence Encoder Pre-training [89.32270059777025]
Cross-Thoughtは、事前トレーニングシーケンスエンコーダに対する新しいアプローチである。我々は、Transformerベースのシーケンスエンコーダを、多数の短いシーケンスに対してトレーニングする。質問応答とテキストのエンコーダタスクの実験は、事前学習したエンコーダが最先端のエンコーダより優れていることを示す。
論文参考訳（メタデータ） (2020-10-07T21:02:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。