論文の概要: Transformer with Tree-order Encoding for Neural Program Generation

• arxiv url: http://arxiv.org/abs/2206.13354v1
• Date: Mon, 30 May 2022 12:27:48 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-04 01:45:01.724073
• Title: Transformer with Tree-order Encoding for Neural Program Generation
• Title（参考訳）: 木次エンコーディングを用いたニューラルプログラム生成用トランス
• Authors: Klaudia-Doris Thellmann, Bernhard Stadler, Ricardo Usbeck, Jens Lehmann
• Abstract要約: 木に基づく位置エンコーディングと、トランスフォーマーのための自然言語サブワード語彙の共有を導入する。 その結果,木に基づく位置符号化と自然言語サブワード語彙の共有を併用することで,逐次的位置符号化よりも生成性能が向上することが示唆された。
• 参考スコア（独自算出の注目度）: 8.173517923612426
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While a considerable amount of semantic parsing approaches have employed RNN architectures for code generation tasks, there have been only few attempts to investigate the applicability of Transformers for this task. Including hierarchical information of the underlying programming language syntax has proven to be effective for code generation. Since the positional encoding of the Transformer can only represent positions in a flat sequence, we have extended the encoding scheme to allow the attention mechanism to also attend over hierarchical positions in the input. Furthermore, we have realized a decoder based on a restrictive grammar graph model to improve the generation accuracy and ensure the well-formedness of the generated code. While we did not surpass the state of the art, our findings suggest that employing a tree-based positional encoding in combination with a shared natural-language subword vocabulary improves generation performance over sequential positional encodings.
• Abstract（参考訳）: コード生成タスクにrnnアーキテクチャを多用する意味解析手法は数多く存在するが、このタスクにトランスフォーマーの適用性を調べる試みはごくわずかである。 基礎となるプログラミング言語構文の階層的情報を含むことは、コード生成に有効であることが証明されている。 トランスの位置符号化は平坦な列の位置のみを表現できるため,注意機構が入力の階層的な位置にも参加できるように符号化方式を拡張した。 さらに,制約付き文法グラフモデルに基づくデコーダを実現し,生成精度を改善し,生成コードの定型性を保証する。 現状を上回らなかったが,木ベースの位置符号化と自然言語サブワード語彙の共有を組み合わせることで,逐次的な位置符号化よりも生成性能が向上することが示唆された。

関連論文リスト

• Theoretical Analysis of Hierarchical Language Recognition and Generation by Transformers without Positional Encoding [32.01426831450348]
  因果マスキングと開始トークンによってトランスフォーマーは階層構造内の位置情報と深さを計算することができることを示す。 位置エンコーディングのないトランスフォーマーは階層型言語を生成することができることを示す。
  論文  参考訳（メタデータ） (2024-10-16T09:56:01Z)
• Improving Transformers using Faithful Positional Encoding [55.30212768657544]
  本稿では,Transformerと呼ばれるニューラルネットワークアーキテクチャのための新しい位置符号化手法を提案する。 標準的な正弦波位置符号化とは違って,本手法では入力シーケンスの位置次数に関する情報が失われないようにしている。
  論文  参考訳（メタデータ） (2024-05-15T03:17:30Z)
• Decoder-Only or Encoder-Decoder? Interpreting Language Model as a Regularized Encoder-Decoder [75.03283861464365]
  seq2seqタスクは、与えられた入力ソースシーケンスに基づいてターゲットシーケンスを生成することを目的としている。 伝統的に、seq2seqタスクのほとんどはエンコーダによって解決され、ソースシーケンスとデコーダをエンコードしてターゲットテキストを生成する。 最近、デコーダのみの言語モデルをseq2seqタスクに直接適用する、多くの新しいアプローチが出現しました。
  論文  参考訳（メタデータ） (2023-04-08T15:44:29Z)
• Planning with Large Language Models for Code Generation [100.07232672883897]
  Planning-Guided Transformer Decoding (PG-TD) は、計画アルゴリズムを用いてルックアヘッド検索を行い、トランスフォーマーを誘導してより良いプログラムを生成する。 我々は、公開コーディングチャレンジベンチマークのバックボーンとして、いくつかの大きな言語モデルを用いて、我々のフレームワークを実証的に評価する。
  論文  参考訳（メタデータ） (2023-03-09T18:59:47Z)
• Towards More Efficient Insertion Transformer with Fractional Positional Encoding [44.45401243989363]
  自動回帰ニューラルシーケンスモデルは、テキスト生成タスクで有効であることが示されている。 左から右への復号命令は、生成が並列化されるのを防ぐ。 Insertion Transformerは、単一の生成ステップで複数のトークンを出力できる魅力的な代替手段である。
  論文  参考訳（メタデータ） (2021-12-12T18:38:27Z)
• Less is More: Pre-training a Strong Siamese Encoder Using a Weak Decoder [75.84152924972462]
  多くの実世界のアプリケーションはSiameseネットワークを使用して、テキストシーケンスを大規模に効率的にマッチングします。 本稿では,シームズアーキテクチャにおけるシーケンスマッチング専用の言語モデルを事前学習する。
  論文  参考訳（メタデータ） (2021-02-18T08:08:17Z)
• On Efficient Training, Controllability and Compositional Generalization of Insertion-based Language Generators [18.98725770517241]
  InsNetは挿入ベースのシーケンスモデルで、トランスフォーマーデコーダと同じくらい効率的にトレーニングできる。 InsNetのストーリー生成とCleVR-CoGENTキャプションの評価を行った。
  論文  参考訳（メタデータ） (2021-02-12T11:05:02Z)
• Cross-Thought for Sentence Encoder Pre-training [89.32270059777025]
  Cross-Thoughtは、事前トレーニングシーケンスエンコーダに対する新しいアプローチである。 我々は、Transformerベースのシーケンスエンコーダを、多数の短いシーケンスに対してトレーニングする。 質問応答とテキストのエンコーダタスクの実験は、事前学習したエンコーダが最先端のエンコーダより優れていることを示す。
  論文  参考訳（メタデータ） (2020-10-07T21:02:41Z)
• Bi-Decoder Augmented Network for Neural Machine Translation [108.3931242633331]
  本稿では,ニューラルマシン翻訳タスクのためのBi-Decoder Augmented Network (BiDAN)を提案する。 各デコーダは入力されたテキストの表現を対応する言語に変換するため、2つの目的語と共同でトレーニングすることで、共有エンコーダは言語に依存しない意味空間を生成することができる。
  論文  参考訳（メタデータ） (2020-01-14T02:05:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。