論文の概要: Transition based Graph Decoder for Neural Machine Translation

• arxiv url: http://arxiv.org/abs/2101.12640v1
• Date: Fri, 29 Jan 2021 15:20:45 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-01 15:34:19.501164
• Title: Transition based Graph Decoder for Neural Machine Translation
• Title（参考訳）: ニューラルネットワーク翻訳のための遷移型グラフデコーダ
• Authors: Leshem Choshen, Omri Abend
• Abstract要約: 本稿では,木とグラフのデコーディングをトランジションのシーケンス生成に基づいて一般化したトランスフォーマーベースのアプローチを提案する。 標準のTransformerデコーダよりも性能が向上し,モデルの短縮バージョンも向上した。
• 参考スコア（独自算出の注目度）: 41.7284715234202
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While a number of works showed gains from incorporating source-side symbolic syntactic and semantic structure into neural machine translation (NMT), much fewer works addressed the decoding of such structure. We propose a general Transformer-based approach for tree and graph decoding based on generating a sequence of transitions, inspired by a similar approach that uses RNNs by Dyer (2016). Experiments with using the proposed decoder with Universal Dependencies syntax on English-German, German-English and English-Russian show improved performance over the standard Transformer decoder, as well as over ablated versions of the model.\tacltxt{\footnote{All code implementing the presented models will be released upon acceptance.
• Abstract（参考訳）: ソース側のシンボリックシンタクティック構造とセマンティック構造をニューラルネットワーク翻訳(NMT)に組み込むことで多くの成果が得られたが、そのような構造の復号化に対処した作品はほとんどなかった。 そこで我々は,Dyer (2016) による RNN を用いた同様の手法に着想を得た,木およびグラフのデコーディングのための汎用的なトランスフォーマーベースアプローチを提案する。 提案する英語・ドイツ語・ドイツ語・英語・ロシア語への普遍的依存構文を持つデコーダを用いた実験では、標準トランスフォーマーデコーダよりも性能が向上し、モデルのアブレーション版も改善されている。

関連論文リスト

• Neural Machine Translation with Dynamic Graph Convolutional Decoder [32.462919670070654]
  本稿では,グラフとシーケンス)構造入力から(グラフとシーケンス)出力への変換アーキテクチャを提案する。 我々は5つの広く知られている翻訳ベンチマークで広範な実験を行い、提案手法がベースラインや他の構文認識の変種よりも一貫した改善を実現することを検証した。
  論文  参考訳（メタデータ） (2023-05-28T11:58:07Z)
• Transforming Visual Scene Graphs to Image Captions [69.13204024990672]
  我々は、Scene Graphs (TSG) をより説明的なキャプションに変換することを提案する。 TSGでは、シーングラフの埋め込みのためのグラフニューラルネットワーク(GNN)の設計にマルチヘッドアテンション(MHA)を適用している。 TSGでは、各専門家はMHAに基づいてグラフ埋め込みを識別し、異なる種類の単語を生成する。
  論文  参考訳（メタデータ） (2023-05-03T15:18:37Z)
• Is Encoder-Decoder Redundant for Neural Machine Translation? [44.37101354412253]
  encoder-decoderアーキテクチャは現在でも、最先端モデルのデファクトニューラルネットワークアーキテクチャである。 本研究は,バイリンガル翻訳,ターゲット単言語データを用いた翻訳,多言語翻訳の実験である。 この代替アプローチは、ベースラインエンコーダ-デコーダ変換器と同等に動作し、エンコーダ-デコーダアーキテクチャがニューラルマシン翻訳に冗長である可能性を示唆している。
  論文  参考訳（メタデータ） (2022-10-21T08:33:55Z)
• Transformer with Tree-order Encoding for Neural Program Generation [8.173517923612426]
  木に基づく位置エンコーディングと、トランスフォーマーのための自然言語サブワード語彙の共有を導入する。 その結果,木に基づく位置符号化と自然言語サブワード語彙の共有を併用することで,逐次的位置符号化よりも生成性能が向上することが示唆された。
  論文  参考訳（メタデータ） (2022-05-30T12:27:48Z)
• Sentence Bottleneck Autoencoders from Transformer Language Models [53.350633961266375]
  我々は、事前訓練されたフリーズトランスフォーマー言語モデルから文レベルのオートエンコーダを構築する。 我々は、文ボトルネックと1層修飾トランスフォーマーデコーダのみを訓練しながら、マスク付き言語モデリングの目的を生成的・認知的言語として適応する。 本研究では,テキスト類似性タスク,スタイル転送,単一文分類タスクにおける事前学習されたトランスフォーマーからの表現をGLUEベンチマークで抽出する手法よりも,大規模な事前学習モデルよりも少ないパラメータを用いて,より高品質な文表現を実現することを示す。
  論文  参考訳（メタデータ） (2021-08-31T19:39:55Z)
• Swin-Unet: Unet-like Pure Transformer for Medical Image Segmentation [63.46694853953092]
  Swin-Unetは、医用画像セグメンテーション用のUnetライクなトランスフォーマーである。 トークン化されたイメージパッチは、TransformerベースのU字型デコーダデコーダアーキテクチャに供給される。
  論文  参考訳（メタデータ） (2021-05-12T09:30:26Z)
• Context- and Sequence-Aware Convolutional Recurrent Encoder for Neural Machine Translation [2.729898906885749]
  既存のモデルは、エンコーダとデコーダモジュールを構築するためにリカレントニューラルネットワークを使用する。 代替研究では、入力文の構文構造をキャプチャするために畳み込みニューラルネットワークによって繰り返しネットワークが置き換えられた。 コンテクスト情報を取得するための畳み込み再帰エンコーダを提案することにより,両手法の利点を取り入れた。
  論文  参考訳（メタデータ） (2021-01-11T17:03:52Z)
• GRET: Global Representation Enhanced Transformer [85.58930151690336]
  Transformerは、エンコーダ-デコーダフレームワークに基づいて、いくつかの自然言語生成タスクで最先端のパフォーマンスを達成した。 本稿では,トランスフォーマネットワークにおけるグローバル表現を明示的にモデル化するための,新しいグローバル表現拡張トランスフォーマ(GRET)を提案する。
  論文  参考訳（メタデータ） (2020-02-24T07:37:17Z)
• Bi-Decoder Augmented Network for Neural Machine Translation [108.3931242633331]
  本稿では,ニューラルマシン翻訳タスクのためのBi-Decoder Augmented Network (BiDAN)を提案する。 各デコーダは入力されたテキストの表現を対応する言語に変換するため、2つの目的語と共同でトレーニングすることで、共有エンコーダは言語に依存しない意味空間を生成することができる。
  論文  参考訳（メタデータ） (2020-01-14T02:05:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。