論文の概要: Neural Machine Translation with Dynamic Graph Convolutional Decoder

• arxiv url: http://arxiv.org/abs/2305.17698v1
• Date: Sun, 28 May 2023 11:58:07 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-30 17:17:40.245861
• Title: Neural Machine Translation with Dynamic Graph Convolutional Decoder
• Title（参考訳）: 動的グラフ畳み込みデコーダを用いたニューラルマシン翻訳
• Authors: Lei Li, Kai Fan, Lingyu Yang, Hongjia Li, Chun Yuan
• Abstract要約: 本稿では,グラフとシーケンス)構造入力から(グラフとシーケンス)出力への変換アーキテクチャを提案する。 我々は5つの広く知られている翻訳ベンチマークで広範な実験を行い、提案手法がベースラインや他の構文認識の変種よりも一貫した改善を実現することを検証した。
• 参考スコア（独自算出の注目度）: 32.462919670070654
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Existing wisdom demonstrates the significance of syntactic knowledge for the improvement of neural machine translation models. However, most previous works merely focus on leveraging the source syntax in the well-known encoder-decoder framework. In sharp contrast, this paper proposes an end-to-end translation architecture from the (graph \& sequence) structural inputs to the (graph \& sequence) outputs, where the target translation and its corresponding syntactic graph are jointly modeled and generated. We propose a customized Dynamic Spatial-Temporal Graph Convolutional Decoder (Dyn-STGCD), which is designed for consuming source feature representations and their syntactic graph, and auto-regressively generating the target syntactic graph and tokens simultaneously. We conduct extensive experiments on five widely acknowledged translation benchmarks, verifying that our proposal achieves consistent improvements over baselines and other syntax-aware variants.
• Abstract（参考訳）: 既存の知恵は、ニューラルマシン翻訳モデルを改善するための構文知識の重要性を示している。 しかし、以前のほとんどの作品は、よく知られたエンコーダ-デコーダフレームワークのソース構文を活用することにのみ焦点が当てられている。 対照的に,本研究では,対象翻訳と対応する構文グラフを共同でモデル化し,生成する(グラフ \&シーケンス)構造入力から(グラフ \&シーケンス)出力へのエンド・ツー・エンドの変換アーキテクチャを提案する。 本稿では,動的空間-時空間グラフ畳み込みデコーダ(dyn-stgcd)を提案し,ソース特徴表現とその構文グラフを自動生成し,対象の構文グラフとトークンを同時に生成する。 我々は5つの広く認知されている翻訳ベンチマークで広範な実験を行い、提案手法がベースラインや他の構文認識の変種よりも一貫した改善を達成できることを確認した。

関連論文リスト

• Patch-wise Graph Contrastive Learning for Image Translation [69.85040887753729]
  グラフニューラルネットワークを利用して、トポロジを意識した特徴をキャプチャする。 予め訓練されたエンコーダからパッチワイドな類似性に基づいてグラフを構築する。 階層的な意味構造を捉えるために,グラフプーリングを提案する。
  論文  参考訳（メタデータ） (2023-12-13T15:45:19Z)
• Syntax-Aware Complex-Valued Neural Machine Translation [14.772317918560548]
  本稿では,構文情報を複合値デコーダアーキテクチャに組み込む手法を提案する。 提案モデルは,単語レベルと構文レベルのアテンションスコアを,アテンション機構を用いて,ソース側からターゲット側へ共同で学習する。 実験により,提案手法は2つのデータセット上でのBLEUスコアを大幅に改善できることを示した。
  論文  参考訳（メタデータ） (2023-07-17T15:58:05Z)
• Transforming Visual Scene Graphs to Image Captions [69.13204024990672]
  我々は、Scene Graphs (TSG) をより説明的なキャプションに変換することを提案する。 TSGでは、シーングラフの埋め込みのためのグラフニューラルネットワーク(GNN)の設計にマルチヘッドアテンション(MHA)を適用している。 TSGでは、各専門家はMHAに基づいてグラフ埋め込みを識別し、異なる種類の単語を生成する。
  論文  参考訳（メタデータ） (2023-05-03T15:18:37Z)
• Decoder-Only or Encoder-Decoder? Interpreting Language Model as a Regularized Encoder-Decoder [75.03283861464365]
  seq2seqタスクは、与えられた入力ソースシーケンスに基づいてターゲットシーケンスを生成することを目的としている。 伝統的に、seq2seqタスクのほとんどはエンコーダによって解決され、ソースシーケンスとデコーダをエンコードしてターゲットテキストを生成する。 最近、デコーダのみの言語モデルをseq2seqタスクに直接適用する、多くの新しいアプローチが出現しました。
  論文  参考訳（メタデータ） (2023-04-08T15:44:29Z)
• Multilingual Extraction and Categorization of Lexical Collocations with Graph-aware Transformers [86.64972552583941]
  我々は,グラフ対応トランスフォーマアーキテクチャにより拡張されたBERTに基づくシーケンスタグ付けモデルを提案し,コンテキストにおけるコロケーション認識の課題について評価した。 以上の結果から, モデルアーキテクチャにおける構文的依存関係を明示的に符号化することは有用であり, 英語, スペイン語, フランス語におけるコロケーションのタイプ化の差異について考察する。
  論文  参考訳（メタデータ） (2022-05-23T16:47:37Z)
• GN-Transformer: Fusing Sequence and Graph Representation for Improved Code Summarization [0.0]
  融合シーケンスとグラフのモダリティに基づいてエンドツーエンドの学習を行う新しい手法であるGN-Transformerを提案する。 提案手法は,2つのコード要約データセットと3つの自動コード要約メトリクスにおいて,最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2021-11-17T02:51:37Z)
• GraphiT: Encoding Graph Structure in Transformers [37.33808493548781]
  古典的グラフニューラルネットワーク(GNN)を用いて学習した表現を,ノードの特徴と構造的および位置的情報の集合として見ることにより,より優れた表現を実現できることを示す。 我々のモデルであるGraphiTは,グラフ上の正定値カーネルに基づく自己注意スコアにおける相対的な位置符号化戦略と,短距離パスなどの局所的なサブ構造を列挙して符号化することで,そのような情報を符号化する。
  論文  参考訳（メタデータ） (2021-06-10T11:36:22Z)
• Learn from Syntax: Improving Pair-wise Aspect and Opinion Terms Extractionwith Rich Syntactic Knowledge [17.100366742363803]
  豊富な構文知識を取り入れ、ペアワイズなアスペクトとオピニオン用語抽出(PAOTE)タスクを強化することを提案する。 まず,依存エッジやラベルをモデル化するためのlagcn( label-aware graph convolutional network)を含む構文特徴をエンコードする構文融合エンコーダを構築した。 ペアリングでは、高次アスペクト-オピニオン項のペアリングにBiaffineとTriaffineスコアを採用し、一方、構文認識スコアにLAGCNの構文強化表現を修復する。
  論文  参考訳（メタデータ） (2021-05-06T08:45:40Z)
• Transition based Graph Decoder for Neural Machine Translation [41.7284715234202]
  本稿では,木とグラフのデコーディングをトランジションのシーケンス生成に基づいて一般化したトランスフォーマーベースのアプローチを提案する。 標準のTransformerデコーダよりも性能が向上し,モデルの短縮バージョンも向上した。
  論文  参考訳（メタデータ） (2021-01-29T15:20:45Z)
• Keyphrase Extraction with Dynamic Graph Convolutional Networks and Diversified Inference [50.768682650658384]
  キーワード抽出(KE)は、ある文書でカバーされている概念やトピックを正確に表現するフレーズの集合を要約することを目的としている。 最近のシークエンス・ツー・シークエンス(Seq2Seq)ベースの生成フレームワークはKEタスクで広く使われ、様々なベンチマークで競合性能を得た。 本稿では,この2つの問題を同時に解くために,動的グラフ畳み込みネットワーク(DGCN)を採用することを提案する。
  論文  参考訳（メタデータ） (2020-10-24T08:11:23Z)
• Bi-Decoder Augmented Network for Neural Machine Translation [108.3931242633331]
  本稿では,ニューラルマシン翻訳タスクのためのBi-Decoder Augmented Network (BiDAN)を提案する。 各デコーダは入力されたテキストの表現を対応する言語に変換するため、2つの目的語と共同でトレーニングすることで、共有エンコーダは言語に依存しない意味空間を生成することができる。
  論文  参考訳（メタデータ） (2020-01-14T02:05:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。