Fugu-MT 論文翻訳(概要): Learn to Compose Syntactic and Semantic Representations Appropriately for Compositional Generalization

論文の概要: Learn to Compose Syntactic and Semantic Representations Appropriately for Compositional Generalization

arxiv url: http://arxiv.org/abs/2305.12169v1
Date: Sat, 20 May 2023 11:16:59 GMT
ステータス: 処理完了
システム内更新日: 2023-05-24 00:07:17.751786
Title: Learn to Compose Syntactic and Semantic Representations Appropriately for Compositional Generalization
Title（参考訳）: 構成一般化に適した構文と意味表現の合成を学ぶ
Authors: Lei Lin, Shuangtao Li, Biao Fu, Yafang Zheng, Shan Liu, Yidong Chen, Xiaodong Shi
Abstract要約: 近年の研究では、シーケンス・ツー・シーケンス(Seq2Seq)モデルが合成一般化(CG)タスクの解決に限られていることが示されている。本稿では,Seq2Seqモデルの拡張であるCompose Syntactic and Semantic Representationsを提案する。
参考スコア（独自算出の注目度）: 22.98400071061617
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Recent studies have shown that sequence-to-sequence (Seq2Seq) models are limited in solving the compositional generalization (CG) tasks, failing to systematically generalize to unseen compositions of seen components. There is mounting evidence that one of the reasons hindering CG is the representation of the encoder uppermost layer is entangled. In other words, the syntactic and semantic representations of sequences are twisted inappropriately. However, most previous studies mainly concentrate on enhancing semantic information at token-level, rather than composing the syntactic and semantic representations of sequences appropriately as humans do. In addition, we consider the representation entanglement problem they found is not comprehensive, and further hypothesize that source keys and values representations passing into different decoder layers are also entangled. Staring from this intuition and inspired by humans' strategies for CG, we propose COMPSITION (Compose Syntactic and Semantic Representations), an extension to Seq2Seq models to learn to compose representations of different encoder layers appropriately for generating different keys and values passing into different decoder layers through introducing a composed layer between the encoder and decoder. COMPSITION achieves competitive and even state-of-the-art results on two realistic benchmarks, which empirically demonstrates the effectiveness of our proposal.
Abstract（参考訳）: 近年の研究では、sequence-to-sequence(seq2seq)モデルは合成汎化(cg)タスクの解法に制限があり、見掛けられた成分の見当たらない合成に体系的に一般化できないことが示されている。 cgを阻害する理由の一つにエンコーダの最上部層が絡み合っていることが挙げられる。言い換えると、シーケンスの構文的および意味的表現は不適切にツイストされる。しかし、以前のほとんどの研究は、人間のように配列の構文や意味表現を適切に構成するよりも、主にトークンレベルでの意味情報を強化することに重点を置いている。さらに,それらが検出した表現エンタングルメント問題は包括的ではなく,また,異なるデコーダ層に渡されるソースキーと値表現も絡み合っているという仮説を立てる。この直感から始まり、CGのための人間の戦略にインスパイアされたコンポジション(Compose Syntactic and Semantic Representations)を提案し、Seq2Seqモデルを拡張して、エンコーダとデコーダ間の合成層を導入して、異なるキーと値が異なるデコーダ層に渡されるように、異なるエンコーダ層の表現を適切に作成することを学ぶ。 compsitionは,本提案の有効性を実証的に示す2つの現実的なベンチマークで,競争的かつ最先端的な結果を得る。

関連論文リスト

Layer-wise Representation Fusion for Compositional Generalization [26.771056871444692]
合成一般化における失敗の主な理由は、エンコーダとデコーダの両方の最上層におけるシーケンスの構文的および意味的表現が絡み合っていることである。トランスフォーマー層の下部から上部まで、表現の進化メカニズムを解析することにより、なぜそのメカニズムが存在するのかを説明する。そこで我々は,従来のレイヤの情報を符号化・復号処理に融合させることを学習するCGのための新しい textbfLayer-wise textbfRepresentation textbfFusion フレームワークである LRF を提案する。
論文参考訳（メタデータ） (2023-07-20T12:01:40Z)
Transforming Visual Scene Graphs to Image Captions [69.13204024990672]
我々は、Scene Graphs (TSG) をより説明的なキャプションに変換することを提案する。 TSGでは、シーングラフの埋め込みのためのグラフニューラルネットワーク(GNN)の設計にマルチヘッドアテンション(MHA)を適用している。 TSGでは、各専門家はMHAに基づいてグラフ埋め込みを識別し、異なる種類の単語を生成する。
論文参考訳（メタデータ） (2023-05-03T15:18:37Z)
GypSum: Learning Hybrid Representations for Code Summarization [21.701127410434914]
GypSumは、グラフアテンションニューラルネットワークと事前学習されたプログラミングと自然言語モデルを使用してハイブリッド表現を学習する、新しいディープラーニングモデルである。本稿では,トランスフォーマーデコーダのエンコーダ-デコーダサブレイヤを変更して表現を融合させ,要約生成を容易にするデュアルコピー機構を提案する。
論文参考訳（メタデータ） (2022-04-26T07:44:49Z)
UniXcoder: Unified Cross-Modal Pre-training for Code Representation [65.6846553962117]
プログラミング言語のためのクロスモーダル事前学習モデルUniXcoderを提案する。木の構造情報を全て保持するシーケンス構造でASTを変換する1対1のマッピング手法を提案する。我々は,UniXcoderを9つのデータセット上で5つのコード関連タスクで評価する。
論文参考訳（メタデータ） (2022-03-08T04:48:07Z)
Hierarchical Sketch Induction for Paraphrase Generation [79.87892048285819]
本稿では、高密度符号化の分解を学習するHRQ-VAE(Hierarchical Refinement Quantized Variational Autoencoders)を紹介する。 HRQ-VAEを用いて、入力文の構文形式を階層化の経路としてエンコードすることで、テスト時の構文スケッチをより容易に予測できる。
論文参考訳（メタデータ） (2022-03-07T15:28:36Z)
Disentangled Sequence to Sequence Learning for Compositional Generalization [62.954842223732435]
本稿では,ソース入力を適応的に再符号化することで,不整合表現の学習を可能にするシーケンス・ツー・シーケンス・モデルの拡張を提案する。意味解析と機械翻訳の実験結果から,提案手法はより不整合な表現とより優れた一般化をもたらすことが示された。
論文参考訳（メタデータ） (2021-10-09T22:27:19Z)
Rethinking Semantic Segmentation from a Sequence-to-Sequence Perspective with Transformers [149.78470371525754]
セマンティックセグメンテーションをシーケンスからシーケンスへの予測タスクとして扱う。具体的には、イメージをパッチのシーケンスとしてエンコードするために純粋なトランスをデプロイします。トランスのすべての層でモデル化されたグローバルコンテキストにより、このエンコーダは、SETR(SEgmentation TRansformer)と呼ばれる強力なセグメンテーションモデルを提供するための単純なデコーダと組み合わせることができる。 SETRはADE20K(50.28% mIoU)、Pascal Context(55.83% mIoU)、およびCityscapesの競争力のある結果に関する最新技術を達成している。
論文参考訳（メタデータ） (2020-12-31T18:55:57Z)
Layer-Wise Multi-View Learning for Neural Machine Translation [45.679212203943194]
従来のニューラルネットワーク翻訳は、最上位のエンコーダ層のコンテキスト表現に限られている。この問題を解決するために,レイヤワイドな多視点学習を提案する。提案手法は,複数の強いベースラインに対して安定した改善をもたらす。
論文参考訳（メタデータ） (2020-11-03T05:06:37Z)
Rethinking and Improving Natural Language Generation with Layer-Wise Multi-View Decoding [59.48857453699463]
シーケンシャル・ツー・シーケンス学習では、デコーダは注意機構に依存してエンコーダから情報を効率的に抽出する。近年の研究では、異なるエンコーダ層からの表現を多様なレベルの情報に利用することが提案されている。本稿では, 各デコーダ層に対して, グローバルビューとして機能する最後のエンコーダ層からの表現とともに, ソースシーケンスの立体視のために他のエンコーダ層からのデコーダ層からのデコーダ層を補足するレイヤワイド・マルチビューデコーダを提案する。
論文参考訳（メタデータ） (2020-05-16T20:00:39Z)
Consistent Multiple Sequence Decoding [36.46573114422263]
一貫性のある多重シーケンスデコーディングアーキテクチャを導入する。このアーキテクチャは任意の数のシーケンスを一貫した同時復号化を可能にする。重回帰画像キャプションにおける一貫した多重シーケンスデコーダの有効性を示す。
論文参考訳（メタデータ） (2020-04-02T00:43:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。