論文の概要: Learning to Compose Representations of Different Encoder Layers towards
Improving Compositional Generalization
- arxiv url: http://arxiv.org/abs/2305.12169v2
- Date: Wed, 18 Oct 2023 14:19:40 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-19 20:20:18.465475
- Title: Learning to Compose Representations of Different Encoder Layers towards
Improving Compositional Generalization
- Title（参考訳）: 合成一般化改善のための異なるエンコーダ層の表現構成の学習
- Authors: Lei Lin, Shuangtao Li, Yafang Zheng, Biao Fu, Shan Liu, Yidong Chen,
Xiaodong Shi
- Abstract要約: textscCompoSition (textbfCompose textbfSyntactic and Semanttextbfic Representatextbftions)を提案する。
textscCompoSitionは、2つの総合的で現実的なベンチマークで競合する結果を得る。
- 参考スコア（独自算出の注目度）: 29.32436551704417
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent studies have shown that sequence-to-sequence (seq2seq) models struggle
with compositional generalization (CG), i.e., the ability to systematically
generalize to unseen compositions of seen components. There is mounting
evidence that one of the reasons hindering CG is the representation of the
encoder uppermost layer is entangled, i.e., the syntactic and semantic
representations of sequences are entangled. However, we consider that the
previously identified representation entanglement problem is not comprehensive
enough. Additionally, we hypothesize that the source keys and values
representations passing into different decoder layers are also entangled.
Starting from this intuition, we propose \textsc{CompoSition} (\textbf{Compo}se
\textbf{S}yntactic and Semant\textbf{i}c Representa\textbf{tion}s), an
extension to seq2seq models which learns to compose representations of
different encoder layers dynamically for different tasks, since recent studies
reveal that the bottom layers of the Transformer encoder contain more syntactic
information and the top ones contain more semantic information. Specifically,
we introduce a \textit{composed layer} between the encoder and decoder to
compose different encoder layers' representations to generate specific keys and
values passing into different decoder layers. \textsc{CompoSition} achieves
competitive results on two comprehensive and realistic benchmarks, which
empirically demonstrates the effectiveness of our proposal. Codes are available
at~\url{https://github.com/thinkaboutzero/COMPOSITION}.
- Abstract（参考訳）: 近年の研究では、シーケンス・ツー・シーケンス(seq2seq)モデルが構成一般化(CG)に苦しむことが示されている。
CGを妨げる理由の1つはエンコーダの最上層が絡み合っていること、すなわちシーケンスの構文的および意味的表現が絡み合っていることである。
しかし,前述した表現の絡み合い問題は十分に包括的ではないと考えられる。
さらに、異なるデコーダ層に渡されるソースキーと値の表現も絡み合っていると仮定する。
この直感から、我々は、異なるエンコーダ層の表現を動的に生成することを学ぶseq2seqモデルの拡張である \textsc{CompoSition} (\textbf{Compo}se \textbf{S}yntactic and Semant\textbf{i}c Representa\textbf{tion}s)を提案する。
具体的には、エンコーダとデコーダの間に \textit{composed layer} を導入し、異なるエンコーダ層の表現を作成し、異なるデコーダ層に渡される特定のキーと値を生成する。
提案手法の有効性を実証的に実証した2つの総合的および現実的なベンチマークにおいて, 競合する結果を得る。
コードは~\url{https://github.com/thinkaboutzero/COMPOSITION}で入手できる。
関連論文リスト
- Layer-wise Representation Fusion for Compositional Generalization [26.771056871444692]
合成一般化における失敗の主な理由は、エンコーダとデコーダの両方の最上層におけるシーケンスの構文的および意味的表現が絡み合っていることである。
トランスフォーマー層の下部から上部まで、表現の進化メカニズムを解析することにより、なぜそのメカニズムが存在するのかを説明する。
そこで我々は,従来のレイヤの情報を符号化・復号処理に融合させることを学習するCGのための新しい textbfLayer-wise textbfRepresentation textbfFusion フレームワークである LRF を提案する。
論文 参考訳（メタデータ） (2023-07-20T12:01:40Z) - Transforming Visual Scene Graphs to Image Captions [69.13204024990672]
我々は、Scene Graphs (TSG) をより説明的なキャプションに変換することを提案する。
TSGでは、シーングラフの埋め込みのためのグラフニューラルネットワーク(GNN)の設計にマルチヘッドアテンション(MHA)を適用している。
TSGでは、各専門家はMHAに基づいてグラフ埋め込みを識別し、異なる種類の単語を生成する。
論文 参考訳（メタデータ） (2023-05-03T15:18:37Z) - GypSum: Learning Hybrid Representations for Code Summarization [21.701127410434914]
GypSumは、グラフアテンションニューラルネットワークと事前学習されたプログラミングと自然言語モデルを使用してハイブリッド表現を学習する、新しいディープラーニングモデルである。
本稿では,トランスフォーマーデコーダのエンコーダ-デコーダサブレイヤを変更して表現を融合させ,要約生成を容易にするデュアルコピー機構を提案する。
論文 参考訳（メタデータ） (2022-04-26T07:44:49Z) - UniXcoder: Unified Cross-Modal Pre-training for Code Representation [65.6846553962117]
プログラミング言語のためのクロスモーダル事前学習モデルUniXcoderを提案する。
木の構造情報を全て保持するシーケンス構造でASTを変換する1対1のマッピング手法を提案する。
我々は,UniXcoderを9つのデータセット上で5つのコード関連タスクで評価する。
論文 参考訳（メタデータ） (2022-03-08T04:48:07Z) - Hierarchical Sketch Induction for Paraphrase Generation [79.87892048285819]
本稿では、高密度符号化の分解を学習するHRQ-VAE(Hierarchical Refinement Quantized Variational Autoencoders)を紹介する。
HRQ-VAEを用いて、入力文の構文形式を階層化の経路としてエンコードすることで、テスト時の構文スケッチをより容易に予測できる。
論文 参考訳（メタデータ） (2022-03-07T15:28:36Z) - Disentangled Sequence to Sequence Learning for Compositional
Generalization [62.954842223732435]
本稿では,ソース入力を適応的に再符号化することで,不整合表現の学習を可能にするシーケンス・ツー・シーケンス・モデルの拡張を提案する。
意味解析と機械翻訳の実験結果から,提案手法はより不整合な表現とより優れた一般化をもたらすことが示された。
論文 参考訳（メタデータ） (2021-10-09T22:27:19Z) - Rethinking Semantic Segmentation from a Sequence-to-Sequence Perspective
with Transformers [149.78470371525754]
セマンティックセグメンテーションをシーケンスからシーケンスへの予測タスクとして扱う。
具体的には、イメージをパッチのシーケンスとしてエンコードするために純粋なトランスをデプロイします。
トランスのすべての層でモデル化されたグローバルコンテキストにより、このエンコーダは、SETR(SEgmentation TRansformer)と呼ばれる強力なセグメンテーションモデルを提供するための単純なデコーダと組み合わせることができる。
SETRはADE20K(50.28% mIoU)、Pascal Context(55.83% mIoU)、およびCityscapesの競争力のある結果に関する最新技術を達成している。
論文 参考訳（メタデータ） (2020-12-31T18:55:57Z) - Layer-Wise Multi-View Learning for Neural Machine Translation [45.679212203943194]
従来のニューラルネットワーク翻訳は、最上位のエンコーダ層のコンテキスト表現に限られている。
この問題を解決するために,レイヤワイドな多視点学習を提案する。
提案手法は,複数の強いベースラインに対して安定した改善をもたらす。
論文 参考訳（メタデータ） (2020-11-03T05:06:37Z) - Rethinking and Improving Natural Language Generation with Layer-Wise
Multi-View Decoding [59.48857453699463]
シーケンシャル・ツー・シーケンス学習では、デコーダは注意機構に依存してエンコーダから情報を効率的に抽出する。
近年の研究では、異なるエンコーダ層からの表現を多様なレベルの情報に利用することが提案されている。
本稿では, 各デコーダ層に対して, グローバルビューとして機能する最後のエンコーダ層からの表現とともに, ソースシーケンスの立体視のために他のエンコーダ層からのデコーダ層からのデコーダ層を補足するレイヤワイド・マルチビューデコーダを提案する。
論文 参考訳（メタデータ） (2020-05-16T20:00:39Z) - Consistent Multiple Sequence Decoding [36.46573114422263]
一貫性のある多重シーケンスデコーディングアーキテクチャを導入する。
このアーキテクチャは任意の数のシーケンスを一貫した同時復号化を可能にする。
重回帰画像キャプションにおける一貫した多重シーケンスデコーダの有効性を示す。
論文 参考訳（メタデータ） (2020-04-02T00:43:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。