論文の概要: Layer-wise Representation Fusion for Compositional Generalization
- arxiv url: http://arxiv.org/abs/2307.10799v2
- Date: Thu, 21 Dec 2023 07:38:56 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-22 18:43:48.708922
- Title: Layer-wise Representation Fusion for Compositional Generalization
- Title（参考訳）: 合成一般化のための層間表現融合
- Authors: Yafang Zheng, Lei Lin, Shuangtao Li, Yuxuan Yuan, Zhaohong Lai, Shan
Liu, Biao Fu, Yidong Chen, Xiaodong Shi
- Abstract要約: 合成一般化における失敗の主な理由は、エンコーダとデコーダの両方の最上層におけるシーケンスの構文的および意味的表現が絡み合っていることである。
トランスフォーマー層の下部から上部まで、表現の進化メカニズムを解析することにより、なぜそのメカニズムが存在するのかを説明する。
そこで我々は,従来のレイヤの情報を符号化・復号処理に融合させることを学習するCGのための新しい textbfLayer-wise textbfRepresentation textbfFusion フレームワークである LRF を提案する。
- 参考スコア（独自算出の注目度）: 26.771056871444692
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Existing neural models are demonstrated to struggle with compositional
generalization (CG), i.e., the ability to systematically generalize to unseen
compositions of seen components. A key reason for failure on CG is that the
syntactic and semantic representations of sequences in both the uppermost layer
of the encoder and decoder are entangled. However, previous work concentrates
on separating the learning of syntax and semantics instead of exploring the
reasons behind the representation entanglement (RE) problem to solve it. We
explain why it exists by analyzing the representation evolving mechanism from
the bottom to the top of the Transformer layers. We find that the ``shallow''
residual connections within each layer fail to fuse previous layers'
information effectively, leading to information forgetting between layers and
further the RE problems. Inspired by this, we propose LRF, a novel
\textbf{L}ayer-wise \textbf{R}epresentation \textbf{F}usion framework for CG,
which learns to fuse previous layers' information back into the encoding and
decoding process effectively through introducing a \emph{fuse-attention module}
at each encoder and decoder layer. LRF achieves promising results on two
realistic benchmarks, empirically demonstrating the effectiveness of our
proposal.
- Abstract（参考訳）: 既存のニューラルネットワークは、構成一般化(CG)、すなわち、目に見えない構成要素の組成に体系的に一般化する能力に苦しむ。
CG上で失敗する主な理由は、エンコーダとデコーダの両方の最上層におけるシーケンスの構文的および意味的表現が絡み合っていることである。
しかし、従来の研究は、表現絡み(RE)問題の背後にある理由を探るのではなく、構文と意味学の学習を分離することに集中していた。
トランスレイヤの下部から上部への表現進化機構を解析することにより,なぜ存在するのかを説明する。
各レイヤ内の ``shallow'' の残差接続は、以前のレイヤの情報を効果的に融合しないため、レイヤ間の情報を忘れることになり、さらにreの問題が発生する。
そこで,本稿では,各エンコーダ層とデコーダ層に \emph{fuse-attention module} を導入することで,従来のレイヤの情報をエンコードおよびデコードプロセスに戻すことを学習する,cgのための新しい \textbf{l}ayer-wise \textbf{r}epresentation \textbf{f}usion frameworkを提案する。
LRFは2つの現実的なベンチマークで有望な結果を達成し,提案手法の有効性を実証的に実証した。
関連論文リスト
- UGMAE: A Unified Framework for Graph Masked Autoencoders [67.75493040186859]
グラフマスク付きオートエンコーダのための統一フレームワークであるUGMAEを提案する。
まず,ノードの特異性を考慮した適応型特徴マスク生成器を開発した。
次に,階層型構造再構成と特徴再構成を併用し,総合的なグラフ情報を取得する。
論文 参考訳（メタデータ） (2024-02-12T19:39:26Z) - In-Domain GAN Inversion for Faithful Reconstruction and Editability [132.68255553099834]
ドメイン誘導型ドメイン正規化とエンコーダで構成されたドメイン内GANインバージョンを提案し、事前学習されたGANモデルのネイティブ潜在空間における反転コードを正規化する。
エンコーダ構造,開始反転点,および逆パラメータ空間の効果を総合的に解析し,再構成品質と編集特性とのトレードオフを観察する。
論文 参考訳（メタデータ） (2023-09-25T08:42:06Z) - Single Image Reflection Separation via Component Synergy [14.57590565534889]
反射重畳現象は複雑で、現実世界に広く分布している。
学習可能な残余項を導入することにより、重ね合わせモデルのより一般的な形式を提案する。
その利点をフルに活用するために,ネットワーク構造をさらに精巧に設計する。
論文 参考訳（メタデータ） (2023-08-19T14:25:27Z) - GIFD: A Generative Gradient Inversion Method with Feature Domain
Optimization [52.55628139825667]
Federated Learning(FL)は、クライアントのプライバシを保護するための有望な分散機械学習フレームワークとして登場した。
近年の研究では、事前学習された生成逆ネットワーク(GAN)を事前知識として活用することにより、攻撃者が共有勾配を逆転し、FLシステムに対する機密データを回復できることが示されている。
textbfGradient textbfInversion over textbfFeature textbfDomains (GIFD)を提案する。
論文 参考訳（メタデータ） (2023-08-09T04:34:21Z) - Learning to Compose Representations of Different Encoder Layers towards
Improving Compositional Generalization [29.32436551704417]
textscCompoSition (textbfCompose textbfSyntactic and Semanttextbfic Representatextbftions)を提案する。
textscCompoSitionは、2つの総合的で現実的なベンチマークで競合する結果を得る。
論文 参考訳（メタデータ） (2023-05-20T11:16:59Z) - Over-and-Under Complete Convolutional RNN for MRI Reconstruction [57.95363471940937]
MR画像再構成のための最近のディープラーニングに基づく手法は、通常、汎用的なオートエンコーダアーキテクチャを利用する。
OUCR(Over-and-Under Complete Convolu?tional Recurrent Neural Network)を提案する。
提案手法は, トレーニング可能なパラメータの少ない圧縮されたセンシングと, 一般的なディープラーニングに基づく手法に対して, 大幅な改善を実現する。
論文 参考訳（メタデータ） (2021-06-16T15:56:34Z) - A Hierarchical Coding Scheme for Glasses-free 3D Displays Based on
Scalable Hybrid Layered Representation of Real-World Light Fields [0.6091702876917279]
Schemeは、異なる走査順序から決定される光界ビューのサブセットから、積み重ねた乗法レイヤを学習する。
層状パターンの空間的相関は、クリロフ部分空間上の特異値分解から導かれる係数化の低い階数で悪用される。
HEVCによるエンコーディングは、低ランク近似層におけるイントラビューおよびインタービュー相関を効率的に除去する。
論文 参考訳（メタデータ） (2021-04-19T15:09:21Z) - Layer-Wise Multi-View Learning for Neural Machine Translation [45.679212203943194]
従来のニューラルネットワーク翻訳は、最上位のエンコーダ層のコンテキスト表現に限られている。
この問題を解決するために,レイヤワイドな多視点学習を提案する。
提案手法は,複数の強いベースラインに対して安定した改善をもたらす。
論文 参考訳（メタデータ） (2020-11-03T05:06:37Z) - Dual-constrained Deep Semi-Supervised Coupled Factorization Network with
Enriched Prior [80.5637175255349]
本稿では、DS2CF-Netと呼ばれる、拡張された事前制約付きDual-Constrained Deep Semi-Supervised Coupled Factorization Networkを提案する。
隠れた深い特徴を抽出するために、DS2CF-Netは、深い構造と幾何学的な構造に制約のあるニューラルネットワークとしてモデル化される。
我々のネットワークは、表現学習とクラスタリングのための最先端の性能を得ることができる。
論文 参考訳（メタデータ） (2020-09-08T13:10:21Z) - Rethinking and Improving Natural Language Generation with Layer-Wise
Multi-View Decoding [59.48857453699463]
シーケンシャル・ツー・シーケンス学習では、デコーダは注意機構に依存してエンコーダから情報を効率的に抽出する。
近年の研究では、異なるエンコーダ層からの表現を多様なレベルの情報に利用することが提案されている。
本稿では, 各デコーダ層に対して, グローバルビューとして機能する最後のエンコーダ層からの表現とともに, ソースシーケンスの立体視のために他のエンコーダ層からのデコーダ層からのデコーダ層を補足するレイヤワイド・マルチビューデコーダを提案する。
論文 参考訳（メタデータ） (2020-05-16T20:00:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。