論文の概要: Layer-wise Representation Fusion for Compositional Generalization
- arxiv url: http://arxiv.org/abs/2307.10799v1
- Date: Thu, 20 Jul 2023 12:01:40 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-21 13:21:42.226510
- Title: Layer-wise Representation Fusion for Compositional Generalization
- Title（参考訳）: 合成一般化のための層間表現融合
- Authors: Yafang Zheng, Lei Lin, Zhaohong Lai, Binling Wang, Shan Liu, Biao Fu,
Wenhao Rao, Peigen Ye, Yidong Chen, Xiaodong Shi
- Abstract要約: textscFuSionはシーケンシャル・ツー・シーケンス・モデルの拡張で、前のレイヤの情報をエンコーディングとデコードプロセスに適切に戻すことを学習する。
textscFuSionは、2つの現実的なベンチマークで、競争力があり、またTextbfstate-the-artの結果も達成します。
- 参考スコア（独自算出の注目度）: 20.482319816973572
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Despite successes across a broad range of applications, sequence-to-sequence
models' construct of solutions are argued to be less compositional than
human-like generalization. There is mounting evidence that one of the reasons
hindering compositional generalization is representations of the encoder and
decoder uppermost layer are entangled. In other words, the syntactic and
semantic representations of sequences are twisted inappropriately. However,
most previous studies mainly concentrate on enhancing token-level semantic
information to alleviate the representations entanglement problem, rather than
composing and using the syntactic and semantic representations of sequences
appropriately as humans do. In addition, we explain why the entanglement
problem exists from the perspective of recent studies about training deeper
Transformer, mainly owing to the ``shallow'' residual connections and its
simple, one-step operations, which fails to fuse previous layers' information
effectively. Starting from this finding and inspired by humans' strategies, we
propose \textsc{FuSion} (\textbf{Fu}sing \textbf{S}yntactic and
Semant\textbf{i}c Representati\textbf{on}s), an extension to
sequence-to-sequence models to learn to fuse previous layers' information back
into the encoding and decoding process appropriately through introducing a
\emph{fuse-attention module} at each encoder and decoder layer. \textsc{FuSion}
achieves competitive and even \textbf{state-of-the-art} results on two
realistic benchmarks, which empirically demonstrates the effectiveness of our
proposal.
- Abstract（参考訳）: 幅広い応用で成功したにもかかわらず、シーケンシャル・ツー・シーケンスモデルの解の構成は、人間のような一般化よりも構成的でないと論じられている。
合成一般化を妨げる理由の1つはエンコーダの表現であり、最上層のデコーダが絡み合っているという証拠がある。
言い換えると、シーケンスの構文的および意味的表現は不適切にツイストされる。
しかし,従来のほとんどの研究は,人間のように適切にシーケンスの構文的・意味的表現を構成・使用するのではなく,トークンレベルの意味情報の強化に重点を置いている。
また, ‘shallow' の残差接続や,従来のレイヤの情報を効果的に融合させることができない単純なワンステップ操作などにより,深層変圧器の訓練に関する最近の研究から,絡み合い問題が存在する理由を説明する。
この発見から始まり、人間の戦略に着想を得て、各エンコーダおよびデコーダ層に \emph{fuse-attention module} を導入することにより、前のレイヤの情報をエンコードおよびデコードプロセスに適切に融合する、シーケンス-シーケンスモデルの拡張である \textsc{fusion} (\textbf{fu}sing \textbf{s}yntactic and semant\textbf{i}c representingati\textbf{on}s) を提案する。
提案手法の有効性を実証的に実証した,2つの現実的なベンチマークに対して, 競合的かつ, さらには, \textbf{state-of-the-art}の結果が得られる。
関連論文リスト
- UGMAE: A Unified Framework for Graph Masked Autoencoders [67.75493040186859]
グラフマスク付きオートエンコーダのための統一フレームワークであるUGMAEを提案する。
まず,ノードの特異性を考慮した適応型特徴マスク生成器を開発した。
次に,階層型構造再構成と特徴再構成を併用し,総合的なグラフ情報を取得する。
論文 参考訳（メタデータ） (2024-02-12T19:39:26Z) - In-Domain GAN Inversion for Faithful Reconstruction and Editability [132.68255553099834]
ドメイン誘導型ドメイン正規化とエンコーダで構成されたドメイン内GANインバージョンを提案し、事前学習されたGANモデルのネイティブ潜在空間における反転コードを正規化する。
エンコーダ構造,開始反転点,および逆パラメータ空間の効果を総合的に解析し,再構成品質と編集特性とのトレードオフを観察する。
論文 参考訳（メタデータ） (2023-09-25T08:42:06Z) - Single Image Reflection Separation via Component Synergy [14.57590565534889]
反射重畳現象は複雑で、現実世界に広く分布している。
学習可能な残余項を導入することにより、重ね合わせモデルのより一般的な形式を提案する。
その利点をフルに活用するために,ネットワーク構造をさらに精巧に設計する。
論文 参考訳（メタデータ） (2023-08-19T14:25:27Z) - GIFD: A Generative Gradient Inversion Method with Feature Domain
Optimization [52.55628139825667]
Federated Learning(FL)は、クライアントのプライバシを保護するための有望な分散機械学習フレームワークとして登場した。
近年の研究では、事前学習された生成逆ネットワーク(GAN)を事前知識として活用することにより、攻撃者が共有勾配を逆転し、FLシステムに対する機密データを回復できることが示されている。
textbfGradient textbfInversion over textbfFeature textbfDomains (GIFD)を提案する。
論文 参考訳（メタデータ） (2023-08-09T04:34:21Z) - Learning to Compose Representations of Different Encoder Layers towards
Improving Compositional Generalization [29.32436551704417]
textscCompoSition (textbfCompose textbfSyntactic and Semanttextbfic Representatextbftions)を提案する。
textscCompoSitionは、2つの総合的で現実的なベンチマークで競合する結果を得る。
論文 参考訳（メタデータ） (2023-05-20T11:16:59Z) - Over-and-Under Complete Convolutional RNN for MRI Reconstruction [57.95363471940937]
MR画像再構成のための最近のディープラーニングに基づく手法は、通常、汎用的なオートエンコーダアーキテクチャを利用する。
OUCR(Over-and-Under Complete Convolu?tional Recurrent Neural Network)を提案する。
提案手法は, トレーニング可能なパラメータの少ない圧縮されたセンシングと, 一般的なディープラーニングに基づく手法に対して, 大幅な改善を実現する。
論文 参考訳（メタデータ） (2021-06-16T15:56:34Z) - A Hierarchical Coding Scheme for Glasses-free 3D Displays Based on
Scalable Hybrid Layered Representation of Real-World Light Fields [0.6091702876917279]
Schemeは、異なる走査順序から決定される光界ビューのサブセットから、積み重ねた乗法レイヤを学習する。
層状パターンの空間的相関は、クリロフ部分空間上の特異値分解から導かれる係数化の低い階数で悪用される。
HEVCによるエンコーディングは、低ランク近似層におけるイントラビューおよびインタービュー相関を効率的に除去する。
論文 参考訳（メタデータ） (2021-04-19T15:09:21Z) - Layer-Wise Multi-View Learning for Neural Machine Translation [45.679212203943194]
従来のニューラルネットワーク翻訳は、最上位のエンコーダ層のコンテキスト表現に限られている。
この問題を解決するために,レイヤワイドな多視点学習を提案する。
提案手法は,複数の強いベースラインに対して安定した改善をもたらす。
論文 参考訳（メタデータ） (2020-11-03T05:06:37Z) - Dual-constrained Deep Semi-Supervised Coupled Factorization Network with
Enriched Prior [80.5637175255349]
本稿では、DS2CF-Netと呼ばれる、拡張された事前制約付きDual-Constrained Deep Semi-Supervised Coupled Factorization Networkを提案する。
隠れた深い特徴を抽出するために、DS2CF-Netは、深い構造と幾何学的な構造に制約のあるニューラルネットワークとしてモデル化される。
我々のネットワークは、表現学習とクラスタリングのための最先端の性能を得ることができる。
論文 参考訳（メタデータ） (2020-09-08T13:10:21Z) - Rethinking and Improving Natural Language Generation with Layer-Wise
Multi-View Decoding [59.48857453699463]
シーケンシャル・ツー・シーケンス学習では、デコーダは注意機構に依存してエンコーダから情報を効率的に抽出する。
近年の研究では、異なるエンコーダ層からの表現を多様なレベルの情報に利用することが提案されている。
本稿では, 各デコーダ層に対して, グローバルビューとして機能する最後のエンコーダ層からの表現とともに, ソースシーケンスの立体視のために他のエンコーダ層からのデコーダ層からのデコーダ層を補足するレイヤワイド・マルチビューデコーダを提案する。
論文 参考訳（メタデータ） (2020-05-16T20:00:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。