論文の概要: Disentangled Sequence to Sequence Learning for Compositional Generalization

• arxiv url: http://arxiv.org/abs/2110.04655v1
• Date: Sat, 9 Oct 2021 22:27:19 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-16 20:52:15.532998
• Title: Disentangled Sequence to Sequence Learning for Compositional Generalization
• Title（参考訳）: 合成一般化のためのアンタングル型シーケンス学習
• Authors: Hao Zheng and Mirella Lapata
• Abstract要約: 本稿では,ソース入力を適応的に再符号化することで,不整合表現の学習を可能にするシーケンス・ツー・シーケンス・モデルの拡張を提案する。 意味解析と機械翻訳の実験結果から,提案手法はより不整合な表現とより優れた一般化をもたらすことが示された。
• 参考スコア（独自算出の注目度）: 62.954842223732435
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: There is mounting evidence that existing neural network models, in particular the very popular sequence-to-sequence architecture, struggle with compositional generalization, i.e., the ability to systematically generalize to unseen compositions of seen components. In this paper we demonstrate that one of the reasons hindering compositional generalization relates to the representations being entangled. We propose an extension to sequence-to-sequence models which allows us to learn disentangled representations by adaptively re-encoding (at each time step) the source input. Specifically, we condition the source representations on the newly decoded target context which makes it easier for the encoder to exploit specialized information for each prediction rather than capturing all source information in a single forward pass. Experimental results on semantic parsing and machine translation empirically show that our proposal yields more disentangled representations and better generalization.
• Abstract（参考訳）: 既存のニューラルネットワークモデル、特に非常に人気のあるsequence-to-sequenceアーキテクチャは、構成の一般化に苦しむこと、すなわち、見掛けられたコンポーネントの見当たらない構成に体系的に一般化する能力に苦しむことの証拠がある。 本稿では,合成一般化を妨げる理由の一つとして,絡み合う表現との関連性を示す。 本稿では,ソース入力を(各時間ステップ毎に)適応的に再エンコードすることで,絡み合った表現を学習できるシーケンス・ツー・シーケンスモデルの拡張を提案する。 具体的には、新たにデコードされたターゲットコンテキストのソース表現を条件として、すべてのソース情報を単一のフォワードパスでキャプチャする代わりに、エンコーダが予測毎に特別な情報を利用するのを容易にする。 意味解析と機械翻訳の実験結果から,提案手法はより不連続な表現とより良い一般化をもたらすことが示された。

関連論文リスト

• Real-World Compositional Generalization with Disentangled Sequence-to-Sequence Learning [81.24269148865555]
  最近提案されたDunangled sequence-to-sequence model (Dangle)は、有望な一般化能力を示している。 このモデルに2つの重要な変更を加え、より不整合表現を奨励し、その計算とメモリ効率を改善する。 具体的には、各タイミングでソースキーと値を適応的に再エンコードするのではなく、表現をアンタングルし、キーを定期的に再エンコードする。
  論文  参考訳（メタデータ） (2022-12-12T15:40:30Z)
• Compositional Generalization in Unsupervised Compositional Representation Learning: A Study on Disentanglement and Emergent Language [48.37815764394315]
  合成一般化を直接テストできる2つのデータセット上で、3つの教師なし表現学習アルゴリズムについて検討する。 単純なモデルと少ないラベルでボトルネック表現を直接使用すると、学習された表現そのものの前後のレイヤからの表現よりも、より悪い一般化につながる可能性がある。 驚くべきことに、不整合表現を生成する圧力の増加は、より悪い一般化を伴う表現を生成するのに対し、ELモデルからの表現は強い合成一般化を示す。
  論文  参考訳（メタデータ） (2022-10-02T10:35:53Z)
• Improving Compositional Generalization in Classification Tasks via Structure Annotations [33.90268697120572]
  人間は構成を一般化する能力は大きいが、最先端のニューラルモデルはそれを行うのに苦労している。 まず、自然言語のシーケンス・ツー・シーケンス・データセットを、合成の一般化も必要とする分類データセットに変換する方法について検討する。 第二に、構造的ヒントを提供すること(特にトランスフォーマーモデルの注意マスクとしてパースツリーとエンティティリンクを提供すること)は、構成の一般化に役立つことを示す。
  論文  参考訳（メタデータ） (2021-06-19T06:07:27Z)
• Compositional Generalization via Semantic Tagging [81.24269148865555]
  本稿では,シーケンス・ツー・シーケンスモデルの表現性と一般性を保存するための新しいデコードフレームワークを提案する。 提案手法は, モデルアーキテクチャ, ドメイン, セマンティックフォーマリズム間の構成一般化を一貫して改善することを示す。
  論文  参考訳（メタデータ） (2020-10-22T15:55:15Z)
• Hierarchical Poset Decoding for Compositional Generalization in Language [52.13611501363484]
  出力が部分的に順序付けられた集合(命題)である構造化予測タスクとして人間の言語理解を形式化する。 現在のエンコーダ・デコーダアーキテクチャは意味論のポーズ構造を適切に考慮していない。 本稿では,言語における合成一般化のための新しい階層型ポーズデコーディングパラダイムを提案する。
  論文  参考訳（メタデータ） (2020-10-15T14:34:26Z)
• Improving Compositional Generalization in Semantic Parsing [54.4720965813889]
  オフ・オブ・ディストリビューション(OOD)データへのモデルの一般化は、最近、大きな注目を集めている。 合成一般化のための自然なテストベッドである意味解析における合成一般化について検討する。
  論文  参考訳（メタデータ） (2020-10-12T12:34:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。