論文の概要: Making Transformers Solve Compositional Tasks
- arxiv url: http://arxiv.org/abs/2108.04378v1
- Date: Mon, 9 Aug 2021 22:38:29 GMT
- ステータス: 処理完了
- システム内更新日: 2021-08-11 14:34:18.396837
- Title: Making Transformers Solve Compositional Tasks
- Title(参考訳): 変圧器による構成課題の解決
- Authors: Santiago Onta\~{n}\'{o}n, Joshua Ainslie, Vaclav Cvicek and Zachary
Fisher
- Abstract要約: いくつかの設計決定によってモデルに与えられる帰納バイアスが構成一般化に大きな影響を及ぼすことを示す。
文献で報告されたよりもはるかに優れた構成を一般化するトランスフォーマー構成を同定する。
- 参考スコア(独自算出の注目度): 0.6934179242586093
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Several studies have reported the inability of Transformer models to
generalize compositionally, a key type of generalization in many NLP tasks such
as semantic parsing. In this paper we explore the design space of Transformer
models showing that the inductive biases given to the model by several design
decisions significantly impact compositional generalization. Through this
exploration, we identified Transformer configurations that generalize
compositionally significantly better than previously reported in the literature
in a diverse set of compositional tasks, and that achieve state-of-the-art
results in a semantic parsing compositional generalization benchmark (COGS),
and a string edit operation composition benchmark (PCFG).
- Abstract(参考訳): いくつかの研究は、意味解析のような多くのnlpタスクにおいて鍵となる一般化である合成を一般化するトランスフォーマーモデルがないことを報告している。
本稿では,いくつかの設計決定によるモデルへの帰納バイアスが構成一般化に大きな影響を及ぼすことを示すトランスフォーマーモデルの設計空間について検討する。
そこで本研究では,様々な構成課題において文献で報告されたよりもはるかに優れた構成を一般化し,意味解析合成一般化ベンチマーク (COGS) と文字列編集操作合成ベンチマーク (PCFG) で最新の結果が得られるトランスフォーマー構成を同定した。
関連論文リスト
- Inducing Systematicity in Transformers by Attending to Structurally
Quantized Embeddings [60.698130703909804]
トランスフォーマーは、複雑なデータセットでトレーニングされた後、構造と実体の新規な構成に一般化する。
本稿では,SQ-Transformerを提案する。
SQ-Transformerは,複数の低複雑さ意味解析および機械翻訳データセット上で,バニラ変換器よりも強い構成一般化を実現することを示す。
論文 参考訳(メタデータ) (2024-02-09T15:53:15Z) - Syntax-Guided Transformers: Elevating Compositional Generalization and
Grounding in Multimodal Environments [20.70294450587676]
我々は、構成一般化を促進するために、言語の構文構造を利用する。
マルチモーダルグラウンドリング問題における構文情報の利用のメリットを紹介し,評価する。
その結果、マルチモーダルグラウンドリングとパラメータ効率のモデリングにおいて、最先端の技術を推し進めることができた。
論文 参考訳(メタデータ) (2023-11-07T21:59:16Z) - When Can Transformers Ground and Compose: Insights from Compositional
Generalization Benchmarks [7.4726048754587415]
人間は、言語発話を現実世界に基礎づけながら、構成的に推論することができる。
ReaSCANのような最近のベンチマークでは、グリッドの世界に根ざしたナビゲーションタスクを使用して、ニューラルモデルが同様の機能を示すかどうかを評価する。
本稿では,ReaSCAN の特殊アーキテクチャと gSCAN の修正版を比較検討する。
論文 参考訳(メタデータ) (2022-10-23T17:03:55Z) - Transformer Grammars: Augmenting Transformer Language Models with
Syntactic Inductive Biases at Scale [31.293175512404172]
Transformer Grammarsは、Transformerの表現力、スケーラビリティ、強力なパフォーマンスを組み合わせたTransformer言語モデルのクラスです。
また, Transformer Grammars は, 構文に敏感な言語モデリング評価指標において, 各種の強力なベースラインを上回ります。
論文 参考訳(メタデータ) (2022-03-01T17:22:31Z) - Compositional Generalization Requires Compositional Parsers [69.77216620997305]
直近のCOGSコーパスにおける構成原理によって導かれるシーケンス・ツー・シーケンスモデルとモデルを比較した。
構造一般化は構成一般化の重要な尺度であり、複雑な構造を認識するモデルを必要とする。
論文 参考訳(メタデータ) (2022-02-24T07:36:35Z) - Disentangled Sequence to Sequence Learning for Compositional
Generalization [62.954842223732435]
本稿では,ソース入力を適応的に再符号化することで,不整合表現の学習を可能にするシーケンス・ツー・シーケンス・モデルの拡張を提案する。
意味解析と機械翻訳の実験結果から,提案手法はより不整合な表現とより優れた一般化をもたらすことが示された。
論文 参考訳(メタデータ) (2021-10-09T22:27:19Z) - Enriching Transformers with Structured Tensor-Product Representations
for Abstractive Summarization [131.23966358405767]
抽象的な要約のタスクに対して,明示的に構成された製品表現(TPR)をTP-TRANSFORMERに適用する。
モデルの主な特徴は、トークンごとに2つの別々の表現を符号化することで導入する構造バイアスである。
本稿では,TP-TRANSFORMER が Transformer と TP-TRANSFORMER より優れていることを示す。
論文 参考訳(メタデータ) (2021-06-02T17:32:33Z) - The Role of Syntactic Planning in Compositional Image Captioning [17.363891408746298]
本研究では,キャプションの構文構造を計画し,構成一般化を改善する手法について検討する。
実験の結果,RNNモデルとTransformerモデルの両方でトークンとタグの一般化を共同でモデル化し,標準メトリクスの性能も向上した。
論文 参考訳(メタデータ) (2021-01-28T10:26:08Z) - Improving Compositional Generalization in Semantic Parsing [54.4720965813889]
オフ・オブ・ディストリビューション(OOD)データへのモデルの一般化は、最近、大きな注目を集めている。
合成一般化のための自然なテストベッドである意味解析における合成一般化について検討する。
論文 参考訳(メタデータ) (2020-10-12T12:34:58Z) - On Compositions of Transformations in Contrastive Self-Supervised
Learning [66.15514035861048]
本稿では,コントラスト学習をより広範な変換集合に一般化する。
特定の変換に不変であり、他の変換に特有であることは、効果的なビデオ表現の学習に不可欠である。
論文 参考訳(メタデータ) (2020-03-09T17:56:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。