論文の概要: Making Transformers Solve Compositional Tasks

• arxiv url: http://arxiv.org/abs/2108.04378v1
• Date: Mon, 9 Aug 2021 22:38:29 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-11 14:34:18.396837
• Title: Making Transformers Solve Compositional Tasks
• Title（参考訳）: 変圧器による構成課題の解決
• Authors: Santiago Onta\~{n}\'{o}n, Joshua Ainslie, Vaclav Cvicek and Zachary Fisher
• Abstract要約: いくつかの設計決定によってモデルに与えられる帰納バイアスが構成一般化に大きな影響を及ぼすことを示す。 文献で報告されたよりもはるかに優れた構成を一般化するトランスフォーマー構成を同定する。
• 参考スコア（独自算出の注目度）: 0.6934179242586093
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Several studies have reported the inability of Transformer models to generalize compositionally, a key type of generalization in many NLP tasks such as semantic parsing. In this paper we explore the design space of Transformer models showing that the inductive biases given to the model by several design decisions significantly impact compositional generalization. Through this exploration, we identified Transformer configurations that generalize compositionally significantly better than previously reported in the literature in a diverse set of compositional tasks, and that achieve state-of-the-art results in a semantic parsing compositional generalization benchmark (COGS), and a string edit operation composition benchmark (PCFG).
• Abstract（参考訳）: いくつかの研究は、意味解析のような多くのnlpタスクにおいて鍵となる一般化である合成を一般化するトランスフォーマーモデルがないことを報告している。 本稿では,いくつかの設計決定によるモデルへの帰納バイアスが構成一般化に大きな影響を及ぼすことを示すトランスフォーマーモデルの設計空間について検討する。 そこで本研究では,様々な構成課題において文献で報告されたよりもはるかに優れた構成を一般化し,意味解析合成一般化ベンチマーク (COGS) と文字列編集操作合成ベンチマーク (PCFG) で最新の結果が得られるトランスフォーマー構成を同定した。

関連論文リスト

• Strengthening Structural Inductive Biases by Pre-training to Perform Syntactic Transformations [75.14793516745374]
  中間学習によりトランスフォーマーの構造的帰納バイアスを強化することを提案する。 実験の結果,チャンキングなどの構文的タスクのわずかな学習に有効であることが確認された。 分析の結果,中間的事前学習は,どのトークンにシナティクス変換を適用する必要があるかを追尾する注意を喚起することが明らかとなった。
  論文  参考訳（メタデータ） (2024-07-05T14:29:44Z)
• What makes Models Compositional? A Theoretical View: With Supplement [60.284698521569936]
  本稿では,構成関数の一般神経-記号的定義とその構成複雑性について述べる。 既存の汎用および特殊目的のシーケンス処理モデルがこの定義にどのように適合しているかを示し、それらを用いて構成複雑性を分析する。
  論文  参考訳（メタデータ） (2024-05-02T20:10:27Z)
• Learning Syntax Without Planting Trees: Understanding When and Why Transformers Generalize Hierarchically [74.96551626420188]
  自然言語データに基づいて訓練されたトランスフォーマーは、その階層構造を学習し、目に見えない構文構造を持つ文に一般化することが示されている。 本研究では,変圧器モデルにおける帰納バイアスの発生源と,そのような一般化行動を引き起こす可能性のあるトレーニングについて検討する。
  論文  参考訳（メタデータ） (2024-04-25T07:10:29Z)
• Syntax-Guided Transformers: Elevating Compositional Generalization and Grounding in Multimodal Environments [20.70294450587676]
  我々は、構成一般化を促進するために、言語の構文構造を利用する。 マルチモーダルグラウンドリング問題における構文情報の利用のメリットを紹介し,評価する。 その結果、マルチモーダルグラウンドリングとパラメータ効率のモデリングにおいて、最先端の技術を推し進めることができた。
  論文  参考訳（メタデータ） (2023-11-07T21:59:16Z)
• The Impact of Depth on Compositional Generalization in Transformer Language Models [41.84127559054955]
  我々は、より深いトランスフォーマーがより構成的に一般化する理論的および経験的な研究によって動機付けられた仮説をテストする。 深度と幅を交換するモデルの3つのクラスを構築した。 より深いモデルは浅いモデルよりも構成的に一般化するが、追加のレイヤーの利点は急速に減少する。
  論文  参考訳（メタデータ） (2023-10-30T19:10:06Z)
• When Can Transformers Ground and Compose: Insights from Compositional Generalization Benchmarks [7.4726048754587415]
  人間は、言語発話を現実世界に基礎づけながら、構成的に推論することができる。 ReaSCANのような最近のベンチマークでは、グリッドの世界に根ざしたナビゲーションタスクを使用して、ニューラルモデルが同様の機能を示すかどうかを評価する。 本稿では,ReaSCAN の特殊アーキテクチャと gSCAN の修正版を比較検討する。
  論文  参考訳（メタデータ） (2022-10-23T17:03:55Z)
• Transformer Grammars: Augmenting Transformer Language Models with Syntactic Inductive Biases at Scale [31.293175512404172]
  Transformer Grammarsは、Transformerの表現力、スケーラビリティ、強力なパフォーマンスを組み合わせたTransformer言語モデルのクラスです。 また, Transformer Grammars は, 構文に敏感な言語モデリング評価指標において, 各種の強力なベースラインを上回ります。
  論文  参考訳（メタデータ） (2022-03-01T17:22:31Z)
• Compositional Generalization Requires Compositional Parsers [69.77216620997305]
  直近のCOGSコーパスにおける構成原理によって導かれるシーケンス・ツー・シーケンスモデルとモデルを比較した。 構造一般化は構成一般化の重要な尺度であり、複雑な構造を認識するモデルを必要とする。
  論文  参考訳（メタデータ） (2022-02-24T07:36:35Z)
• Improving Compositional Generalization in Semantic Parsing [54.4720965813889]
  オフ・オブ・ディストリビューション(OOD)データへのモデルの一般化は、最近、大きな注目を集めている。 合成一般化のための自然なテストベッドである意味解析における合成一般化について検討する。
  論文  参考訳（メタデータ） (2020-10-12T12:34:58Z)
• On Compositions of Transformations in Contrastive Self-Supervised Learning [66.15514035861048]
  本稿では,コントラスト学習をより広範な変換集合に一般化する。 特定の変換に不変であり、他の変換に特有であることは、効果的なビデオ表現の学習に不可欠である。
  論文  参考訳（メタデータ） (2020-03-09T17:56:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。