論文の概要: Learning Syntax Without Planting Trees: Understanding When and Why Transformers Generalize Hierarchically

• arxiv url: http://arxiv.org/abs/2404.16367v2
• Date: Fri, 31 May 2024 23:47:15 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-04 15:08:25.655648
• Title: Learning Syntax Without Planting Trees: Understanding When and Why Transformers Generalize Hierarchically
• Title（参考訳）: 植木なしの構文学習:トランスフォーマーが階層的に一般化する時期と理由を理解する
• Authors: Kabir Ahuja, Vidhisha Balachandran, Madhur Panwar, Tianxing He, Noah A. Smith, Navin Goyal, Yulia Tsvetkov,
• Abstract要約: 自然言語データに基づいて訓練されたトランスフォーマーは、その階層構造を学習し、目に見えない構文構造を持つ文に一般化することが示されている。 本研究では,変圧器モデルにおける帰納バイアスの発生源と,そのような一般化行動を引き起こす可能性のあるトレーニングについて検討する。
• 参考スコア（独自算出の注目度）: 74.96551626420188
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Transformers trained on natural language data have been shown to learn its hierarchical structure and generalize to sentences with unseen syntactic structures without explicitly encoding any structural bias. In this work, we investigate sources of inductive bias in transformer models and their training that could cause such generalization behavior to emerge. We extensively experiment with transformer models trained on multiple synthetic datasets and with different training objectives and show that while other objectives e.g. sequence-to-sequence modeling, prefix language modeling, often failed to lead to hierarchical generalization, models trained with the language modeling objective consistently learned to generalize hierarchically. We then conduct pruning experiments to study how transformers trained with the language modeling objective encode hierarchical structure. When pruned, we find joint existence of subnetworks within the model with different generalization behaviors (subnetworks corresponding to hierarchical structure and linear order). Finally, we take a Bayesian perspective to further uncover transformers' preference for hierarchical generalization: We establish a correlation between whether transformers generalize hierarchically on a dataset and whether the simplest explanation of that dataset is provided by a hierarchical grammar compared to regular grammars exhibiting linear generalization.
• Abstract（参考訳）: 自然言語データに基づいて訓練されたトランスフォーマーは、その階層構造を学習し、構造バイアスを明示的に符号化することなく、目に見えない構文構造を持つ文に一般化することが示されている。 本研究では,変圧器モデルにおける帰納バイアスの発生源と,そのような一般化行動が出現する可能性のあるトレーニングについて検討する。 我々は、複数の合成データセットに基づいて訓練されたトランスフォーマーモデルと異なる訓練目標を用いて広範囲に実験を行い、他の目的である、例えば、シーケンス・ツー・シーケンス・モデリング、プレフィックス言語モデリングは階層的な一般化に至らなかったが、言語モデリングの目的で訓練されたモデルは、階層的に一般化するために一貫して学習された。 次に、言語モデリングの目的である階層構造を符号化するトランスフォーマーがどのように訓練されたかを研究するために、プルーニング実験を行う。 刈り取られると、一般化挙動が異なるモデル(階層構造と線形順序に対応するサブネット)の中にサブネットの結合が存在することが分かる。 線形一般化を示す正規文法と比較して、変換器がデータセット上で階層的に一般化するか否かと、そのデータセットの最も単純な説明が階層文法によって提供されるかどうかの相関関係を確立する。

関連論文リスト

• How to Plant Trees in Language Models: Data and Architectural Effects on the Emergence of Syntactic Inductive Biases [28.58785395946639]
  事前学習は、微調整後にタスクを実行する際に、階層的な構文的特徴に依存するように言語モデルを教えることができることを示す。 アーキテクチャの特徴(深さ、幅、パラメータ数)と、事前学習コーパスのジャンルとサイズに焦点を当てる。
  論文  参考訳（メタデータ） (2023-05-31T14:38:14Z)
• Grokking of Hierarchical Structure in Vanilla Transformers [72.45375959893218]
  トランスフォーマー言語モデルでは,極端に長い訓練期間を経て階層的に一般化できることが示される。 中間深度モデルは、非常に深い変圧器と非常に浅い変圧器の両方よりも良く一般化される。
  論文  参考訳（メタデータ） (2023-05-30T04:34:13Z)
• Characterizing Intrinsic Compositionality in Transformers with Tree Projections [72.45375959893218]
  トランスのようなニューラルモデルは、入力の異なる部分間で情報を任意にルーティングすることができる。 3つの異なるタスクに対するトランスフォーマーは、トレーニングの過程でより木のようなものになることを示す。 これらの木はモデル挙動を予測し、より木のようなモデルは構成的一般化のテストにおいてより良く一般化する。
  論文  参考訳（メタデータ） (2022-11-02T17:10:07Z)
• Structural Biases for Improving Transformers on Translation into Morphologically Rich Languages [120.74406230847904]
  TP-Transformerは従来のTransformerアーキテクチャを拡張し、構造を表現するコンポーネントを追加する。 第2の方法は、形態的トークン化でデータをセグメント化することで、データレベルで構造を付与する。 これらの2つのアプローチのそれぞれが、ネットワークがより良いパフォーマンスを達成することを可能にすることは分かっていますが、この改善はデータセットのサイズに依存します。
  論文  参考訳（メタデータ） (2022-08-11T22:42:24Z)
• Forming Trees with Treeformers [3.8073142980733]
  トランスフォーマーのような最先端のニューラルネットワークモデルの多くは、そのアーキテクチャに明確な階層構造を持たない。 CKYアルゴリズムにインスパイアされた汎用エンコーダモジュールであるTreeformerを紹介する。 実験では, 階層構造をトランスフォーマーに組み込むことの利点を実証した。
  論文  参考訳（メタデータ） (2022-07-14T14:39:30Z)
• Compositional Generalization Requires Compositional Parsers [69.77216620997305]
  直近のCOGSコーパスにおける構成原理によって導かれるシーケンス・ツー・シーケンスモデルとモデルを比較した。 構造一般化は構成一般化の重要な尺度であり、複雑な構造を認識するモデルを必要とする。
  論文  参考訳（メタデータ） (2022-02-24T07:36:35Z)
• Transformers Generalize Linearly [1.7709450506466664]
  変換器のシーケンス・ツー・シーケンスモデルにおける構造一般化のパターンについて検討する。 変換器が多種多様な文法マッピングタスクを階層的に一般化するのに失敗するだけでなく、線形一般化の方が同等のネットワークよりも強い傾向を示す。
  論文  参考訳（メタデータ） (2021-09-24T15:48:46Z)
• Compositional Generalization via Semantic Tagging [81.24269148865555]
  本稿では,シーケンス・ツー・シーケンスモデルの表現性と一般性を保存するための新しいデコードフレームワークを提案する。 提案手法は, モデルアーキテクチャ, ドメイン, セマンティックフォーマリズム間の構成一般化を一貫して改善することを示す。
  論文  参考訳（メタデータ） (2020-10-22T15:55:15Z)
• Does syntax need to grow on trees? Sources of hierarchical inductive bias in sequence-to-sequence networks [28.129220683169052]
  ニューラルネットワークモデルでは、帰納バイアスは理論上モデルアーキテクチャのあらゆる側面から生じる可能性がある。 2つの構文的タスクで訓練されたニューラルシークエンス・ツー・シーケンスモデルの一般化挙動にどのようなアーキテクチャ的要因が影響を及ぼすかを検討する。
  論文  参考訳（メタデータ） (2020-01-10T19:02:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。