論文の概要: Grokking of Hierarchical Structure in Vanilla Transformers
- arxiv url: http://arxiv.org/abs/2305.18741v1
- Date: Tue, 30 May 2023 04:34:13 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-31 18:19:23.871588
- Title: Grokking of Hierarchical Structure in Vanilla Transformers
- Title（参考訳）: バニラ変圧器の階層構造のグロッキング
- Authors: Shikhar Murty, Pratyusha Sharma, Jacob Andreas, Christopher D. Manning
- Abstract要約: トランスフォーマー言語モデルでは,極端に長い訓練期間を経て階層的に一般化できることが示される。
中間深度モデルは、非常に深い変圧器と非常に浅い変圧器の両方よりも良く一般化される。
- 参考スコア（独自算出の注目度）: 72.45375959893218
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: For humans, language production and comprehension is sensitive to the
hierarchical structure of sentences. In natural language processing, past work
has questioned how effectively neural sequence models like transformers capture
this hierarchical structure when generalizing to structurally novel inputs. We
show that transformer language models can learn to generalize hierarchically
after training for extremely long periods -- far beyond the point when
in-domain accuracy has saturated. We call this phenomenon \emph{structural
grokking}. On multiple datasets, structural grokking exhibits inverted U-shaped
scaling in model depth: intermediate-depth models generalize better than both
very deep and very shallow transformers. When analyzing the relationship
between model-internal properties and grokking, we find that optimal depth for
grokking can be identified using the tree-structuredness metric of
\citet{murty2023projections}. Overall, our work provides strong evidence that,
with extended training, vanilla transformers discover and use hierarchical
structure.
- Abstract（参考訳）: 人間にとって、言語の生成と理解は文の階層構造に敏感である。
自然言語処理において、過去の研究は、構造的に新しい入力を一般化する際に、トランスフォーマーのようなニューラルネットワークモデルがこの階層構造を効果的に捉えるか疑問視している。
変換言語モデルは、ドメイン内精度が飽和した時点をはるかに超えて、非常に長い期間のトレーニングを経て階層的に一般化することを学ぶことができる。
この現象を 'emph{structureural grokking} と呼ぶ。
複数のデータセットにおいて、構造グロッキングはモデルの深さが反転したu字型のスケーリングを示す: 中間深度モデルは、非常に深いトランスフォーマーと非常に浅いトランスフォーマーの両方よりも一般化する。
モデル内的特性とグロッキングの関係を分析すると、グロッキングの最適深さは \citet{murty2023projections} の木構造計量を用いて同定できることがわかった。
全体として、我々の研究は、拡張トレーニングによってバニラトランスフォーマーが階層構造を発見し、利用するという強い証拠を提供する。
関連論文リスト
- Learning Syntax Without Planting Trees: Understanding When and Why Transformers Generalize Hierarchically [74.96551626420188]
自然言語データに基づいて訓練されたトランスフォーマーは、その階層構造を学習し、目に見えない構文構造を持つ文に一般化することが示されている。
本研究では,変圧器モデルにおける帰納バイアスの発生源と,そのような一般化行動を引き起こす可能性のあるトレーニングについて検討する。
論文 参考訳（メタデータ） (2024-04-25T07:10:29Z) - How Do Transformers Learn Topic Structure: Towards a Mechanistic
Understanding [56.222097640468306]
我々は、トランスフォーマーが「意味構造」を学ぶ方法の機械的理解を提供する
数学的解析とウィキペディアデータの実験を組み合わせることで、埋め込み層と自己保持層がトピック構造をエンコードしていることを示す。
論文 参考訳（メタデータ） (2023-03-07T21:42:17Z) - Characterizing Intrinsic Compositionality in Transformers with Tree
Projections [72.45375959893218]
トランスのようなニューラルモデルは、入力の異なる部分間で情報を任意にルーティングすることができる。
3つの異なるタスクに対するトランスフォーマーは、トレーニングの過程でより木のようなものになることを示す。
これらの木はモデル挙動を予測し、より木のようなモデルは構成的一般化のテストにおいてより良く一般化する。
論文 参考訳（メタデータ） (2022-11-02T17:10:07Z) - Structural Biases for Improving Transformers on Translation into
Morphologically Rich Languages [120.74406230847904]
TP-Transformerは従来のTransformerアーキテクチャを拡張し、構造を表現するコンポーネントを追加する。
第2の方法は、形態的トークン化でデータをセグメント化することで、データレベルで構造を付与する。
これらの2つのアプローチのそれぞれが、ネットワークがより良いパフォーマンスを達成することを可能にすることは分かっていますが、この改善はデータセットのサイズに依存します。
論文 参考訳（メタデータ） (2022-08-11T22:42:24Z) - Forming Trees with Treeformers [3.8073142980733]
トランスフォーマーのような最先端のニューラルネットワークモデルの多くは、そのアーキテクチャに明確な階層構造を持たない。
CKYアルゴリズムにインスパイアされた汎用エンコーダモジュールであるTreeformerを紹介する。
実験では, 階層構造をトランスフォーマーに組み込むことの利点を実証した。
論文 参考訳（メタデータ） (2022-07-14T14:39:30Z) - Transformers Generalize Linearly [1.7709450506466664]
変換器のシーケンス・ツー・シーケンスモデルにおける構造一般化のパターンについて検討する。
変換器が多種多様な文法マッピングタスクを階層的に一般化するのに失敗するだけでなく、線形一般化の方が同等のネットワークよりも強い傾向を示す。
論文 参考訳（メタデータ） (2021-09-24T15:48:46Z) - Tree-structured Attention with Hierarchical Accumulation [103.47584968330325]
階層的累積」は解析木構造を一定時間複雑度で自己注意に符号化する。
提案手法は,4つの IWSLT 翻訳タスクと WMT'14 翻訳タスクにおいて,SOTA 法より優れている。
論文 参考訳（メタデータ） (2020-02-19T08:17:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。