論文の概要: A Hierarchical Transformer for Unsupervised Parsing
- arxiv url: http://arxiv.org/abs/2003.13841v1
- Date: Mon, 30 Mar 2020 22:07:22 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-18 06:31:03.357829
- Title: A Hierarchical Transformer for Unsupervised Parsing
- Title(参考訳): 教師なし構文解析のための階層変換器
- Authors: Ashok Thillaisundaram
- Abstract要約: 階層的な表現を学習できるようにすることで、トランスモデルを拡張します。
言語モデリングの新しいモデルをトレーニングし、教師なし構文解析のタスクに適用する。
我々は、約50%のF1スコアで、WSJ10データセットの無償サブセットに対して妥当な結果を得る。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The underlying structure of natural language is hierarchical; words combine
into phrases, which in turn form clauses. An awareness of this hierarchical
structure can aid machine learning models in performing many linguistic tasks.
However, most such models just process text sequentially and there is no bias
towards learning hierarchical structure encoded into their architecture. In
this paper, we extend the recent transformer model (Vaswani et al., 2017) by
enabling it to learn hierarchical representations. To achieve this, we adapt
the ordering mechanism introduced in Shen et al., 2018, to the self-attention
module of the transformer architecture. We train our new model on language
modelling and then apply it to the task of unsupervised parsing. We achieve
reasonable results on the freely available subset of the WSJ10 dataset with an
F1-score of about 50%.
- Abstract(参考訳): 自然言語の根底にある構造は階層的であり、単語は句に結合し、句を形作る。
この階層構造に対する認識は、多くの言語的タスクを実行する機械学習モデルに役立つ。
しかし、そのようなモデルの多くはテキストを逐次処理するだけで、アーキテクチャにエンコードされた階層構造を学ぶにはバイアスがない。
本稿では,最近のトランスフォーマーモデル(vaswani et al., 2017)を拡張し,階層表現の学習を可能にした。
これを実現するため、2018年にShenらによって導入された注文機構をトランスフォーマーアーキテクチャの自己注意モジュールに適用する。
言語モデリングに関する新しいモデルをトレーニングし、教師なし構文解析のタスクに適用します。
我々は、約50%のF1スコアでWSJ10データセットの無償サブセットに対して妥当な結果を得る。
関連論文リスト
- Pushdown Layers: Encoding Recursive Structure in Transformer Language
Models [86.75729087623259]
再帰は人間の言語の特徴であり、本質的には自己注意に挑戦する。
この作業では、新しいセルフアテンション層であるPushdown Layersを導入している。
プッシュダウン層を備えたトランスフォーマーは、劇的に改善され、3.5倍の高効率な構文一般化を実現した。
論文 参考訳(メタデータ) (2023-10-29T17:27:18Z) - Grokking of Hierarchical Structure in Vanilla Transformers [72.45375959893218]
トランスフォーマー言語モデルでは,極端に長い訓練期間を経て階層的に一般化できることが示される。
中間深度モデルは、非常に深い変圧器と非常に浅い変圧器の両方よりも良く一般化される。
論文 参考訳(メタデータ) (2023-05-30T04:34:13Z) - Characterizing Intrinsic Compositionality in Transformers with Tree
Projections [72.45375959893218]
トランスのようなニューラルモデルは、入力の異なる部分間で情報を任意にルーティングすることができる。
3つの異なるタスクに対するトランスフォーマーは、トレーニングの過程でより木のようなものになることを示す。
これらの木はモデル挙動を予測し、より木のようなモデルは構成的一般化のテストにおいてより良く一般化する。
論文 参考訳(メタデータ) (2022-11-02T17:10:07Z) - Structural Biases for Improving Transformers on Translation into
Morphologically Rich Languages [120.74406230847904]
TP-Transformerは従来のTransformerアーキテクチャを拡張し、構造を表現するコンポーネントを追加する。
第2の方法は、形態的トークン化でデータをセグメント化することで、データレベルで構造を付与する。
これらの2つのアプローチのそれぞれが、ネットワークがより良いパフォーマンスを達成することを可能にすることは分かっていますが、この改善はデータセットのサイズに依存します。
論文 参考訳(メタデータ) (2022-08-11T22:42:24Z) - HiStruct+: Improving Extractive Text Summarization with Hierarchical
Structure Information [0.6443952406204634]
本稿では,階層構造情報を抽出要約モデルに明示的に記述,抽出,エンコード,注入する新しい手法を提案する。
3つのデータセット(CNN/DailyMail、PubMed、arXivなど)のさまざまな実験的な設定を使用して、HiStruct+モデルは、一括して強力なベースラインをパフォーマンスします。
論文 参考訳(メタデータ) (2022-03-17T21:49:26Z) - R2D2: Recursive Transformer based on Differentiable Tree for
Interpretable Hierarchical Language Modeling [36.61173494449218]
本稿では, 構成過程をエミュレートするために, 微分可能なCKYスタイルのバイナリツリーに基づくモデルを提案する。
我々は、このアーキテクチャに対して双方向言語モデル事前学習の目的を拡張し、左右の抽象ノードを与えられた各単語を予測しようと試みる。
また,本手法を大規模化するために,合成ステップの線形数だけを符号化する効率的な伐採木誘導アルゴリズムを導入する。
論文 参考訳(メタデータ) (2021-07-02T11:00:46Z) - GroupBERT: Enhanced Transformer Architecture with Efficient Grouped
Structures [57.46093180685175]
トランスフォーマー層の構造を改良し,より効率的なアーキテクチャを実現する。
自己認識モジュールを補完する畳み込みモジュールを追加し、局所的およびグローバルな相互作用の学習を分離する。
得られたアーキテクチャを言語表現学習に適用し、異なるスケールのBERTモデルと比較して優れた性能を示す。
論文 参考訳(メタデータ) (2021-06-10T15:41:53Z) - SIT3: Code Summarization with Structure-Induced Transformer [48.000063280183376]
シーケンシャル入力を高効率な構造モデリングでエンコードする構造誘起自己保持に基づく新しいモデルを提案する。
新たに提案したモデルでは,一般的なベンチマークで最新の結果が得られる。
論文 参考訳(メタデータ) (2020-12-29T11:37:43Z) - Tree-structured Attention with Hierarchical Accumulation [103.47584968330325]
階層的累積」は解析木構造を一定時間複雑度で自己注意に符号化する。
提案手法は,4つの IWSLT 翻訳タスクと WMT'14 翻訳タスクにおいて,SOTA 法より優れている。
論文 参考訳(メタデータ) (2020-02-19T08:17:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。