論文の概要: StructFormer: Joint Unsupervised Induction of Dependency and
Constituency Structure from Masked Language Modeling
- arxiv url: http://arxiv.org/abs/2012.00857v2
- Date: Tue, 15 Dec 2020 20:55:53 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-30 23:23:52.929608
- Title: StructFormer: Joint Unsupervised Induction of Dependency and
Constituency Structure from Masked Language Modeling
- Title（参考訳）: StructFormer: マスケッド言語モデリングによる依存性と構成構造の非教師付き誘導
- Authors: Yikang Shen, Yi Tay, Che Zheng, Dara Bahri, Donald Metzler, Aaron
Courville
- Abstract要約: 依存関係と選挙区構造を同時に誘導できる新しいモデルであるStructFormerを導入する。
我々は,新しい依存性制約自己保持機構を通じて,変換器に誘導される依存性関係を微分可能な方法で統合する。
実験結果から, 教師なし選挙区解析, 教師なし依存関係解析, マスキング言語モデリングにおいて, モデルが強い結果が得られることが示された。
- 参考スコア（独自算出の注目度）: 45.96663013609177
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: There are two major classes of natural language grammars -- the dependency
grammar that models one-to-one correspondences between words and the
constituency grammar that models the assembly of one or several corresponded
words. While previous unsupervised parsing methods mostly focus on only
inducing one class of grammars, we introduce a novel model, StructFormer, that
can induce dependency and constituency structure at the same time. To achieve
this, we propose a new parsing framework that can jointly generate a
constituency tree and dependency graph. Then we integrate the induced
dependency relations into the transformer, in a differentiable manner, through
a novel dependency-constrained self-attention mechanism. Experimental results
show that our model can achieve strong results on unsupervised constituency
parsing, unsupervised dependency parsing, and masked language modeling at the
same time.
- Abstract（参考訳）: 自然言語文法には2つの主要なクラスがあり、単語間の1対1の対応をモデル化する依存文法と、1つまたは複数の対応語の集合をモデル化する構成文法である。
従来の教師なし構文解析法は1つの文法クラスのみに焦点をあてるが、我々は依存性と構成構造を同時に誘導する新しいモデルであるstructformerを導入する。
これを実現するために,構成木と依存性グラフを共同で生成可能な新しい構文解析フレームワークを提案する。
次に,新たな依存制約型自己着脱機構により,誘導された依存関係をトランスフォーマタに微分可能な方法で統合する。
実験結果から, 教師なし選挙区解析, 教師なし依存関係解析, マスキング言語モデリングを同時に行うことができることがわかった。
関連論文リスト
- Linguistic Structure Induction from Language Models [1.8130068086063336]
この論文は、教師なし環境で言語モデル(LM)から選挙区構造と依存関係構造を生成することに焦点を当てている。
本稿では,エンコーダネットワークにトランスフォーマーアーキテクチャを組み込んだStructFormer(SF)について詳細に検討し,その構成と依存性について述べる。
この分野の課題を分析し、対処するための6つの実験を提示します。
論文 参考訳（メタデータ） (2024-03-11T16:54:49Z) - Generic Dependency Modeling for Multi-Party Conversation [32.25605889407403]
相対的依存符号化(ReDE)の形で依存関係を符号化する手法を提案する。
自己注意の計算を改良してトランスフォーマーに実装する方法を示す。
論文 参考訳（メタデータ） (2023-02-21T13:58:19Z) - Autoregressive Structured Prediction with Language Models [73.11519625765301]
本稿では, PLM を用いた自己回帰的手法を用いて, モデル構造を行動列として記述する。
我々のアプローチは、私たちが見てきた全ての構造化予測タスクにおいて、新しい最先端を実現する。
論文 参考訳（メタデータ） (2022-10-26T13:27:26Z) - Language Model Cascades [72.18809575261498]
テスト時に1つのモデルで繰り返し対話する、あるいは複数のモデルの合成は、さらに機能を拡張する。
制御フローと動的構造を持つ場合、確率的プログラミングのテクニックが必要となる。
この観点から、スクラッチパッド/思考連鎖、検証器、STaR、選択推論、ツール利用など、いくつかの既存のテクニックを定式化します。
論文 参考訳（メタデータ） (2022-07-21T07:35:18Z) - Syntactic Inductive Biases for Deep Learning Methods [8.758273291015474]
帰納バイアスの2つの家系を提案し,その1つは選挙区構造,もう1つは依存関係構造について検討した。
選挙区帰納バイアスは、ディープラーニングモデルに対して、長期的および短期的な情報を個別に処理するために異なる単位(またはニューロン)を使用するように促す。
依存性帰納バイアスは、入力シーケンス内のエンティティ間の潜伏関係を見つけることをモデルに促す。
論文 参考訳（メタデータ） (2022-06-08T11:18:39Z) - Dependency Induction Through the Lens of Visual Perception [81.91502968815746]
本稿では,単語の具体性を利用した教師なし文法帰納モデルと,構成的視覚に基づく構成的文法を共同学習する手法を提案する。
実験により,提案した拡張は,文法的サイズが小さい場合でも,現在最先端の視覚的接地モデルよりも優れた性能を示すことが示された。
論文 参考訳（メタデータ） (2021-09-20T18:40:37Z) - Learning compositional structures for semantic graph parsing [81.41592892863979]
本稿では、AM依存性解析をニューラル潜在変数モデルで直接トレーニングする方法を示す。
本モデルでは,いくつかの言語現象を独自に把握し,教師あり学習に匹敵する精度を達成している。
論文 参考訳（メタデータ） (2021-06-08T14:20:07Z) - Syntactic Nuclei in Dependency Parsing -- A Multilingual Exploration [8.25332300240617]
本稿では,核の概念を普遍依存の枠組みで定義する方法について述べる。
12言語の実験では、核組成は解析精度が小さいが顕著に向上していることが示された。
論文 参考訳（メタデータ） (2021-01-28T12:22:30Z) - Second-Order Unsupervised Neural Dependency Parsing [52.331561380948564]
ほとんどの教師なし依存は、親子情報のみを考慮した一階確率的生成モデルに基づいている。
親子や兄弟姉妹の情報を組み込んだ教師なし神経依存モデルの2階拡張を提案する。
我々のジョイントモデルは、完全なWSJテストセットにおける前の最先端技術よりも10%改善します。
論文 参考訳（メタデータ） (2020-10-28T03:01:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。