論文の概要: Linguistic dependencies and statistical dependence
- arxiv url: http://arxiv.org/abs/2104.08685v1
- Date: Sun, 18 Apr 2021 02:43:37 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-20 13:38:43.534631
- Title: Linguistic dependencies and statistical dependence
- Title(参考訳): 言語依存と統計的依存
- Authors: Jacob Louis Hoover, Alessandro Sordoni, Wenyu Du, Timothy J. O'Donnell
- Abstract要約: 文脈における単語の確率を推定するために,事前学習した言語モデルを用いる。
最大CPMI木は非文脈PMI推定値から抽出した木よりも言語的依存関係によく対応していることがわかった。
- 参考スコア(独自算出の注目度): 76.89273585568084
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: What is the relationship between linguistic dependencies and statistical
dependence? Building on earlier work in NLP and cognitive science, we study
this question. We introduce a contextualized version of pointwise mutual
information (CPMI), using pretrained language models to estimate probabilities
of words in context. Extracting dependency trees which maximize CPMI, we
compare the resulting structures against gold dependencies. Overall, we find
that these maximum-CPMI trees correspond to linguistic dependencies more often
than trees extracted from non-contextual PMI estimate, but only roughly as
often as a simple baseline formed by connecting adjacent words. We also provide
evidence that the extent to which the two kinds of dependency align cannot be
explained by the distance between words or by the category of the dependency
relation. Finally, our analysis sheds some light on the differences between
large pretrained language models, specifically in the kinds of inductive biases
they encode.
- Abstract(参考訳): 言語依存と統計的依存の関係について
NLPと認知科学の先行研究に基づいて,本問題を考察した。
本稿では,事前学習された言語モデルを用いて文脈における単語の確率を推定する,ポイントワイズ相互情報(cpmi)の文脈化バージョンを提案する。
CPMIを最大化する依存木を抽出し、金の依存に対して得られた構造を比較する。
概して、これらの最大cpmi木は、非文脈的pmi推定から抽出された木よりも言語依存度が高いが、隣接した単語を接続して形成された単純なベースラインとほぼ同程度であることがわかった。
また,2種類の依存関係が一致する範囲は,単語間の距離や依存関係関係のカテゴリによって説明できないことを示す。
最後に、我々の分析は、大きな事前訓練された言語モデルの違い、特に符号化された帰納的バイアスの種類に光を当てている。
関連論文リスト
- Syntactic Language Change in English and German: Metrics, Parsers, and
Convergences [59.3104689496844]
本論文は,過去160年間の議会討論のコーパスを用いて,英語とドイツ語の統語的言語変化のダイアクロニックな傾向を考察する。
私たちは、広く使われているStanford Coreと、新しい4つの選択肢を含む5つの依存関係をベースとしています。
文長分布の尾部では,構文的尺度の変化が頻繁であることが明らかとなった。
論文 参考訳(メタデータ) (2024-02-18T11:46:16Z) - False perspectives on human language: why statistics needs linguistics [0.8699677835130408]
統計的測度は, 構造的モデルと非構造的モデルのいずれかに基づいて定義できることを示す。
構文構造を反映した仮定モデルのみが、言語の規則性を考慮できる。
論文 参考訳(メタデータ) (2023-02-17T11:40:32Z) - Supporting Medical Relation Extraction via Causality-Pruned Semantic
Dependency Forest [8.73855139557187]
本稿では,因果的説明理論に基づく医用テキストからの意味的・統語的情報をモデル化する手法を提案する。
我々はセマンティック埋め込み1-best依存木からなる依存林を生成する。
タスク固有の因果説明器を用いて依存林をプルークし、それを設計したグラフ畳み込みネットワークに入力し、対応する表現を学習する。
論文 参考訳(メタデータ) (2022-08-29T10:17:47Z) - To be Closer: Learning to Link up Aspects with Opinions [18.956990787407793]
アスペクトベース感情分析(ABSA)における係り受け解析木の有用性
本研究では,アスペクト中心のツリー構造を学習することで,アスペクトと対応する意見語の距離を短くすることを目的とする。
学習プロセスにより、木構造はアスペクトと意見語を適応的に相関させ、ABSAタスクの極性をよりよく識別することができる。
論文 参考訳(メタデータ) (2021-09-17T07:37:13Z) - Learning compositional structures for semantic graph parsing [81.41592892863979]
本稿では、AM依存性解析をニューラル潜在変数モデルで直接トレーニングする方法を示す。
本モデルでは,いくつかの言語現象を独自に把握し,教師あり学習に匹敵する精度を達成している。
論文 参考訳(メタデータ) (2021-06-08T14:20:07Z) - Syntactic Nuclei in Dependency Parsing -- A Multilingual Exploration [8.25332300240617]
本稿では,核の概念を普遍依存の枠組みで定義する方法について述べる。
12言語の実験では、核組成は解析精度が小さいが顕著に向上していることが示された。
論文 参考訳(メタデータ) (2021-01-28T12:22:30Z) - Learning Relation Prototype from Unlabeled Texts for Long-tail Relation
Extraction [84.64435075778988]
本稿では,ラベルのないテキストから関係プロトタイプを学習するための一般的なアプローチを提案する。
我々は、エンティティ間の暗黙的な要因として関係プロトタイプを学習する。
私たちは、New York TimesとGoogle Distant Supervisionの2つの公開データセットで実験を行います。
論文 参考訳(メタデータ) (2020-11-27T06:21:12Z) - Learning Informative Representations of Biomedical Relations with Latent
Variable Models [2.4366811507669115]
本稿では,任意に柔軟な分布を持つ潜在変数モデルを提案する。
我々のモデルは、パラメータが少なく、トレーニングがかなり速く、両方のタスクの強いベースラインと競合する結果が得られることを実証する。
論文 参考訳(メタデータ) (2020-11-20T08:56:31Z) - Please Mind the Root: Decoding Arborescences for Dependency Parsing [67.71280539312536]
我々はUniversal Dependency Treebankから多くの言語における最先端の出力を分析する。
最悪の制約違反率は24%です。
論文 参考訳(メタデータ) (2020-10-06T08:31:14Z) - A Survey of Unsupervised Dependency Parsing [62.16714720135358]
教師なしの依存関係解析は、正しいパースツリーのアノテーションを持たない文から依存関係を学ぶことを目的としている。
その困難さにもかかわらず、教師なしの構文解析は、ほとんど無制限に注釈のないテキストデータを利用することができるため、興味深い研究方向である。
論文 参考訳(メタデータ) (2020-10-04T10:51:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。