論文の概要: Linguistic dependencies and statistical dependence

• arxiv url: http://arxiv.org/abs/2104.08685v1
• Date: Sun, 18 Apr 2021 02:43:37 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-20 13:38:43.534631
• Title: Linguistic dependencies and statistical dependence
• Title（参考訳）: 言語依存と統計的依存
• Authors: Jacob Louis Hoover, Alessandro Sordoni, Wenyu Du, Timothy J. O'Donnell
• Abstract要約: 文脈における単語の確率を推定するために,事前学習した言語モデルを用いる。 最大CPMI木は非文脈PMI推定値から抽出した木よりも言語的依存関係によく対応していることがわかった。
• 参考スコア（独自算出の注目度）: 76.89273585568084
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: What is the relationship between linguistic dependencies and statistical dependence? Building on earlier work in NLP and cognitive science, we study this question. We introduce a contextualized version of pointwise mutual information (CPMI), using pretrained language models to estimate probabilities of words in context. Extracting dependency trees which maximize CPMI, we compare the resulting structures against gold dependencies. Overall, we find that these maximum-CPMI trees correspond to linguistic dependencies more often than trees extracted from non-contextual PMI estimate, but only roughly as often as a simple baseline formed by connecting adjacent words. We also provide evidence that the extent to which the two kinds of dependency align cannot be explained by the distance between words or by the category of the dependency relation. Finally, our analysis sheds some light on the differences between large pretrained language models, specifically in the kinds of inductive biases they encode.
• Abstract（参考訳）: 言語依存と統計的依存の関係について NLPと認知科学の先行研究に基づいて,本問題を考察した。 本稿では,事前学習された言語モデルを用いて文脈における単語の確率を推定する,ポイントワイズ相互情報(cpmi)の文脈化バージョンを提案する。 CPMIを最大化する依存木を抽出し、金の依存に対して得られた構造を比較する。 概して、これらの最大cpmi木は、非文脈的pmi推定から抽出された木よりも言語依存度が高いが、隣接した単語を接続して形成された単純なベースラインとほぼ同程度であることがわかった。 また,2種類の依存関係が一致する範囲は,単語間の距離や依存関係関係のカテゴリによって説明できないことを示す。 最後に、我々の分析は、大きな事前訓練された言語モデルの違い、特に符号化された帰納的バイアスの種類に光を当てている。

関連論文リスト

• A Novel Dependency Framework for Enhancing Discourse Data Analysis [27.152245569974678]
  この研究はPDTBアノテーションを依存性構造に変換することに重点を置いている。 改良されたBERTベースの談話を用いて、英語、中国語、その他の言語でPDTBスタイルのコーパスから派生した依存性データの妥当性を検証している。 その結果,PDTB依存性データは有効であり,両者の依存関係距離には強い相関関係があることが示唆された。
  論文  参考訳（メタデータ） (2024-07-17T10:55:00Z)
• Context versus Prior Knowledge in Language Models [49.17879668110546]
  言語モデルは、事前学習中に学んだ事前知識と、文脈で提示された新しい情報を統合する必要があることが多い。 本稿では,モデルがコンテキストと先行するエンティティへの依存性を測定するための2つの相互情報ベースメトリクスを提案する。
  論文  参考訳（メタデータ） (2024-04-06T13:46:53Z)
• Exploring language relations through syntactic distances and geographic proximity [0.4369550829556578]
  ユニバーサル依存データセットから抽出した音声の一連の部分(POS)を用いて言語間距離を探索する。 特定の形態的類型によって説明される例外を除いて、よく知られた言語族やグループに対応する定型クラスタが見つかる。
  論文  参考訳（メタデータ） (2024-03-27T10:36:17Z)
• Syntactic Language Change in English and German: Metrics, Parsers, and Convergences [56.47832275431858]
  本論文は,過去160年間の議会討論のコーパスを用いて,英語とドイツ語の統語的言語変化のダイアクロニックな傾向を考察する。 私たちは、広く使われているStanford Coreと、新しい4つの選択肢を含む5つの依存関係をベースとしています。 文長分布の尾部では,構文的尺度の変化が頻繁であることが明らかとなった。
  論文  参考訳（メタデータ） (2024-02-18T11:46:16Z)
• To be Closer: Learning to Link up Aspects with Opinions [18.956990787407793]
  アスペクトベース感情分析(ABSA)における係り受け解析木の有用性 本研究では,アスペクト中心のツリー構造を学習することで,アスペクトと対応する意見語の距離を短くすることを目的とする。 学習プロセスにより、木構造はアスペクトと意見語を適応的に相関させ、ABSAタスクの極性をよりよく識別することができる。
  論文  参考訳（メタデータ） (2021-09-17T07:37:13Z)
• Learning compositional structures for semantic graph parsing [81.41592892863979]
  本稿では、AM依存性解析をニューラル潜在変数モデルで直接トレーニングする方法を示す。 本モデルでは,いくつかの言語現象を独自に把握し,教師あり学習に匹敵する精度を達成している。
  論文  参考訳（メタデータ） (2021-06-08T14:20:07Z)
• Syntactic Nuclei in Dependency Parsing -- A Multilingual Exploration [8.25332300240617]
  本稿では,核の概念を普遍依存の枠組みで定義する方法について述べる。 12言語の実験では、核組成は解析精度が小さいが顕著に向上していることが示された。
  論文  参考訳（メタデータ） (2021-01-28T12:22:30Z)
• Learning Relation Prototype from Unlabeled Texts for Long-tail Relation Extraction [84.64435075778988]
  本稿では,ラベルのないテキストから関係プロトタイプを学習するための一般的なアプローチを提案する。 我々は、エンティティ間の暗黙的な要因として関係プロトタイプを学習する。 私たちは、New York TimesとGoogle Distant Supervisionの2つの公開データセットで実験を行います。
  論文  参考訳（メタデータ） (2020-11-27T06:21:12Z)
• Learning Informative Representations of Biomedical Relations with Latent Variable Models [2.4366811507669115]
  本稿では,任意に柔軟な分布を持つ潜在変数モデルを提案する。 我々のモデルは、パラメータが少なく、トレーニングがかなり速く、両方のタスクの強いベースラインと競合する結果が得られることを実証する。
  論文  参考訳（メタデータ） (2020-11-20T08:56:31Z)
• Please Mind the Root: Decoding Arborescences for Dependency Parsing [67.71280539312536]
  我々はUniversal Dependency Treebankから多くの言語における最先端の出力を分析する。 最悪の制約違反率は24%です。
  論文  参考訳（メタデータ） (2020-10-06T08:31:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。