論文の概要: Syntactic Substitutability as Unsupervised Dependency Syntax

• arxiv url: http://arxiv.org/abs/2211.16031v2
• Date: Mon, 22 May 2023 03:08:28 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-24 04:56:41.388055
• Title: Syntactic Substitutability as Unsupervised Dependency Syntax
• Title（参考訳）: 教師なし依存構文としての構文置換性
• Authors: Jasper Jian and Siva Reddy
• Abstract要約: テキスト上で学習した言語モデルの注意分布において,構文的依存関係が表現可能であるという仮説を考察する。 本稿では,これらの構造を理論的に推論する新しい手法を提案する。 提案手法は定性的かつ定量的な利得をもたらすことを示し,例えば,長期にわたる主観的合意タスクにおいて78.3%のリコールを達成している。
• 参考スコア（独自算出の注目度）: 22.071712242448143
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Syntax is a latent hierarchical structure which underpins the robust and compositional nature of human language. In this work, we further explore the hypothesis that syntactic dependencies can be represented in the attention distributions of language models trained on text and propose a new method to induce these structures theory-agnostically. Instead of modeling syntactic relations as defined by annotation schemata, we model a more general property implicit in the definition of dependency relations, syntactic substitutability. This property captures the fact that the words at either end of a syntactic dependency can be substituted with words from the same syntactic category, defining a set of syntactically-invariant sentences whose representations are then used as the basis for parsing. We demonstrate that our method results in both qualitative and quantitative gains, for example achieving 78.3% recall on a long-distance subject-verb agreement task vs. 8.5% with a previous unsupervised parsing method.
• Abstract（参考訳）: 構文は、人間の言語のロバストで構成的な性質を基礎とする潜在階層構造である。 本研究では,テキストで学習した言語モデルの注意分布に構文依存が表現できるという仮説をさらに探求し,これらの構造を理論的に推論する新しい手法を提案する。 アノテーションスキーマによって定義された構文関係をモデル化するのではなく、依存関係の定義において暗黙的により一般的な性質をモデル化する。 この性質は、構文依存の両端の単語を同じ構文カテゴリーの単語に置き換えることができ、その表現が解析の基盤として使われる構文的不変な文の集合を定義するという事実を捉えている。 本手法は,従来の教師なし解析法と比較して,78.3%のリコールを達成するなど,質的かつ定量的な向上をもたらすことを実証した。

関連論文リスト

• Dynamic Syntax Mapping: A New Approach to Unsupervised Syntax Parsing [0.0]
  本研究では,言語モデル,特に注意分布が構文依存をカプセル化できるという前提について検討する。 本稿ではこれらの構造を誘導するための革新的なアプローチである動的構文マッピング(DSM)を紹介する。 本研究により, 自然言語データの解析精度が向上することが明らかとなった。
  論文  参考訳（メタデータ） (2023-12-18T10:34:29Z)
• Conjunct Resolution in the Face of Verbal Omissions [51.220650412095665]
  本稿では,テキスト上で直接動作する接続分解タスクを提案し,コーディネーション構造に欠けている要素を復元するために,分割・言い換えパラダイムを利用する。 クラウドソースアノテーションによる自然に発生する動詞の省略例を10万件以上を含む,大規模なデータセットをキュレートする。 我々は、このタスクのために様々な神経ベースラインをトレーニングし、最良の手法が適切なパフォーマンスを得る一方で、改善のための十分なスペースを残していることを示す。
  論文  参考訳（メタデータ） (2023-05-26T08:44:02Z)
• Structural Ambiguity and its Disambiguation in Language Model Based Parsers: the Case of Dutch Clause Relativization [2.9950872478176627]
  先行文の存在が相対的節の曖昧さをいかに解決するかを考察する。 その結果、証明ネットに基づくニューロシンボリックは、普遍的な依存関係に基づくアプローチよりも、データ偏差補正に対してよりオープンであることが示された。
  論文  参考訳（メタデータ） (2023-05-24T09:04:18Z)
• The distribution of syntactic dependency distances [0.7614628596146599]
  我々は,構文的依存距離の実際の分布のキャラクタリゼーションに寄与する。 ブレークポイント後の確率の減衰を許容する新しい二重指数モデルを提案する。 2つの登録モデルが、私たちが検討した20言語の中で、最も可能性の高いモデルであることが分かりました。
  論文  参考訳（メタデータ） (2022-11-26T17:31:25Z)
• On The Ingredients of an Effective Zero-shot Semantic Parser [95.01623036661468]
  我々は、標準発話とプログラムの訓練例を文法から言い換えて、ゼロショット学習を分析する。 改良された文法,より強力なパラフレーズ,効率的な学習手法を用いて,これらのギャップを埋めることを提案する。 我々のモデルはラベル付きデータゼロの2つの意味解析ベンチマーク(Scholar, Geo)で高い性能を達成する。
  論文  参考訳（メタデータ） (2021-10-15T21:41:16Z)
• Neural Abstructions: Abstractions that Support Construction for Grounded Language Learning [69.1137074774244]
  言語の相互作用を効果的に活用するには、言語基底に対する2つの最も一般的なアプローチの制限に対処する必要がある。 本稿では,ラベル条件付き生成モデルの推論手順に対する制約のセットであるニューラル・アブストラクションの考え方を紹介する。 この手法により,マインクラフトにおけるオープンエンドハウスタスクのセマンティックな変更をユーザ人口が構築できることが示される。
  論文  参考訳（メタデータ） (2021-07-20T07:01:15Z)
• Syntactic Nuclei in Dependency Parsing -- A Multilingual Exploration [8.25332300240617]
  本稿では,核の概念を普遍依存の枠組みで定義する方法について述べる。 12言語の実験では、核組成は解析精度が小さいが顕著に向上していることが示された。
  論文  参考訳（メタデータ） (2021-01-28T12:22:30Z)
• Infusing Finetuning with Semantic Dependencies [62.37697048781823]
  シンタックスとは異なり、セマンティクスは今日の事前訓練モデルによって表面化されないことを示す。 次に、畳み込みグラフエンコーダを使用して、タスク固有の微調整にセマンティック解析を明示的に組み込む。
  論文  参考訳（メタデータ） (2020-12-10T01:27:24Z)
• Unsupervised Distillation of Syntactic Information from Contextualized Word Representations [62.230491683411536]
  我々は,ニューラルネットワーク表現における意味論と構造学の非教師なしの絡み合いの課題に取り組む。 この目的のために、構造的に類似しているが意味的に異なる文群を自動的に生成する。 我々は、我々の変換クラスタベクトルが、語彙的意味論ではなく構造的特性によって空間に現れることを実証する。
  論文  参考訳（メタデータ） (2020-10-11T15:13:18Z)
• Transition-Based Dependency Parsing using Perceptron Learner [34.59241394911966]
  Perceptron Learner を用いたトランジッションベースの依存性解析に取り組む。 提案モデルでは,Perceptron Learnerにより関連性の高い機能を付加し,ベースラインのアーク標準よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2020-01-22T20:58:22Z)
• Multiplex Word Embeddings for Selectional Preference Acquisition [70.33531759861111]
  単語間の様々な関係に応じて容易に拡張できる多重単語埋め込みモデルを提案する。 本モデルでは,不必要なスパース性を導入することなく,関係の異なる単語を効果的に識別することができる。
  論文  参考訳（メタデータ） (2020-01-09T04:47:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。