論文の概要: Syntactic Substitutability as Unsupervised Dependency Syntax

• arxiv url: http://arxiv.org/abs/2211.16031v3
• Date: Fri, 20 Oct 2023 18:10:57 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-25 14:14:46.209078
• Title: Syntactic Substitutability as Unsupervised Dependency Syntax
• Title（参考訳）: 教師なし依存構文としての構文置換性
• Authors: Jasper Jian and Siva Reddy
• Abstract要約: 依存関係関係や構文置換可能性の定義において、より一般的な性質を暗黙的にモデル化する。 この性質は、依存関係の両端にある単語が、同じカテゴリの単語で置き換えられるという事実を捉えている。 使用する代替品の数を増やすことで、自然データに対する解析精度が向上することを示す。
• 参考スコア（独自算出の注目度）: 31.488677474152794
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Syntax is a latent hierarchical structure which underpins the robust and compositional nature of human language. In this work, we explore the hypothesis that syntactic dependencies can be represented in language model attention distributions and propose a new method to induce these structures theory-agnostically. Instead of modeling syntactic relations as defined by annotation schemata, we model a more general property implicit in the definition of dependency relations, syntactic substitutability. This property captures the fact that words at either end of a dependency can be substituted with words from the same category. Substitutions can be used to generate a set of syntactically invariant sentences whose representations are then used for parsing. We show that increasing the number of substitutions used improves parsing accuracy on natural data. On long-distance subject-verb agreement constructions, our method achieves 79.5% recall compared to 8.9% using a previous method. Our method also provides improvements when transferred to a different parsing setup, demonstrating that it generalizes.
• Abstract（参考訳）: 構文は、人間の言語のロバストで構成的な性質を基礎とする潜在階層構造である。 本研究では,構文依存を言語モデル注意分布に表現できるという仮説を考察し,これらの構造を理論的に推論する新しい手法を提案する。 アノテーションスキーマによって定義された構文関係をモデル化するのではなく、依存関係の定義において暗黙的により一般的な性質をモデル化する。 この性質は、依存関係の両端にある単語が同じカテゴリの単語に置き換えられるという事実を捉えている。 置換は構文的に不変な文の集合を生成し、その表現は解析に使用される。 置換数の増加は自然データの解析精度を向上させることを示す。 提案手法は, 従来手法の8.9%に比べて79.5%のリコールを実現する。 提案手法は,異なるパース設定に転送した場合の改善も提供し,その一般化を実証する。

関連論文リスト

• Dynamic Syntax Mapping: A New Approach to Unsupervised Syntax Parsing [0.0]
  本研究では,言語モデル,特に注意分布が構文依存をカプセル化できるという前提について検討する。 本稿ではこれらの構造を誘導するための革新的なアプローチである動的構文マッピング(DSM)を紹介する。 本研究により, 自然言語データの解析精度が向上することが明らかとなった。
  論文  参考訳（メタデータ） (2023-12-18T10:34:29Z)
• Conjunct Resolution in the Face of Verbal Omissions [51.220650412095665]
  本稿では,テキスト上で直接動作する接続分解タスクを提案し,コーディネーション構造に欠けている要素を復元するために,分割・言い換えパラダイムを利用する。 クラウドソースアノテーションによる自然に発生する動詞の省略例を10万件以上を含む,大規模なデータセットをキュレートする。 我々は、このタスクのために様々な神経ベースラインをトレーニングし、最良の手法が適切なパフォーマンスを得る一方で、改善のための十分なスペースを残していることを示す。
  論文  参考訳（メタデータ） (2023-05-26T08:44:02Z)
• Structural Ambiguity and its Disambiguation in Language Model Based Parsers: the Case of Dutch Clause Relativization [2.9950872478176627]
  先行文の存在が相対的節の曖昧さをいかに解決するかを考察する。 その結果、証明ネットに基づくニューロシンボリックは、普遍的な依存関係に基づくアプローチよりも、データ偏差補正に対してよりオープンであることが示された。
  論文  参考訳（メタデータ） (2023-05-24T09:04:18Z)
• The distribution of syntactic dependency distances [0.7614628596146599]
  我々は,構文的依存距離の実際の分布のキャラクタリゼーションに寄与する。 ブレークポイント後の確率の減衰を許容する新しい二重指数モデルを提案する。 2つの登録モデルが、私たちが検討した20言語の中で、最も可能性の高いモデルであることが分かりました。
  論文  参考訳（メタデータ） (2022-11-26T17:31:25Z)
• On The Ingredients of an Effective Zero-shot Semantic Parser [95.01623036661468]
  我々は、標準発話とプログラムの訓練例を文法から言い換えて、ゼロショット学習を分析する。 改良された文法,より強力なパラフレーズ,効率的な学習手法を用いて,これらのギャップを埋めることを提案する。 我々のモデルはラベル付きデータゼロの2つの意味解析ベンチマーク(Scholar, Geo)で高い性能を達成する。
  論文  参考訳（メタデータ） (2021-10-15T21:41:16Z)
• Neural Abstructions: Abstractions that Support Construction for Grounded Language Learning [69.1137074774244]
  言語の相互作用を効果的に活用するには、言語基底に対する2つの最も一般的なアプローチの制限に対処する必要がある。 本稿では,ラベル条件付き生成モデルの推論手順に対する制約のセットであるニューラル・アブストラクションの考え方を紹介する。 この手法により,マインクラフトにおけるオープンエンドハウスタスクのセマンティックな変更をユーザ人口が構築できることが示される。
  論文  参考訳（メタデータ） (2021-07-20T07:01:15Z)
• Syntactic Nuclei in Dependency Parsing -- A Multilingual Exploration [8.25332300240617]
  本稿では,核の概念を普遍依存の枠組みで定義する方法について述べる。 12言語の実験では、核組成は解析精度が小さいが顕著に向上していることが示された。
  論文  参考訳（メタデータ） (2021-01-28T12:22:30Z)
• Infusing Finetuning with Semantic Dependencies [62.37697048781823]
  シンタックスとは異なり、セマンティクスは今日の事前訓練モデルによって表面化されないことを示す。 次に、畳み込みグラフエンコーダを使用して、タスク固有の微調整にセマンティック解析を明示的に組み込む。
  論文  参考訳（メタデータ） (2020-12-10T01:27:24Z)
• Unsupervised Distillation of Syntactic Information from Contextualized Word Representations [62.230491683411536]
  我々は,ニューラルネットワーク表現における意味論と構造学の非教師なしの絡み合いの課題に取り組む。 この目的のために、構造的に類似しているが意味的に異なる文群を自動的に生成する。 我々は、我々の変換クラスタベクトルが、語彙的意味論ではなく構造的特性によって空間に現れることを実証する。
  論文  参考訳（メタデータ） (2020-10-11T15:13:18Z)
• Transition-Based Dependency Parsing using Perceptron Learner [34.59241394911966]
  Perceptron Learner を用いたトランジッションベースの依存性解析に取り組む。 提案モデルでは,Perceptron Learnerにより関連性の高い機能を付加し,ベースラインのアーク標準よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2020-01-22T20:58:22Z)
• Multiplex Word Embeddings for Selectional Preference Acquisition [70.33531759861111]
  単語間の様々な関係に応じて容易に拡張できる多重単語埋め込みモデルを提案する。 本モデルでは,不必要なスパース性を導入することなく,関係の異なる単語を効果的に識別することができる。
  論文  参考訳（メタデータ） (2020-01-09T04:47:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。