Fugu-MT 論文翻訳(概要): Syntactic Substitutability as Unsupervised Dependency Syntax

論文の概要: Syntactic Substitutability as Unsupervised Dependency Syntax

arxiv url: http://arxiv.org/abs/2211.16031v1
Date: Tue, 29 Nov 2022 09:01:37 GMT
ステータス: 処理完了
システム内更新日: 2022-11-30 16:04:23.890912
Title: Syntactic Substitutability as Unsupervised Dependency Syntax
Title（参考訳）: 教師なし依存構文としての構文置換性
Authors: Jasper Jian and Siva Reddy
Abstract要約: 大規模事前学習型言語モデル (LLM) がテキスト単独で文法を習得できるかどうかを調査する。そこで本研究では,ゴールド・スタンダード・パースを介さずに構文構造を誘導する新たな手法であるSSUDを提案する。
参考スコア（独自算出の注目度）: 22.071712242448143
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Syntax is a latent hierarchical structure which underpins the robust and compositional nature of human language. An active line of inquiry is whether large pretrained language models (LLMs) are able to acquire syntax by training on text alone; understanding a model's syntactic capabilities is essential to understanding how it processes and makes use of language. In this paper, we propose a new method, SSUD, which allows for the induction of syntactic structures without supervision from gold-standard parses. Instead, we seek to define formalism-agnostic, model-intrinsic syntactic parses by using a property of syntactic relations: syntactic substitutability. We demonstrate both quantitative and qualitative gains on dependency parsing tasks using SSUD, and induce syntactic structures which we hope provide clarity into LLMs and linguistic representations, alike.
Abstract（参考訳）: 構文は、人間の言語のロバストで構成的な性質を基礎とする潜在階層構造である。大規模事前学習型言語モデル(LLM)がテキストだけで構文を習得できるかどうか,モデルの構文的能力を理解することは,言語をどのように処理し,活用するかを理解する上で不可欠である。本稿では,金本位構文解析の監督なしに構文構造を誘導する新たな手法であるSSUDを提案する。その代わり、構文的関係の性質(構文的置換可能性)を用いて、形式的に依存しないモデル-イントリンシック構文解析を定義する。我々は,ssudを用いた依存構文解析タスクの定量的・質的向上を実証し,llmと言語表現の明確化を期待する構文構造を誘導する。

関連論文リスト

Dynamic Syntax Mapping: A New Approach to Unsupervised Syntax Parsing [0.0]
本研究では,言語モデル,特に注意分布が構文依存をカプセル化できるという前提について検討する。本稿ではこれらの構造を誘導するための革新的なアプローチである動的構文マッピング(DSM)を紹介する。本研究により, 自然言語データの解析精度が向上することが明らかとなった。
論文参考訳（メタデータ） (2023-12-18T10:34:29Z)
Conjunct Resolution in the Face of Verbal Omissions [51.220650412095665]
本稿では,テキスト上で直接動作する接続分解タスクを提案し,コーディネーション構造に欠けている要素を復元するために,分割・言い換えパラダイムを利用する。クラウドソースアノテーションによる自然に発生する動詞の省略例を10万件以上を含む,大規模なデータセットをキュレートする。我々は、このタスクのために様々な神経ベースラインをトレーニングし、最良の手法が適切なパフォーマンスを得る一方で、改善のための十分なスペースを残していることを示す。
論文参考訳（メタデータ） (2023-05-26T08:44:02Z)
Structural Ambiguity and its Disambiguation in Language Model Based Parsers: the Case of Dutch Clause Relativization [2.9950872478176627]
先行文の存在が相対的節の曖昧さをいかに解決するかを考察する。その結果、証明ネットに基づくニューロシンボリックは、普遍的な依存関係に基づくアプローチよりも、データ偏差補正に対してよりオープンであることが示された。
論文参考訳（メタデータ） (2023-05-24T09:04:18Z)
The distribution of syntactic dependency distances [0.7614628596146599]
我々は,構文的依存距離の実際の分布のキャラクタリゼーションに寄与する。ブレークポイント後の確率の減衰を許容する新しい二重指数モデルを提案する。 2つの登録モデルが、私たちが検討した20言語の中で、最も可能性の高いモデルであることが分かりました。
論文参考訳（メタデータ） (2022-11-26T17:31:25Z)
On The Ingredients of an Effective Zero-shot Semantic Parser [95.01623036661468]
我々は、標準発話とプログラムの訓練例を文法から言い換えて、ゼロショット学習を分析する。改良された文法,より強力なパラフレーズ,効率的な学習手法を用いて,これらのギャップを埋めることを提案する。我々のモデルはラベル付きデータゼロの2つの意味解析ベンチマーク(Scholar, Geo)で高い性能を達成する。
論文参考訳（メタデータ） (2021-10-15T21:41:16Z)
Neural Abstructions: Abstractions that Support Construction for Grounded Language Learning [69.1137074774244]
言語の相互作用を効果的に活用するには、言語基底に対する2つの最も一般的なアプローチの制限に対処する必要がある。本稿では,ラベル条件付き生成モデルの推論手順に対する制約のセットであるニューラル・アブストラクションの考え方を紹介する。この手法により,マインクラフトにおけるオープンエンドハウスタスクのセマンティックな変更をユーザ人口が構築できることが示される。
論文参考訳（メタデータ） (2021-07-20T07:01:15Z)
Syntactic Nuclei in Dependency Parsing -- A Multilingual Exploration [8.25332300240617]
本稿では,核の概念を普遍依存の枠組みで定義する方法について述べる。 12言語の実験では、核組成は解析精度が小さいが顕著に向上していることが示された。
論文参考訳（メタデータ） (2021-01-28T12:22:30Z)
Infusing Finetuning with Semantic Dependencies [62.37697048781823]
シンタックスとは異なり、セマンティクスは今日の事前訓練モデルによって表面化されないことを示す。次に、畳み込みグラフエンコーダを使用して、タスク固有の微調整にセマンティック解析を明示的に組み込む。
論文参考訳（メタデータ） (2020-12-10T01:27:24Z)
Unsupervised Distillation of Syntactic Information from Contextualized Word Representations [62.230491683411536]
我々は,ニューラルネットワーク表現における意味論と構造学の非教師なしの絡み合いの課題に取り組む。この目的のために、構造的に類似しているが意味的に異なる文群を自動的に生成する。我々は、我々の変換クラスタベクトルが、語彙的意味論ではなく構造的特性によって空間に現れることを実証する。
論文参考訳（メタデータ） (2020-10-11T15:13:18Z)
Transition-Based Dependency Parsing using Perceptron Learner [34.59241394911966]
Perceptron Learner を用いたトランジッションベースの依存性解析に取り組む。提案モデルでは,Perceptron Learnerにより関連性の高い機能を付加し,ベースラインのアーク標準よりも優れた性能を示す。
論文参考訳（メタデータ） (2020-01-22T20:58:22Z)
Multiplex Word Embeddings for Selectional Preference Acquisition [70.33531759861111]
単語間の様々な関係に応じて容易に拡張できる多重単語埋め込みモデルを提案する。本モデルでは,不必要なスパース性を導入することなく,関係の異なる単語を効果的に識別することができる。
論文参考訳（メタデータ） (2020-01-09T04:47:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。