論文の概要: Multilingual Nonce Dependency Treebanks: Understanding how LLMs
represent and process syntactic structure
- arxiv url: http://arxiv.org/abs/2311.07497v1
- Date: Mon, 13 Nov 2023 17:36:58 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-14 13:22:23.719531
- Title: Multilingual Nonce Dependency Treebanks: Understanding how LLMs
represent and process syntactic structure
- Title(参考訳): 多言語性nonce依存性ツリーバンク:llmの表現方法とプロセス構文構造を理解する
- Authors: David Arps, Laura Kallmeyer, Younes Samih, Hassan Sajjad
- Abstract要約: SPUD (Semantically Perturbed Universal Dependencies) は、Universal Dependencies (UD) コーパスのためのナンスツリーバンクを作成するためのフレームワークである。
我々は、アラビア語、英語、フランス語、ドイツ語、ロシア語でナンスデータを作成し、SPUDツリーバンクの2つのユースケースを実証する。
- 参考スコア(独自算出の注目度): 17.003565449230045
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We introduce SPUD (Semantically Perturbed Universal Dependencies), a
framework for creating nonce treebanks for the multilingual Universal
Dependencies (UD) corpora. SPUD data satisfies syntactic argument structure,
provides syntactic annotations, and ensures grammaticality via
language-specific rules. We create nonce data in Arabic, English, French,
German, and Russian, and demonstrate two use cases of SPUD treebanks. First, we
investigate the effect of nonce data on word co-occurrence statistics, as
measured by perplexity scores of autoregressive (ALM) and masked language
models (MLM). We find that ALM scores are significantly more affected by nonce
data than MLM scores. Second, we show how nonce data affects the performance of
syntactic dependency probes. We replicate the findings of M\"uller-Eberstein et
al. (2022) on nonce test data and show that the performance declines on both
MLMs and ALMs wrt. original test data. However, a majority of the performance
is kept, suggesting that the probe indeed learns syntax independently from
semantics.
- Abstract(参考訳): 我々はSPUD(Semantically Perturbed Universal Dependencies)を導入した。これは多言語ユニバーサル依存(UD)コーパスのためのナンスツリーバンクを作成するためのフレームワークである。
SPUDデータは構文的引数構造を満足し、構文的アノテーションを提供し、言語固有の規則を通じて文法性を保証する。
我々は、アラビア語、英語、フランス語、ドイツ語、ロシア語でナンスデータを作成し、SPUDツリーバンクの2つのユースケースを示す。
まず,自動回帰(ALM)とマスキング言語モデル(MLM)の難易度スコアを用いて,名詞データが単語共起統計に与える影響を検討した。
その結果, ALM スコアは MLM スコアよりも, ナンスデータの影響が大きいことがわかった。
第二に、ナンスデータが構文依存プローブの性能に与える影響を示す。
実測データに基づくM\"uller-Eberstein et al. (2022) の結果を再現し, MLM と ALM の両方の性能低下を示す。
オリジナルのテストデータ。
しかし、ほとんどのパフォーマンスは保たれており、調査者は意味論から独立して構文を学ぶことになる。
関連論文リスト
- Which Syntactic Capabilities Are Statistically Learned by Masked
Language Models for Code? [51.29970742152668]
精度に基づく測定に依存することで、モデルの能力が過大評価される可能性があることを強調する。
これらの問題に対処するために,SyntaxEval in Syntactic Capabilitiesというテクニックを導入する。
論文 参考訳(メタデータ) (2024-01-03T02:44:02Z) - CoAnnotating: Uncertainty-Guided Work Allocation between Human and Large
Language Models for Data Annotation [94.59630161324013]
本稿では,非構造化テキストの大規模共同アノテーションのための新しいパラダイムであるCoAnnotatingを提案する。
我々の実証研究は、CoAnnotatingが、異なるデータセット上の結果から作業を割り当てる効果的な手段であることを示し、ランダムベースラインよりも最大21%のパフォーマンス改善を実現している。
論文 参考訳(メタデータ) (2023-10-24T08:56:49Z) - An Investigation of LLMs' Inefficacy in Understanding Converse Relations [30.94718664430869]
本稿では,知識グラフ補完データセットから抽出した17の関係と1240のトリプルを含む,逆関係に着目した新しいベンチマークであるConvReを紹介する。
我々のConvREは2つのタスク、Re2TextとText2Reを備えており、LLMが関連テキストと関連するテキストのマッチングを判定する能力を評価するために、多選択質問応答として定式化されている。
論文 参考訳(メタデータ) (2023-10-08T13:45:05Z) - Syntax and Semantics Meet in the "Middle": Probing the Syntax-Semantics
Interface of LMs Through Agentivity [68.8204255655161]
このような相互作用を探索するためのケーススタディとして,作用性のセマンティックな概念を提示する。
これは、LMが言語アノテーション、理論テスト、発見のためのより有用なツールとして役立つ可能性を示唆している。
論文 参考訳(メタデータ) (2023-05-29T16:24:01Z) - CompoundPiece: Evaluating and Improving Decompounding Performance of
Language Models [77.45934004406283]
複合語を構成語に分割する作業である「分解」を体系的に研究する。
We introduced a dataset of 255k compound and non-compound words across 56 various languages obtained from Wiktionary。
分割のための専用モデルを訓練するための新しい手法を導入する。
論文 参考訳(メタデータ) (2023-05-23T16:32:27Z) - Measuring Reliability of Large Language Models through Semantic
Consistency [3.4990427823966828]
我々は,オープンなテキスト出力の比較を可能にする意味的一貫性の尺度を開発した。
我々は,この整合度尺度のいくつかのバージョンを実装し,パラフレーズ化した質問に対して,複数のPLMの性能を評価する。
論文 参考訳(メタデータ) (2022-11-10T20:21:07Z) - Multilingual Syntax-aware Language Modeling through Dependency Tree
Conversion [12.758523394180695]
本研究では,9つの変換法と5つの言語にまたがるニューラル言語モデル(LM)の性能への影響について検討する。
平均して、私たちの最高のモデルのパフォーマンスは、すべての言語で最悪の選択に対して、19パーセントの精度向上を示しています。
我々の実験は、正しい木形式を選ぶことの重要性を強調し、情報的な決定を下すための洞察を提供する。
論文 参考訳(メタデータ) (2022-04-19T03:56:28Z) - On Cross-Lingual Retrieval with Multilingual Text Encoders [51.60862829942932]
言語間文書・文検索タスクにおける最先端多言語エンコーダの適合性について検討する。
教師なしのアドホック文と文書レベルのCLIR実験でそれらの性能をベンチマークする。
我々は、ゼロショット言語とドメイン転送CLIR実験のシリーズにおける英語関連データに基づいて、教師付き方式で微調整された多言語エンコーダの評価を行った。
論文 参考訳(メタデータ) (2021-12-21T08:10:27Z) - Multilingual Autoregressive Entity Linking [49.35994386221958]
mGENREはMultilingual Entity Linking問題のためのシーケンス対シーケンスシステムである。
与えられた言語で言及すると、mGENREはターゲットエンティティの名前を左から右へ、トークンごとに予測します。
提案手法の有効性を3つのMELベンチマーク実験を含む広範囲な評価により示す。
論文 参考訳(メタデータ) (2021-03-23T13:25:55Z) - Cross-Lingual Adaptation Using Universal Dependencies [1.027974860479791]
複雑なNLPタスクのためのUD構文解析木を用いて訓練されたモデルは、非常に異なる言語を特徴付けることができることを示す。
UD解析木に基づいて,木カーネルを用いた複数のモデルを開発し,これらのモデルが英語データセットでトレーニングされた場合,他の言語のデータを正しく分類できることを示す。
論文 参考訳(メタデータ) (2020-03-24T13:04:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。