Fugu-MT 論文翻訳(概要): Word-order typology in Multilingual BERT: A case study in subordinate-clause detection

論文の概要: Word-order typology in Multilingual BERT: A case study in subordinate-clause detection

arxiv url: http://arxiv.org/abs/2205.11987v1
Date: Tue, 24 May 2022 11:35:39 GMT
ステータス: 処理完了
システム内更新日: 2022-05-25 13:46:14.872008
Title: Word-order typology in Multilingual BERT: A case study in subordinate-clause detection
Title（参考訳）: 多言語BERTにおける語順型:下節検出の事例
Authors: Dmitry Nikolaev and Sebastian Pad\'o
Abstract要約: 本稿では,これらの特性を探索するために,言語内および言語間における従属クラス検出の課題を用いる。本稿では,この課題は極めて単純で,難解なケースの長い尾で容易に相反し,BERTのゼロショット性能は単語順効果に支配されていることを示す。
参考スコア（独自算出の注目度）: 1.2129015549576372
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: The capabilities and limitations of BERT and similar models are still unclear when it comes to learning syntactic abstractions, in particular across languages. In this paper, we use the task of subordinate-clause detection within and across languages to probe these properties. We show that this task is deceptively simple, with easy gains offset by a long tail of harder cases, and that BERT's zero-shot performance is dominated by word-order effects, mirroring the SVO/VSO/SOV typology.
Abstract（参考訳）: BERTと類似のモデルの能力と限界は、特に言語間の構文的抽象化を学ぶことに関してまだ不明である。本稿では,これらの特性を探索するために,言語内および言語間における従属クラス検出の課題を用いる。我々は,この課題が極めて単純で,難易度の高いケースの長い尾で相反し易いことを示し,BERTのゼロショット性能は,SVO/VSO/SOVタイプロジを反映した語順効果に支配されていることを示した。

関連論文リスト

A Tale of Two Languages: Large-Vocabulary Continuous Sign Language Recognition from Spoken Language Supervision [74.972172804514]
我々は,署名された言語と音声のテキスト間の共同埋め込み空間において,署名シーケンスと出力を抽出できるマルチタスクトランスフォーマーモデルCSLR2を導入する。新しいデータセットアノテーションは、6時間のテストビデオに対して、連続的なサインレベルアノテーションを提供する。私たちのモデルは、両方のタスクにおいて、過去の技術状況よりも大幅に優れています。
論文参考訳（メタデータ） (2024-05-16T17:19:06Z)
Can BERT Refrain from Forgetting on Sequential Tasks? A Probing Study [68.75670223005716]
BERTのような事前学習型言語モデルでは,メモリリプレイが少なくても,逐次学習が可能であることが判明した。実験の結果,BERT は従来学習したタスクに対して,極めて疎らなリプレイや,さらにはリプレイを行なわずに,長期間にわたって高品質な表現を生成できることが判明した。
論文参考訳（メタデータ） (2023-03-02T09:03:43Z)
Prompting Language Models for Linguistic Structure [73.11488464916668]
本稿では,言語構造予測タスクに対する構造化プロンプト手法を提案する。提案手法は, 音声タグ付け, 名前付きエンティティ認識, 文チャンキングについて評価する。 PLMはタスクラベルの事前知識を事前学習コーパスに漏えいすることで有意な事前知識を含むが、構造化プロンプトは任意のラベルで言語構造を復元することも可能である。
論文参考訳（メタデータ） (2022-11-15T01:13:39Z)
Does BERT really agree ? Fine-grained Analysis of Lexical Dependence on a Syntactic Task [70.29624135819884]
目的の構文テンプレート上で,BERTが語彙非依存の主観値数アグリーメント(NA)を実行できる範囲について検討した。名詞文では,単純なテンプレートに対してモデルがよく一般化されるが,1つのアトラクターが存在する場合,語彙非依存の構文一般化を行うことができないことが示唆された。
論文参考訳（メタデータ） (2022-04-14T11:33:15Z)
Exploring the Role of BERT Token Representations to Explain Sentence Probing Results [15.652077779677091]
BERTは特定のトークン表現において有意義な知識をエンコードする傾向にあることを示す。これにより、シンタクティックとセマンティックの異常を検出し、文法的数とテンソル部分空間を一意に分離することができる。
論文参考訳（メタデータ） (2021-04-03T20:40:42Z)
GiBERT: Introducing Linguistic Knowledge into BERT through a Lightweight Gated Injection Method [29.352569563032056]
本稿では,言語知識を単語埋め込みの形で,事前学習したBERTに明示的に注入する手法を提案する。依存性ベースと逆適合の埋め込みを注入する場合、複数のセマンティックな類似性データセットのパフォーマンス改善は、そのような情報が有益であり、現在元のモデルから欠落していることを示している。
論文参考訳（メタデータ） (2020-10-23T17:00:26Z)
Intrinsic Probing through Dimension Selection [69.52439198455438]
現代のほとんどのNLPシステムは、様々なタスクにおいて驚くほど高いパフォーマンスが得られる事前訓練された文脈表現を使用している。このような高いパフォーマンスは、ある種の言語構造がこれらの表現に根ざしない限りはあり得ず、それを探究する研究が盛んに行われている。本稿では,言語情報が表現内でどのように構造化されているかを示す内在的探索と,先行研究で広く普及している外在的探索とを区別し,抽出に成功したことを示すことによって,そのような情報の存在を主張するのみである。
論文参考訳（メタデータ） (2020-10-06T15:21:08Z)
A Study of Cross-Lingual Ability and Language-specific Information in Multilingual BERT [60.9051207862378]
Multilingual BERTは、言語間転送タスクで驚くほどうまく機能します。データサイズとコンテキストウィンドウサイズは、転送可能性にとって重要な要素です。多言語BERTの言語間能力を改善するために、計算的に安価だが効果的なアプローチがある。
論文参考訳（メタデータ） (2020-04-20T11:13:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。