論文の概要: RuSentEval: Linguistic Source, Encoder Force!
- arxiv url: http://arxiv.org/abs/2103.00573v2
- Date: Tue, 2 Mar 2021 11:40:25 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-05 05:47:57.562166
- Title: RuSentEval: Linguistic Source, Encoder Force!
- Title(参考訳): RuSentEval: 言語ソース,エンコーダフォース!
- Authors: Vladislav Mikhailov and Ekaterina Taktasheva and Elina Sigdel and
Ekaterina Artemova
- Abstract要約: ロシア向けの14のプロービングタスクの拡張セットであるRuSentEvalを紹介します。
5つの多言語トランスフォーマーにおける様々な言語特性の分布を探索するために補足的プローブ法の組み合わせを適用した。
その結果,言語知識の表現方法の共通理解に矛盾する興味深い知見が得られた。
- 参考スコア(独自算出の注目度): 1.8160945635344525
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The success of pre-trained transformer language models has brought a great
deal of interest on how these models work, and what they learn about language.
However, prior research in the field is mainly devoted to English, and little
is known regarding other languages. To this end, we introduce RuSentEval, an
enhanced set of 14 probing tasks for Russian, including ones that have not been
explored yet. We apply a combination of complementary probing methods to
explore the distribution of various linguistic properties in five multilingual
transformers for two typologically contrasting languages -- Russian and
English. Our results provide intriguing findings that contradict the common
understanding of how linguistic knowledge is represented, and demonstrate that
some properties are learned in a similar manner despite the language
differences.
- Abstract(参考訳): 事前に訓練されたトランスフォーマー言語モデルの成功は、これらのモデルがどのように機能するか、そして言語について何を学ぶかに大きな関心をもたらしました。
しかし、この分野の先行研究は主に英語に特化しており、他の言語についてはほとんど知られていない。
この目的のために、ロシア向けの14の探索タスクの強化セットであるRuSentEvalを紹介した。
補足的探索法を組み合わせて,ロシア語と英語の2つのタイプ論的対照的な言語に対して,多言語トランスフォーマー5つの言語特性の分布を探索する。
本研究は,言語知識の表現方法に関する共通理解と矛盾する興味深い知見を示し,言語的差異にもかかわらず,いくつかの性質が類似した方法で学習されていることを示す。
関連論文リスト
- What Linguistic Features and Languages are Important in LLM Translation? [4.888605304379589]
7BのLlama2モデルは、これまでに見たすべての言語に対して10 BLEUスコアを超える。
構文的類似性は、翻訳品質を決定する上で、必ずしも主要な言語要因ではない。
一部の言語は、英語よりも訓練データが少ないにもかかわらず、英語に匹敵する強い相関関係を示している。
論文 参考訳(メタデータ) (2024-02-21T16:32:38Z) - A Computational Model for the Assessment of Mutual Intelligibility Among
Closely Related Languages [1.5773159234875098]
密接に関連する言語は、ある言語の話者が積極的に学習することなく他の言語の話者を理解することができる言語類似性を示す。
相互の知性は程度によって異なり、典型的には精神言語実験でテストされる。
本稿では,人間による言語学習の認知過程を近似するために,線形識別学習システムを用いたコンピュータ支援手法を提案する。
論文 参考訳(メタデータ) (2024-02-05T11:32:13Z) - Relationship of the language distance to English ability of a country [0.0]
本稿では,言語間の意味的相違を測る新しい手法を提案する。
提案するセマンティック言語距離の有効性を実証的に検討する。
実験の結果, 言語距離は, 国の平均英語能力に負の影響を及ぼすことが示された。
論文 参考訳(メタデータ) (2022-11-15T02:40:00Z) - Establishing Interlingua in Multilingual Language Models [0.0]
異なる言語が大きな多言語言語モデルにおいて共有空間に収束することを示す。
我々は28の多様な言語に分析を拡張し、言語間の空間が言語の言語的関連性に類似した特定の構造を示すことを発見した。
論文 参考訳(メタデータ) (2021-09-02T20:53:14Z) - Discovering Representation Sprachbund For Multilingual Pre-Training [139.05668687865688]
多言語事前学習モデルから言語表現を生成し、言語分析を行う。
すべての対象言語を複数のグループにクラスタリングし、表現のスプラックバンドとして各グループに名前を付ける。
言語間ベンチマークで実験を行い、強いベースラインと比較して大幅な改善が達成された。
論文 参考訳(メタデータ) (2021-09-01T09:32:06Z) - Morph Call: Probing Morphosyntactic Content of Multilingual Transformers [2.041108289731398]
Morph Callは、異なる形態を持つ4つのインド・ヨーロッパ語(英語、フランス語、ドイツ語、ロシア語)の46の探索タスクからなるスイートである。
我々は4つの多言語トランスのモルフォシンタクティックな内容を分析するために,ニューロン,層および表現レベルのイントロスペクション技術の組み合わせを用いる。
その結果, POSタグの微調整により, 探索性能が向上し, モデル間でのモルフォシンタクティック知識の分配方法が変化することが示唆された。
論文 参考訳(メタデータ) (2021-04-26T19:53:00Z) - AM2iCo: Evaluating Word Meaning in Context across Low-ResourceLanguages
with Adversarial Examples [51.048234591165155]
本稿では, AM2iCo, Adversarial and Multilingual Meaning in Contextを提案する。
言語間文脈における単語の意味の同一性を理解するために、最先端(SotA)表現モデルを忠実に評価することを目的としている。
その結果、現在のSotAプリトレーニングエンコーダは人間のパフォーマンスにかなり遅れていることが明らかとなった。
論文 参考訳(メタデータ) (2021-04-17T20:23:45Z) - Are Multilingual Models Effective in Code-Switching? [57.78477547424949]
多言語モデルの有効性を検討し,複合言語設定の能力と適応性について検討する。
この結果から,事前学習した多言語モデルでは,コードスイッチングにおける高品質な表現が必ずしも保証されないことが示唆された。
論文 参考訳(メタデータ) (2021-03-24T16:20:02Z) - Verb Knowledge Injection for Multilingual Event Processing [50.27826310460763]
動詞のセマンティック・シンタクティックな振る舞いに関する明示的な情報を注入することでLMプリトレーニングトランスフォーマーの性能が向上するかどうかを検討する。
まず,動詞知識の注入が英語イベント抽出のパフォーマンス向上につながることを示す。
次に、他の言語でのイベント抽出のための動詞アダプタの有用性を探ります。
論文 参考訳(メタデータ) (2020-12-31T03:24:34Z) - Bridging Linguistic Typology and Multilingual Machine Translation with
Multi-View Language Representations [83.27475281544868]
特異ベクトル標準相関解析を用いて、各情報源からどのような情報が誘導されるかを調べる。
我々の表現は類型学を組み込み、言語関係と相関関係を強化する。
次に、多言語機械翻訳のための多視点言語ベクトル空間を利用して、競合する全体的な翻訳精度を実現する。
論文 参考訳(メタデータ) (2020-04-30T16:25:39Z) - Knowledge Distillation for Multilingual Unsupervised Neural Machine
Translation [61.88012735215636]
unsupervised neural machine translation (UNMT) は、最近、いくつかの言語対に対して顕著な結果を得た。
UNMTは単一の言語ペア間でのみ翻訳することができ、同時に複数の言語ペアに対して翻訳結果を生成することはできない。
本稿では,1つのエンコーダと1つのデコーダを用いて13言語間を翻訳する簡単な手法を実証的に紹介する。
論文 参考訳(メタデータ) (2020-04-21T17:26:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。