論文の概要: Finding Universal Grammatical Relations in Multilingual BERT

• arxiv url: http://arxiv.org/abs/2005.04511v2
• Date: Wed, 20 May 2020 08:32:18 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-05 06:34:08.471720
• Title: Finding Universal Grammatical Relations in Multilingual BERT
• Title（参考訳）: 多言語BERTにおける普遍文法関係の探索
• Authors: Ethan A. Chi, John Hewitt, Christopher D. Manning
• Abstract要約: mBERT表現のサブスペースは、英語以外の言語で構文木の距離を回復することを示す。 我々は,mBERTが構文依存ラベルの表現を学習する証拠を提供する教師なし解析手法を提案する。
• 参考スコア（独自算出の注目度）: 47.74015366712623
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent work has found evidence that Multilingual BERT (mBERT), a transformer-based multilingual masked language model, is capable of zero-shot cross-lingual transfer, suggesting that some aspects of its representations are shared cross-lingually. To better understand this overlap, we extend recent work on finding syntactic trees in neural networks' internal representations to the multilingual setting. We show that subspaces of mBERT representations recover syntactic tree distances in languages other than English, and that these subspaces are approximately shared across languages. Motivated by these results, we present an unsupervised analysis method that provides evidence mBERT learns representations of syntactic dependency labels, in the form of clusters which largely agree with the Universal Dependencies taxonomy. This evidence suggests that even without explicit supervision, multilingual masked language models learn certain linguistic universals.
• Abstract（参考訳）: 近年の研究では、トランスフォーマーをベースとした多言語マスキング言語モデルであるMultilingual BERT (mBERT) がゼロショットのクロスランガル転送が可能であることが証明されており、その表現のいくつかの側面がクロスランガルに共有されていることが示唆されている。 この重複をよりよく理解するために、ニューラルネットワークの内部表現から構文木を見つけるという最近の研究を多言語環境に拡張する。 我々は、mBERT表現のサブスペースが英語以外の言語で構文木距離を回復し、これらのサブスペースが言語間でほぼ共有されていることを示す。 これらの結果から,mBERTが文法的依存ラベルの表現を学習する証拠を,Universal Dependencies分類にほぼ一致するクラスタの形で提示する無教師分析手法を提案する。 この証拠は、明示的な監督なしにも、多言語マスク言語モデルは特定の言語普遍性を学ぶことを示唆している。

関連論文リスト

• Discovering Low-rank Subspaces for Language-agnostic Multilingual Representations [38.56175462620892]
  ML-LM(ML-LM)は,ゼロショット言語間移動の顕著な能力を示す。 多言語埋め込み空間から言語固有の要素を投影する新しい視点を提案する。 本手法を適用すれば,ML-LMよりも一貫した改善が期待できることを示す。
  論文  参考訳（メタデータ） (2024-01-11T09:54:11Z)
• Discovering Language-neutral Sub-networks in Multilingual Language Models [15.94622051535847]
  多言語モデルの言語中立性は、これらのモデルの言語エンコードサブネットワーク間の重なり合いの関数である。 mBERTを基礎として、様々な言語やタスクに個別に最適化されたサブネットワークを見つけるために、宝くじの仮説を用いる。 我々は,mBERTは言語ニュートラルなサブネットワークと,複数の補助言語固有のサブネットワークで構成されていると結論付けた。
  論文  参考訳（メタデータ） (2022-05-25T11:35:41Z)
• Cross-Lingual Ability of Multilingual Masked Language Models: A Study of Language Structure [54.01613740115601]
  本稿では,構成順序,構成,単語共起の3つの言語特性について検討する。 我々の主な結論は、構成順序と単語共起の寄与は限定的である一方、構成は言語間移動の成功にとってより重要であるということである。
  論文  参考訳（メタデータ） (2022-03-16T07:09:35Z)
• An Isotropy Analysis in the Multilingual BERT Embedding Space [18.490856440975996]
  BERTの多言語文脈表現(CWR)における表現劣化問題について検討する。 その結果,多言語埋め込み空間の等方性の向上は,表現力や性能を著しく向上させることが示唆された。 分析の結果, 生成方向は言語によって異なるが, 類似した言語知識を符号化し, 言語間の共通言語空間を示唆している。
  論文  参考訳（メタデータ） (2021-10-09T08:29:49Z)
• Discovering Representation Sprachbund For Multilingual Pre-Training [139.05668687865688]
  多言語事前学習モデルから言語表現を生成し、言語分析を行う。 すべての対象言語を複数のグループにクラスタリングし、表現のスプラックバンドとして各グループに名前を付ける。 言語間ベンチマークで実験を行い、強いベースラインと比較して大幅な改善が達成された。
  論文  参考訳（メタデータ） (2021-09-01T09:32:06Z)
• It's not Greek to mBERT: Inducing Word-Level Translations from Multilingual BERT [54.84185432755821]
  mBERT (multilingual BERT) は、言語間での移動を可能にするリッチな言語間表現を学習する。 我々はmBERTに埋め込まれた単語レベルの翻訳情報について検討し、微調整なしで優れた翻訳能力を示す2つの簡単な方法を提案する。
  論文  参考訳（メタデータ） (2020-10-16T09:49:32Z)
• Bridging Linguistic Typology and Multilingual Machine Translation with Multi-View Language Representations [83.27475281544868]
  特異ベクトル標準相関解析を用いて、各情報源からどのような情報が誘導されるかを調べる。 我々の表現は類型学を組み込み、言語関係と相関関係を強化する。 次に、多言語機械翻訳のための多視点言語ベクトル空間を利用して、競合する全体的な翻訳精度を実現する。
  論文  参考訳（メタデータ） (2020-04-30T16:25:39Z)
• A Study of Cross-Lingual Ability and Language-specific Information in Multilingual BERT [60.9051207862378]
  Multilingual BERTは、言語間転送タスクで驚くほどうまく機能します。 データサイズとコンテキストウィンドウサイズは、転送可能性にとって重要な要素です。 多言語BERTの言語間能力を改善するために、計算的に安価だが効果的なアプローチがある。
  論文  参考訳（メタデータ） (2020-04-20T11:13:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。