論文の概要: Establishing Interlingua in Multilingual Language Models

• arxiv url: http://arxiv.org/abs/2109.01207v1
• Date: Thu, 2 Sep 2021 20:53:14 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-06 23:18:54.332371
• Title: Establishing Interlingua in Multilingual Language Models
• Title（参考訳）: 多言語モデルにおけるインターリングアの確立
• Authors: Maksym Del, Mark Fishel
• Abstract要約: 異なる言語が大きな多言語言語モデルにおいて共有空間に収束することを示す。 我々は28の多様な言語に分析を拡張し、言語間の空間が言語の言語的関連性に類似した特定の構造を示すことを発見した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large multilingual language models show remarkable zero-shot cross-lingual transfer performance on a range of tasks. Follow-up works hypothesized that these models internally project representations of different languages into a shared interlingual space. However, they produced contradictory results. In this paper, we correct %one of the previous works the famous prior work claiming that "BERT is not an Interlingua" and show that with the proper choice of sentence representation different languages actually do converge to a shared space in such language models. Furthermore, we demonstrate that this convergence pattern is robust across four measures of correlation similarity and six mBERT-like models. We then extend our analysis to 28 diverse languages and find that the interlingual space exhibits a particular structure similar to the linguistic relatedness of languages. We also highlight a few outlier languages that seem to fail to converge to the shared space. The code for replicating our results is available at the following URL: https://github.com/maksym-del/interlingua.
• Abstract（参考訳）: 大規模多言語言語モデルでは,タスクの多言語間転送性能が顕著である。 フォローアップは、これらのモデルが異なる言語の内部表現を共通の言語間空間に投影することを仮定している。 しかし、結果は矛盾していた。 本稿では、従来の著作のうち「BERTはインターリングアではない」という主張を正すとともに、文表現の適切な選択によって、異なる言語が実際にそのような言語モデルにおいて共有空間に収束することを示す。 さらに, この収束パターンは, 4つの相関類似度と6つのmBERT様モデルに対して頑健であることを示す。 分析を28の多様な言語に拡張し、言語間空間が言語の言語関連性に類似した特定の構造を示すことを見出した。 また、共有空間に収束しないように見えるいくつかの不適切な言語も強調します。 結果を複製するコードは、以下のURLで利用可能である。

関連論文リスト

• The Role of Language Imbalance in Cross-lingual Generalisation: Insights from Cloned Language Experiments [57.273662221547056]
  本研究では,言語間一般化の非直感的な新規ドライバである言語不均衡について検討する。 学習中に支配的な言語が存在することが、あまり頻度の低い言語の性能を高めることを観察する。 分析を実言語に拡張するにつれ、頻繁な言語は依然として恩恵を受けていますが、言語不均衡が言語間の一般化を引き起こすかどうかは決定的ではありません。
  論文  参考訳（メタデータ） (2024-04-11T17:58:05Z)
• Counterfactually Probing Language Identity in Multilingual Models [15.260518230218414]
  多言語モデルの内部構造を探索するために, 対実的探索法AlterRepを用いる。 言語 X のテンプレートを考えると、言語 Y が言語 Y の単語の確率を体系的に増加させることが分かる。
  論文  参考訳（メタデータ） (2023-10-29T01:21:36Z)
• The Less the Merrier? Investigating Language Representation in Multilingual Models [8.632506864465501]
  多言語モデルにおける言語表現について検討する。 我々は、コミュニティ中心のモデルが、低リソース言語で同じ家系の言語を区別する上で、より良い性能を発揮することを実験から観察した。
  論文  参考訳（メタデータ） (2023-10-20T02:26:34Z)
• Exploring Anisotropy and Outliers in Multilingual Language Models for Cross-Lingual Semantic Sentence Similarity [64.18762301574954]
  これまでの研究によると、文脈言語モデルによって出力される表現は静的な型埋め込みよりも異方性が高い。 これは単言語モデルと多言語モデルの両方に当てはまるように思われるが、多言語コンテキストでの作業はあまり行われていない。 複数の事前訓練された多言語言語モデルにおける外乱次元とその異方性との関係について検討する。
  論文  参考訳（メタデータ） (2023-06-01T09:01:48Z)
• Discovering Language-neutral Sub-networks in Multilingual Language Models [15.94622051535847]
  多言語モデルの言語中立性は、これらのモデルの言語エンコードサブネットワーク間の重なり合いの関数である。 mBERTを基礎として、様々な言語やタスクに個別に最適化されたサブネットワークを見つけるために、宝くじの仮説を用いる。 我々は,mBERTは言語ニュートラルなサブネットワークと,複数の補助言語固有のサブネットワークで構成されていると結論付けた。
  論文  参考訳（メタデータ） (2022-05-25T11:35:41Z)
• A Massively Multilingual Analysis of Cross-linguality in Shared Embedding Space [61.18554842370824]
  言語間モデルでは、多くの異なる言語に対する表現は同じ空間に存在している。 我々は,bitext検索性能の形式で,言語間アライメントのタスクベース尺度を計算した。 我々はこれらのアライメント指標の潜在的な予測因子として言語的、準言語的、および訓練関連の特徴について検討する。
  論文  参考訳（メタデータ） (2021-09-13T21:05:37Z)
• Examining Cross-lingual Contextual Embeddings with Orthogonal Structural Probes [0.2538209532048867]
  オルソゴン構造プローブ(Limisiewicz and Marevcek, 2021)では、特定の言語的特徴についてこの疑問に答えることができる。 InmBERTの文脈表現を符号化した構文(UD)と語彙(WordNet)構造情報を9つの多言語で評価した。 ゼロショットと少数ショットのクロスランガル構文解析にこの結果を適用した。
  論文  参考訳（メタデータ） (2021-09-10T15:03:11Z)
• Discovering Representation Sprachbund For Multilingual Pre-Training [139.05668687865688]
  多言語事前学習モデルから言語表現を生成し、言語分析を行う。 すべての対象言語を複数のグループにクラスタリングし、表現のスプラックバンドとして各グループに名前を付ける。 言語間ベンチマークで実験を行い、強いベースラインと比較して大幅な改善が達成された。
  論文  参考訳（メタデータ） (2021-09-01T09:32:06Z)
• How Good is Your Tokenizer? On the Monolingual Performance of Multilingual Language Models [96.32118305166412]
  本研究では,5つの単一言語下流タスクのセットに基づいて,事前学習可能な単言語モデルを持つ9種類の言語について検討した。 多言語モデルの語彙で適切に表現された言語は、単言語モデルよりも性能が著しく低下する。
  論文  参考訳（メタデータ） (2020-12-31T14:11:00Z)
• Learning Contextualised Cross-lingual Word Embeddings and Alignments for Extremely Low-Resource Languages Using Parallel Corpora [63.5286019659504]
  そこで本稿では,小さな並列コーパスに基づく文脈型言語間単語埋め込み学習手法を提案する。 本手法は,入力文の翻訳と再構成を同時に行うLSTMエンコーダデコーダモデルを用いて単語埋め込みを実現する。
  論文  参考訳（メタデータ） (2020-10-27T22:24:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。