Fugu-MT 論文翻訳(概要): Cross-neutralising: Probing for joint encoding of linguistic information in multilingual models

論文の概要: Cross-neutralising: Probing for joint encoding of linguistic information in multilingual models

arxiv url: http://arxiv.org/abs/2010.12825v2
Date: Sat, 13 Mar 2021 16:21:09 GMT
ステータス: 処理完了
システム内更新日: 2022-10-03 13:02:33.002129
Title: Cross-neutralising: Probing for joint encoding of linguistic information in multilingual models
Title（参考訳）: クロスニュートラシング:多言語モデルにおける言語情報の共同符号化の提案
Authors: Rochelle Choenni, Ekaterina Shutova
Abstract要約: 言語間の関係を2つの最先端多言語モデルにエンコードする方法について検討する。その結果,言語特性は類型的に類似した言語間で共同でコード化されていることが示唆された。
参考スコア（独自算出の注目度）: 17.404220737977738
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Multilingual sentence encoders are widely used to transfer NLP models across languages. The success of this transfer is, however, dependent on the model's ability to encode the patterns of cross-lingual similarity and variation. Yet, little is known as to how these models are able to do this. We propose a simple method to study how relationships between languages are encoded in two state-of-the-art multilingual models (i.e. M-BERT and XLM-R). The results provide insight into their information sharing mechanisms and suggest that linguistic properties are encoded jointly across typologically-similar languages in these models.
Abstract（参考訳）: 多言語文エンコーダは言語間でNLPモデルを転送するために広く使われている。しかし、この伝達の成功は、言語間の類似性と変異のパターンを符号化するモデルの能力に依存する。しかし、これらのモデルがこれを実現する方法についてはほとんど知られていない。本稿では,言語間の関係を2つの最先端多言語モデル(M-BERTとXLM-R)にエンコードする方法を提案する。これらの結果は,それらの情報共有機構に関する洞察を与え,これらのモデルにおける類型的類似言語間で言語特性が共同で符号化されていることを示唆している。

関連論文リスト

Streaming Bilingual End-to-End ASR model using Attention over Multiple Softmax [6.386371634323785]
本稿では,両言語を単一のニューラルモデルで認識可能な,バイリンガル・エンド・ツー・エンド(E2E)モデリング手法を提案する。提案モデルでは,自己認識機構によって結合された言語固有のジョイントネットワークを用いて,エンコーダと予測ネットワークを共有する。
論文参考訳（メタデータ） (2024-01-22T01:44:42Z)
Soft Language Clustering for Multilingual Model Pre-training [57.18058739931463]
本稿では,インスタンスを条件付きで符号化するためのフレキシブルガイダンスとして,コンテキスト的にプロンプトを検索するXLM-Pを提案する。我々のXLM-Pは、(1)言語間における言語不変および言語固有知識の軽量なモデリングを可能にし、(2)他の多言語事前学習手法との容易な統合を可能にする。
論文参考訳（メタデータ） (2023-06-13T08:08:08Z)
Exploring Representational Disparities Between Multilingual and Bilingual Translation Models [16.746335565636976]
多言語モデルにおける言語ペアの中には、バイリンガルモデル、特に1対多の翻訳設定において、パフォーマンスが悪くなるものもある。与えられた言語対に対して、その多言語モデルデコーダ表現は一貫して等方的ではなく、同等のバイリンガルモデルデコーダ表現よりも少ない次元を占有していることを示す。
論文参考訳（メタデータ） (2023-05-23T16:46:18Z)
Multi-lingual Evaluation of Code Generation Models [82.7357812992118]
本稿では,MBXPとMultilingual HumanEval,MathQA-Xという,評価コード生成モデルに関する新しいベンチマークを提案する。これらのデータセットは10以上のプログラミング言語をカバーする。コード生成モデルの性能を多言語で評価することができる。
論文参考訳（メタデータ） (2022-10-26T17:17:06Z)
Breaking Down Multilingual Machine Translation [74.24795388967907]
マルチ言語学習は一般にエンコーダにとって有益であるが,ローソース言語(LRL)ではデコーダにのみ有益であることを示す。 LRLの多言語モデルと一対多モデルは、Aharoniらによって報告された最良の結果よりも優れています。
論文参考訳（メタデータ） (2021-10-15T14:57:12Z)
A Multilingual Bag-of-Entities Model for Zero-Shot Cross-Lingual Text Classification [16.684856745734944]
ゼロショット言語間テキスト分類の性能を向上する多言語バッグ・オブ・エンティリティモデルを提案する。同じ概念を表す複数の言語のエンティティは、ユニークな識別子で定義される。したがって、リソース豊富な言語のエンティティ機能に基づいて訓練されたモデルは、他の言語に直接適用することができる。
論文参考訳（メタデータ） (2021-10-15T01:10:50Z)
Revisiting Language Encoding in Learning Multilingual Representations [70.01772581545103]
言語埋め込みを置き換えるクロスリンガル言語投影(Cross-lingual Language Projection, XLP)と呼ばれる新しいアプローチを提案する。 XLPは単語埋め込みを言語固有の意味空間に投影し、投影された埋め込みはTransformerモデルに供給される。実験により、xlpは広範囲の多言語ベンチマークデータセットのモデル性能を自由かつ著しく向上できることが示された。
論文参考訳（メタデータ） (2021-02-16T18:47:10Z)
Cross-lingual Machine Reading Comprehension with Language Branch Knowledge Distillation [105.41167108465085]
言語間機械読解(CLMRC)は、ローソース言語に大規模なデータセットがないため、依然として難しい問題である。本稿では,Language Branch Machine Reading (LBMRC) という新しい拡張手法を提案する。 LBMRCは、個々の言語に精通したMultiple Machine Read comprehension (MRC)モデルを訓練する。複数の言語分岐モデルから全ての対象言語に対する単一モデルへのアマルガメート知識の多言語蒸留アプローチを考案する。
論文参考訳（メタデータ） (2020-10-27T13:12:17Z)
What does it mean to be language-agnostic? Probing multilingual sentence encoders for typological properties [17.404220737977738]
最先端の多言語エンコーダから文表現を探索する手法を提案する。本研究は,異なる事前学習戦略に関連する言語変化の符号化における興味深い違いを示す。
論文参考訳（メタデータ） (2020-09-27T15:00:52Z)
FILTER: An Enhanced Fusion Method for Cross-lingual Language Understanding [85.29270319872597]
我々は,XLMファインタニングの入力として言語間データを利用する拡張融合法を提案する。推論中は、ターゲット言語で入力されたテキストとソース言語の翻訳に基づいて予測を行う。この問題に対処するため,対象言語における翻訳テキストのための自動生成ソフト擬似ラベルに基づくモデル学習のためのKL分割自己学習損失を提案する。
論文参考訳（メタデータ） (2020-09-10T22:42:15Z)
Language-agnostic Multilingual Modeling [23.06484126933893]
我々は,言語に依存しない多言語ASRシステムを構築し,多対一のトランスデューサを用いて,すべての言語を1つの書き起こしシステムに変換する。我々は,ヒンディー語,ベンガル語,タミル語,カナダ語の4つの言語を用いて,言語に依存しない多言語モデルを用いて,単語誤り率(WER)を最大10%削減できることを示す。
論文参考訳（メタデータ） (2020-04-20T18:57:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。