論文の概要: Bilingual alignment transfers to multilingual alignment for unsupervised parallel text mining

• arxiv url: http://arxiv.org/abs/2104.07642v1
• Date: Thu, 15 Apr 2021 17:51:22 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-16 16:42:42.486998
• Title: Bilingual alignment transfers to multilingual alignment for unsupervised parallel text mining
• Title（参考訳）: 教師なし平行テキストマイニングのためのバイリンガルアライメントの多言語アライメントへの変換
• Authors: Chih-chan Tien, Shane Steinert-Threlkeld
• Abstract要約: 本研究は、ペアまたはペアなしのバイリンガルテキストを用いた言語間表現の学習手法を提案する。 我々は、言語間アライメント戦略は転送可能であり、2つの言語のみをアライメントするように訓練されたモデルは、多言語的によりアライメントされた表現を符号化できると仮定する。
• 参考スコア（独自算出の注目度）: 3.4519649635864584
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This work presents methods for learning cross-lingual sentence representations using paired or unpaired bilingual texts. We hypothesize that the cross-lingual alignment strategy is transferable, and therefore a model trained to align only two languages can encode multilingually more aligned representations. And such transfer from bilingual alignment to multilingual alignment is a dual-pivot transfer from two pivot languages to other language pairs. To study this theory, we train an unsupervised model with unpaired sentences and another single-pair supervised model with bitexts, both based on the unsupervised language model XLM-R. The experiments evaluate the models as universal sentence encoders on the task of unsupervised bitext mining on two datasets, where the unsupervised model reaches the state of the art of unsupervised retrieval, and the alternative single-pair supervised model approaches the performance of multilingually supervised models. The results suggest that bilingual training techniques as proposed can be applied to get sentence representations with higher multilingual alignment.
• Abstract（参考訳）: 本研究は, 対あるいは不対のバイリンガルテキストを用いた言語間文表現学習手法を提案する。 我々は、言語間アライメント戦略は転送可能であり、2つの言語のみをアライメントするように訓練されたモデルは、多言語的によりアライメントされた表現を符号化できると仮定する。 このようなバイリンガルアライメントから多言語アライメントへの変換は、2つのピボット言語から他の言語対への双対ピボット変換である。 この理論を考察するために,教師なし文を用いた教師なしモデルと,教師なし言語モデル XLM-R に基づくビットテックスを用いた1対1教師付きモデルを訓練する。 実験は,教師なしバイテキストマイニングのタスクにおいて,教師なしモデルが教師なし検索の最先端に到達し,代替シングルペア教師付きモデルが多言語教師なしモデルの性能に接近する2つのデータセット上で,普遍文エンコーダとしてモデルを評価する。 その結果,提案するバイリンガル学習手法を多言語アライメントの高い文表現に応用できることが示唆された。

関連論文リスト

• Mitigating Data Imbalance and Representation Degeneration in Multilingual Machine Translation [103.90963418039473]
  Bi-ACLは、MNMTモデルの性能を向上させるために、ターゲット側モノリンガルデータとバイリンガル辞書のみを使用するフレームワークである。 Bi-ACLは、長い尾の言語でも、高リソースの言語でも、より効果的であることを示す。
  論文  参考訳（メタデータ） (2023-05-22T07:31:08Z)
• VECO 2.0: Cross-lingual Language Model Pre-training with Multi-granularity Contrastive Learning [56.47303426167584]
  複数粒度アライメントを持つコントラスト学習に基づく言語間事前学習モデルVECO2.0を提案する。 具体的には、シーケンス・ツー・シーケンスアライメントが誘導され、並列対の類似性を最大化し、非並列対を最小化する。 トークン・ツー・トークンのアライメントは、シソーラス辞書を介して発掘された同義トークンと、バイリンガルな例の他の未使用トークンとのギャップを埋めるために統合される。
  論文  参考訳（メタデータ） (2023-04-17T12:23:41Z)
• Modeling Sequential Sentence Relation to Improve Cross-lingual Dense Retrieval [87.11836738011007]
  マスク付き文モデル(MSM)と呼ばれる多言語多言語言語モデルを提案する。 MSMは、文表現を生成する文エンコーダと、文書から文ベクトルのシーケンスに適用される文書エンコーダとから構成される。 モデルをトレーニングするために,サンプル負の階層的コントラスト損失によって文ベクトルをマスクし,予測するマスク付き文予測タスクを提案する。
  論文  参考訳（メタデータ） (2023-02-03T09:54:27Z)
• Unsupervised Multilingual Sentence Embeddings for Parallel Corpus Mining [38.10950540247151]
  単言語データのみに依存する多言語文の埋め込みを導出する新しい教師なし手法を提案する。 まず、教師なし機械翻訳を用いて合成並列コーパスを作成し、事前訓練された言語間マスキング言語モデル(XLM)を微調整する。 また, 2つの並列コーパスマイニング作業において, バニラXLMよりも22F1ポイント向上した。
  論文  参考訳（メタデータ） (2021-05-21T15:39:16Z)
• Improving the Lexical Ability of Pretrained Language Models for Unsupervised Neural Machine Translation [127.81351683335143]
  クロスリンガルプリトレーニングは、2つの言語の語彙的表現と高レベル表現を整列させるモデルを必要とする。 これまでの研究では、これは表現が十分に整合していないためです。 本稿では,語彙レベルの情報で事前学習するバイリンガルマスク言語モデルを,型レベルのクロスリンガルサブワード埋め込みを用いて強化する。
  論文  参考訳（メタデータ） (2021-03-18T21:17:58Z)
• Globetrotter: Unsupervised Multilingual Translation from Visual Alignment [24.44204156935044]
  視覚的モダリティを用いて複数の言語を整列させるフレームワークを提案する。 言語と画像のクロスモーダルアライメントを推定し,この推定値を用いて言語間表現の学習を指導する。 私たちの言語表現は、1つのステージを持つ1つのモデルで共同で訓練されます。
  論文  参考訳（メタデータ） (2020-12-08T18:50:40Z)
• Cross-lingual Spoken Language Understanding with Regularized Representation Alignment [71.53159402053392]
  外部リソースを使わずに言語間で単語レベルの表現と文レベルの表現を整列する正規化手法を提案する。 言語間言語理解タスクの実験により、我々のモデルは、数ショットとゼロショットの両方のシナリオにおいて、最先端の手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2020-09-30T08:56:53Z)
• InfoXLM: An Information-Theoretic Framework for Cross-Lingual Language Model Pre-Training [135.12061144759517]
  本稿では,言語間言語モデルの事前学習を定式化する情報理論フレームワークを提案する。 コントラスト学習に基づく新しい事前学習課題を提案する。 単言語コーパスと並列コーパスの両方を活用することで、事前訓練されたモデルの言語間変換性を向上させるために、プレテキストを共同で訓練する。
  論文  参考訳（メタデータ） (2020-07-15T16:58:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。