論文の概要: Dual-Alignment Pre-training for Cross-lingual Sentence Embedding

• arxiv url: http://arxiv.org/abs/2305.09148v1
• Date: Tue, 16 May 2023 03:53:30 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-17 16:24:15.104985
• Title: Dual-Alignment Pre-training for Cross-lingual Sentence Embedding
• Title（参考訳）: 言語間文埋め込みのためのデュアルアライメント事前学習
• Authors: Ziheng Li, Shaohan Huang, Zihan Zhang, Zhi-Hong Deng, Qiang Lou, Haizhen Huang, Jian Jiao, Furu Wei, Weiwei Deng, Qi Zhang
• Abstract要約: 本稿では,言語間文埋め込みのためのDAP(Dual-alignment pre-training)フレームワークを提案する。 そこで本研究では,一方の文脈化トークン表現を用いて翻訳相手を再構成する,新しい表現翻訳学習(RTL)タスクを提案する。 我々の手法は文の埋め込みを大幅に改善できる。
• 参考スコア（独自算出の注目度）: 79.98111074307657
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent studies have shown that dual encoder models trained with the sentence-level translation ranking task are effective methods for cross-lingual sentence embedding. However, our research indicates that token-level alignment is also crucial in multilingual scenarios, which has not been fully explored previously. Based on our findings, we propose a dual-alignment pre-training (DAP) framework for cross-lingual sentence embedding that incorporates both sentence-level and token-level alignment. To achieve this, we introduce a novel representation translation learning (RTL) task, where the model learns to use one-side contextualized token representation to reconstruct its translation counterpart. This reconstruction objective encourages the model to embed translation information into the token representation. Compared to other token-level alignment methods such as translation language modeling, RTL is more suitable for dual encoder architectures and is computationally efficient. Extensive experiments on three sentence-level cross-lingual benchmarks demonstrate that our approach can significantly improve sentence embedding. Our code is available at https://github.com/ChillingDream/DAP.
• Abstract（参考訳）: 近年の研究では、文レベルの翻訳ランキングタスクで訓練された二重エンコーダモデルが、言語間文埋め込みに有効な方法であることが示されている。 しかし,これまでに十分に検討されていない多言語シナリオでは,トークンレベルのアライメントも重要であることが示唆された。 本研究は,文レベルのアライメントとトークンレベルのアライメントを組み込んだ言語間文埋め込みのための,二重アライメント事前学習(DAP)フレームワークを提案する。 そこで本研究では,一対一の文脈化トークン表現を用いて翻訳を再構築する新しい表現型翻訳学習(rtl)タスクを提案する。 この再構成目的は、翻訳情報をトークン表現に埋め込むようモデルに促す。 翻訳言語モデリングなどの他のトークンレベルのアライメント手法と比較して、RTLは二重エンコーダアーキテクチャに適している。 3つの文レベルのクロスリンガルベンチマークに関する広範な実験は、このアプローチが文の埋め込みを大幅に改善できることを示しています。 私たちのコードはhttps://github.com/ChillingDream/DAPで公開されています。

関連論文リスト

• Sequence Shortening for Context-Aware Machine Translation [5.803309695504831]
  マルチエンコーダアーキテクチャの特殊な場合において,コントラストデータセットの精度が向上することを示す。 遅延グループと遅延選択という2つの新しい手法を導入し、ネットワークはトークンをグループ化するか、コンテキストとしてキャッシュされるトークンを選択する。
  論文  参考訳（メタデータ） (2024-02-02T13:55:37Z)
• Translate-Distill: Learning Cross-Language Dense Retrieval by Translation and Distillation [17.211592060717713]
  本稿では,モノリンガルのクロスエンコーダとCLIRのクロスエンコーダのどちらかから知識を蒸留して,デュアルエンコーダCLIRの学生モデルを訓練するTranslate-Distillを提案する。 このよりリッチなデザインスペースにより、教師モデルは、CLIRのために学生モデルを直接トレーニングしながら、最適化された設定で推論を実行できるようになる。
  論文  参考訳（メタデータ） (2024-01-09T20:40:49Z)
• VECO 2.0: Cross-lingual Language Model Pre-training with Multi-granularity Contrastive Learning [56.47303426167584]
  複数粒度アライメントを持つコントラスト学習に基づく言語間事前学習モデルVECO2.0を提案する。 具体的には、シーケンス・ツー・シーケンスアライメントが誘導され、並列対の類似性を最大化し、非並列対を最小化する。 トークン・ツー・トークンのアライメントは、シソーラス辞書を介して発掘された同義トークンと、バイリンガルな例の他の未使用トークンとのギャップを埋めるために統合される。
  論文  参考訳（メタデータ） (2023-04-17T12:23:41Z)
• Lightweight Cross-Lingual Sentence Representation Learning [57.9365829513914]
  メモリ効率のよい言語間文表現を生成するために,2層のみの軽量なデュアルトランスフォーマーアーキテクチャを導入する。 本稿では,既存のシングルワードマスキング言語モデルと,新たに提案されたクロスランガルトークンレベルの再構築タスクを組み合わせた,新しい言語間言語モデルを提案する。
  論文  参考訳（メタデータ） (2021-05-28T14:10:48Z)
• SLM: Learning a Discourse Language Representation with Sentence Unshuffling [53.42814722621715]
  談話言語表現を学習するための新しい事前学習目的である文レベル言語モデリングを導入する。 本モデルでは,この特徴により,従来のBERTの性能が大幅に向上することを示す。
  論文  参考訳（メタデータ） (2020-10-30T13:33:41Z)
• Learning Contextualised Cross-lingual Word Embeddings and Alignments for Extremely Low-Resource Languages Using Parallel Corpora [63.5286019659504]
  そこで本稿では,小さな並列コーパスに基づく文脈型言語間単語埋め込み学習手法を提案する。 本手法は,入力文の翻訳と再構成を同時に行うLSTMエンコーダデコーダモデルを用いて単語埋め込みを実現する。
  論文  参考訳（メタデータ） (2020-10-27T22:24:01Z)
• Context-aware Decoder for Neural Machine Translation using a Target-side Document-Level Language Model [12.543106304662059]
  本稿では,文書レベルの言語モデルをデコーダに組み込むことで,文レベルの翻訳モデルを文脈認識モデルに変換する手法を提案する。 我々のデコーダは文レベルのパラレルコーパスとモノリンガルコーパスのみに基づいて構築されている。 理論的観点からは、この研究の核となる部分は、文脈と現在の文間のポイントワイドな相互情報を用いた文脈情報の新しい表現である。
  論文  参考訳（メタデータ） (2020-10-24T08:06:18Z)
• InfoXLM: An Information-Theoretic Framework for Cross-Lingual Language Model Pre-Training [135.12061144759517]
  本稿では,言語間言語モデルの事前学習を定式化する情報理論フレームワークを提案する。 コントラスト学習に基づく新しい事前学習課題を提案する。 単言語コーパスと並列コーパスの両方を活用することで、事前訓練されたモデルの言語間変換性を向上させるために、プレテキストを共同で訓練する。
  論文  参考訳（メタデータ） (2020-07-15T16:58:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。