論文の概要: Learning Cross-Lingual IR from an English Retriever

• arxiv url: http://arxiv.org/abs/2112.08185v1
• Date: Wed, 15 Dec 2021 15:07:54 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-16 16:09:26.268399
• Title: Learning Cross-Lingual IR from an English Retriever
• Title（参考訳）: 英語レトリバーからの多言語IR学習
• Authors: Yulong Li, Martin Franz, Md Arafat Sultan, Bhavani Iyer, Young-Suk Lee, Avirup Sil
• Abstract要約: 提案手法の精度は25.4 Recall@5ktである。
• 参考スコア（独自算出の注目度）: 10.27108918912692
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present a new cross-lingual information retrieval (CLIR) model trained using multi-stage knowledge distillation (KD). The teacher and the student are heterogeneous systems-the former is a pipeline that relies on machine translation and monolingual IR, while the latter executes a single CLIR operation. We show that the student can learn both multilingual representations and CLIR by optimizing two corresponding KD objectives. Learning multilingual representations from an English-only retriever is accomplished using a novel cross-lingual alignment algorithm that greedily re-positions the teacher tokens for alignment. Evaluation on the XOR-TyDi benchmark shows that the proposed model is far more effective than the existing approach of fine-tuning with cross-lingual labeled IR data, with a gain in accuracy of 25.4 Recall@5kt.
• Abstract（参考訳）: 我々は多段階知識蒸留(KD)を用いて学習した新たな言語間情報検索(CLIR)モデルを提案する。 教師と学生は異種システムであり、前者は機械翻訳と単言語IRに依存し、後者は単一のCLIR操作を実行する。 学習者は2つのKD目標を最適化することにより,多言語表現とCLIRの両方を学習できることを示す。 英語のみの検索者から多言語表現を学習するには、教師トークンを再配置してアライメントを行う新しい言語間アライメントアルゴリズムを用いる。 xor-tydiベンチマークの評価では、従来のクロスリンガルラベルirデータによる微調整アプローチよりもはるかに効果的であり、25.4 recall@5ktの精度が向上した。

関連論文リスト

• Translate-Distill: Learning Cross-Language Dense Retrieval by Translation and Distillation [17.211592060717713]
  本稿では,モノリンガルのクロスエンコーダとCLIRのクロスエンコーダのどちらかから知識を蒸留して,デュアルエンコーダCLIRの学生モデルを訓練するTranslate-Distillを提案する。 このよりリッチなデザインスペースにより、教師モデルは、CLIRのために学生モデルを直接トレーニングしながら、最適化された設定で推論を実行できるようになる。
  論文  参考訳（メタデータ） (2024-01-09T20:40:49Z)
• Dual-Alignment Pre-training for Cross-lingual Sentence Embedding [79.98111074307657]
  本稿では,言語間文埋め込みのためのDAP(Dual-alignment pre-training)フレームワークを提案する。 そこで本研究では,一方の文脈化トークン表現を用いて翻訳相手を再構成する,新しい表現翻訳学習(RTL)タスクを提案する。 我々の手法は文の埋め込みを大幅に改善できる。
  論文  参考訳（メタデータ） (2023-05-16T03:53:30Z)
• Boosting Zero-shot Cross-lingual Retrieval by Training on Artificially Code-Switched Data [26.38449396649045]
  問合せや文書が言語によって異なる場合,ゼロショットローダの有効性は低下する。 そこで我々は,人工的なコード切替データに基づいてランキングモデルを訓練することを提案する。
  論文  参考訳（メタデータ） (2023-05-09T09:32:19Z)
• VECO 2.0: Cross-lingual Language Model Pre-training with Multi-granularity Contrastive Learning [56.47303426167584]
  複数粒度アライメントを持つコントラスト学習に基づく言語間事前学習モデルVECO2.0を提案する。 具体的には、シーケンス・ツー・シーケンスアライメントが誘導され、並列対の類似性を最大化し、非並列対を最小化する。 トークン・ツー・トークンのアライメントは、シソーラス辞書を介して発掘された同義トークンと、バイリンガルな例の他の未使用トークンとのギャップを埋めるために統合される。
  論文  参考訳（メタデータ） (2023-04-17T12:23:41Z)
• On Cross-Lingual Retrieval with Multilingual Text Encoders [51.60862829942932]
  言語間文書・文検索タスクにおける最先端多言語エンコーダの適合性について検討する。 教師なしのアドホック文と文書レベルのCLIR実験でそれらの性能をベンチマークする。 我々は、ゼロショット言語とドメイン転送CLIR実験のシリーズにおける英語関連データに基づいて、教師付き方式で微調整された多言語エンコーダの評価を行った。
  論文  参考訳（メタデータ） (2021-12-21T08:10:27Z)
• From Good to Best: Two-Stage Training for Cross-lingual Machine Reading Comprehension [51.953428342923885]
  モデル性能を向上させるための2段階のアプローチを開発する。 我々は、トップk予測が正確な答えを含む確率を最大化するために、ハードラーニング(HL)アルゴリズムを設計する。 第2段階では, 正解と他の候補との微妙な違いを学習するために, 解答を意識したコントラスト学習機構が開発された。
  論文  参考訳（メタデータ） (2021-12-09T07:31:15Z)
• Evaluating Multilingual Text Encoders for Unsupervised Cross-Lingual Retrieval [51.60862829942932]
  本稿では,言語間文書・文検索タスクにおける最先端多言語エンコーダの適合性に着目した体系的実証研究を行う。 文レベルのCLIRでは、最先端のパフォーマンスが達成できることを実証する。 しかし、ピーク性能は、汎用の多言語テキストエンコーダをオフ・ザ・シェルフで使うのではなく、文の理解タスクにさらに特化したバリエーションに依存している。
  論文  参考訳（メタデータ） (2021-01-21T00:15:38Z)
• Explicit Alignment Objectives for Multilingual Bidirectional Encoders [111.65322283420805]
  本稿では,多言語エンコーダAMBER(Aligned Multilingual Bi-directional EncodeR)の学習方法を提案する。 AMBERは、異なる粒度で多言語表現を整列する2つの明示的なアライメント目標を使用して、追加の並列データに基づいて訓練される。 実験結果から、AMBERは、シーケンスタグ付けで1.1平均F1スコア、XLMR-大規模モデル上での検索で27.3平均精度を得ることがわかった。
  論文  参考訳（メタデータ） (2020-10-15T18:34:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。