論文の概要: Unsupervised Multilingual Dense Retrieval via Generative Pseudo Labeling

• arxiv url: http://arxiv.org/abs/2403.03516v1
• Date: Wed, 6 Mar 2024 07:49:06 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-07 15:57:01.285758
• Title: Unsupervised Multilingual Dense Retrieval via Generative Pseudo Labeling
• Title（参考訳）: 擬似ラベリングによる教師なし多言語Dense検索
• Authors: Chao-Wei Huang, Chen-An Li, Tsu-Yuan Hsu, Chen-Yu Hsu, Yun-Nung Chen
• Abstract要約: 本稿では,教師なしの高密度多言語レトリバーUMRについて紹介する。 本稿では,多言語高密度検索器の性能を反復的に向上する2段階フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 32.10366004426449
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Dense retrieval methods have demonstrated promising performance in multilingual information retrieval, where queries and documents can be in different languages. However, dense retrievers typically require a substantial amount of paired data, which poses even greater challenges in multilingual scenarios. This paper introduces UMR, an Unsupervised Multilingual dense Retriever trained without any paired data. Our approach leverages the sequence likelihood estimation capabilities of multilingual language models to acquire pseudo labels for training dense retrievers. We propose a two-stage framework which iteratively improves the performance of multilingual dense retrievers. Experimental results on two benchmark datasets show that UMR outperforms supervised baselines, showcasing the potential of training multilingual retrievers without paired data, thereby enhancing their practicality. Our source code, data, and models are publicly available at https://github.com/MiuLab/UMR
• Abstract（参考訳）: タンス検索手法は多言語情報検索において有望な性能を示しており,クエリやドキュメントは言語によって異なる。 しかし、高密度レトリバーは通常、大量のペアデータを必要とするため、多言語シナリオではさらに大きな課題が生じる。 本稿では,教師なし多言語高密度検索システムであるUMRについて紹介する。 本手法は,多言語言語モデルのシーケンス推定能力を活用して,高密度検索学習のための擬似ラベルを取得する。 多言語高密度検索器の性能を反復的に向上する2段階フレームワークを提案する。 2つのベンチマークデータセットによる実験結果から、UMRは教師付きベースラインよりも優れており、ペアデータを持たない多言語レトリバーのトレーニングの可能性を示し、実用性を向上させる。 私たちのソースコード、データ、モデルはhttps://github.com/MiuLab/UMRで公開されています。

関連論文リスト

• P-MMEval: A Parallel Multilingual Multitask Benchmark for Consistent Evaluation of LLMs [84.24644520272835]
  大きな言語モデル(LLM)は、翻訳、コード生成、推論といったタスクにまたがる様々な多言語機能を示す。 以前の評価では、その範囲を基本自然言語処理(NLP)や、独立した機能固有のタスクに制限することが多かった。 我々は、これらのベンチマークの有用性に関する以前の研究の監視に対処するため、大規模ベンチマークから利用可能な、合理的なベンチマークを選択するパイプラインを提案する。 本稿では,P-MMEvalを提案する。P-MMEval,P-MMEval,P-MMEval,P-MMEval,P-MMEval,P-MMEval。
  論文  参考訳（メタデータ） (2024-11-14T01:29:36Z)
• Towards Better Monolingual Japanese Retrievers with Multi-Vector Models [0.0]
  日本語では、最も優れたディープラーニングに基づく検索手法は多言語密着型埋め込みに依存している。 マルチ言語よりも2桁少ないデータで訓練されたマルチベクトルレトリバーのファミリーであるJaColBERTを紹介する。
  論文  参考訳（メタデータ） (2023-12-26T18:07:05Z)
• Leveraging LLMs for Synthesizing Training Data Across Many Languages in Multilingual Dense Retrieval [56.65147231836708]
  SWIM-IRは, 微調整多言語高密度検索のための33言語を含む合成検索訓練データセットである。 SAPは、ターゲット言語における情報クエリの生成において、大きな言語モデル(LLM)を支援する。 我々のモデルはSWIM-Xと呼ばれ、人間に指示された高密度検索モデルと競合する。
  論文  参考訳（メタデータ） (2023-11-10T00:17:10Z)
• Soft Language Clustering for Multilingual Model Pre-training [57.18058739931463]
  本稿では,インスタンスを条件付きで符号化するためのフレキシブルガイダンスとして,コンテキスト的にプロンプトを検索するXLM-Pを提案する。 我々のXLM-Pは、(1)言語間における言語不変および言語固有知識の軽量なモデリングを可能にし、(2)他の多言語事前学習手法との容易な統合を可能にする。
  論文  参考訳（メタデータ） (2023-06-13T08:08:08Z)
• Soft Prompt Decoding for Multilingual Dense Retrieval [30.766917713997355]
  本稿では,MLIRタスクへの言語間情報検索のための最先端手法の適用により,準最適性能が得られることを示す。 これは多言語コレクションの不均一性と不均衡性に起因する。 KD-SPDはMLIRの新しいソフトプロンプトデコーディング手法で、異なる言語における文書の表現を同じ埋め込み空間に暗黙的に「翻訳」する。
  論文  参考訳（メタデータ） (2023-05-15T21:17:17Z)
• PEACH: Pre-Training Sequence-to-Sequence Multilingual Models for Translation with Semi-Supervised Pseudo-Parallel Document Generation [5.004814662623874]
  本稿では,多言語事前学習のための高品質な擬似並列データを生成する,新しい半教師付きSPDGを提案する。 実験の結果, PEACH はmT5 と mBART を様々な翻訳タスクで訓練する上で, 既存の手法よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-04-03T18:19:26Z)
• Modeling Sequential Sentence Relation to Improve Cross-lingual Dense Retrieval [87.11836738011007]
  マスク付き文モデル(MSM)と呼ばれる多言語多言語言語モデルを提案する。 MSMは、文表現を生成する文エンコーダと、文書から文ベクトルのシーケンスに適用される文書エンコーダとから構成される。 モデルをトレーニングするために,サンプル負の階層的コントラスト損失によって文ベクトルをマスクし,予測するマスク付き文予測タスクを提案する。
  論文  参考訳（メタデータ） (2023-02-03T09:54:27Z)
• Multilingual Multimodal Learning with Machine Translated Text [27.7207234512674]
  英語のマルチモーダルデータの機械翻訳が、容易に利用できる多言語データの欠如を抑えるための効果的なプロキシとなるかどうかを考察する。 得られたデータセットからそのような翻訳を自動的に除去する2つの指標を提案する。 In experiment on five task across 20 languages in the IGLUE benchmark, we show that translated data can provide a useful signal for multilingual multimodal learning。
  論文  参考訳（メタデータ） (2022-10-24T11:41:20Z)
• UnifieR: A Unified Retriever for Large-Scale Retrieval [84.61239936314597]
  大規模な検索は、クエリを与えられた巨大なコレクションから関連ドキュメントをリコールすることである。 事前学習型言語モデル(PLM)に基づく最近の検索手法は,高密度ベクターあるいはレキシコンに基づくパラダイムに大別することができる。 本論文では,高密度ベクトルとレキシコンに基づく検索を2つの表現能力を持つ1つのモデルで統合する学習フレームワークUnifieRを提案する。
  論文  参考訳（メタデータ） (2022-05-23T11:01:59Z)
• Mr. TyDi: A Multi-lingual Benchmark for Dense Retrieval [51.004601358498135]
  Mr. TyDiは、11の類型的多様言語における単言語検索のためのベンチマークデータセットである。 このリソースの目的は、非英語言語における高密度検索技術の研究を促進することである。
  論文  参考訳（メタデータ） (2021-08-19T16:53:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。