Fugu-MT 論文翻訳(概要): NLLB-E5: A Scalable Multilingual Retrieval Model

論文の概要: NLLB-E5: A Scalable Multilingual Retrieval Model

arxiv url: http://arxiv.org/abs/2409.05401v1
Date: Mon, 9 Sep 2024 07:57:43 GMT
ステータス: 処理完了
システム内更新日: 2024-09-10 15:30:45.212187
Title: NLLB-E5: A Scalable Multilingual Retrieval Model
Title（参考訳）: NLLB-E5: スケーラブルな多言語検索モデル
Authors: Arkadeep Acharya, Rudra Murthy, Vishwajeet Kumar, Jaydeep Sen,
Abstract要約: NLLB-E5は、複数の言語を対象としたスケーラブルで言語に依存しないテキスト検索モデルである。我々は、Hindi-BEIRを含む既存のベンチマークの包括的スイートでモデルを評価する。 NLLB-E5は包括的でスケーラブルで言語に依存しないテキスト検索モデルの必要性に対処する。
参考スコア（独自算出の注目度）: 8.21020989074456
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Despite significant progress in multilingual information retrieval, the lack of models capable of effectively supporting multiple languages, particularly low-resource like Indic languages, remains a critical challenge. This paper presents NLLB-E5: A Scalable Multilingual Retrieval Model. NLLB-E5 leverages the in-built multilingual capabilities in the NLLB encoder for translation tasks. It proposes a distillation approach from multilingual retriever E5 to provide a zero-shot retrieval approach handling multiple languages, including all major Indic languages, without requiring multilingual training data. We evaluate the model on a comprehensive suite of existing benchmarks, including Hindi-BEIR, highlighting its robust performance across diverse languages and tasks. Our findings uncover task and domain-specific challenges, providing valuable insights into the retrieval performance, especially for low-resource languages. NLLB-E5 addresses the urgent need for an inclusive, scalable, and language-agnostic text retrieval model, advancing the field of multilingual information access and promoting digital inclusivity for millions of users globally.
Abstract（参考訳）: 多言語情報検索の大幅な進歩にもかかわらず、複数の言語、特にIndic言語のような低リソース言語を効果的にサポートできるモデルの欠如は、依然として重要な課題である。本稿では,NLLB-E5: A Scalable Multilingual Retrieval Modelを提案する。 NLLB-E5は翻訳タスクにNLLBエンコーダの内蔵多言語機能を利用する。本研究は,多言語学習データを必要とせず,すべての主要なIndic言語を含む複数の言語を扱うゼロショット検索手法を提供するため,多言語検索器E5からの蒸留手法を提案する。我々は、Hindi-BEIRを含む既存のベンチマークの包括的なスイートでモデルを評価し、多様な言語やタスクにわたる堅牢なパフォーマンスを強調した。課題とドメイン固有の課題を明らかにし,検索性能,特に低リソース言語について貴重な知見を提供する。 NLLB-E5は、包括的で拡張性があり、言語に依存しないテキスト検索モデルの必要性に対処し、多言語情報アクセスの分野を前進させ、世界中の何百万人ものユーザーにとってデジタル的傾向を促進する。

関連論文リスト

P-MMEval: A Parallel Multilingual Multitask Benchmark for Consistent Evaluation of LLMs [84.24644520272835]
大きな言語モデル(LLM)は、翻訳、コード生成、推論といったタスクにまたがる様々な多言語機能を示す。以前の評価では、その範囲を基本自然言語処理(NLP)や、独立した機能固有のタスクに制限することが多かった。我々は、これらのベンチマークの有用性に関する以前の研究の監視に対処するため、大規模ベンチマークから利用可能な、合理的なベンチマークを選択するパイプラインを提案する。本稿では,P-MMEvalを提案する。P-MMEval,P-MMEval,P-MMEval,P-MMEval,P-MMEval,P-MMEval。
論文参考訳（メタデータ） (2024-11-14T01:29:36Z)
LAHAJA: A Robust Multi-accent Benchmark for Evaluating Hindi ASR Systems [16.143694951047024]
LAHAJAというベンチマークを作成し、様々なトピックやユースケースに関する読み書き音声を含む。 LAHAJAの既存のオープンソースおよび商用モデルを評価し,その性能が劣っていることを確認した。異なるデータセットを使用してモデルをトレーニングし、優れた話者多様性を持つ多言語データに基づいてトレーニングしたモデルが、既存のモデルよりもかなりのマージンで優れていることを確認する。
論文参考訳（メタデータ） (2024-08-21T08:51:00Z)
Hindi-BEIR : A Large Scale Retrieval Benchmark in Hindi [8.21020989074456]
進行中の研究にもかかわらず、ヒンディー語で検索モデルを評価するための包括的なベンチマークが欠如している。我々は、ヒンディー語に翻訳された英語のBEIRデータセットのサブセット、既存のヒンディー語検索データセット、検索用の合成データセットを含むBEIRベンチマークのヒンディー語版を紹介する。本ベンチマークでは,タスクやドメイン固有の課題の特定と検索性能への影響を明らかにするため,最先端の多言語検索モデルの評価を行う。
論文参考訳（メタデータ） (2024-08-18T10:55:04Z)
Navigating Text-to-Image Generative Bias across Indic Languages [53.92640848303192]
本研究ではインドで広く話されているIndic言語に対するテキスト・ツー・イメージ(TTI)モデルのバイアスについて検討する。これらの言語における主要なTTIモデルの生成的パフォーマンスと文化的関連性を評価し,比較する。
論文参考訳（メタデータ） (2024-08-01T04:56:13Z)
Fine-tuning Pre-trained Named Entity Recognition Models For Indian Languages [6.7638050195383075]
課題を分析し,インド語の多言語名称認識に適した手法を提案する。主要な2つのインド語族から4つのインド語に対する40K文の注釈付きエンティティコーパスを提示する。我々は、我々のモデルの有用性を裏付けるインド言語のための、全く見当たらないベンチマークデータセットにおいて、同等のパフォーマンスを達成した。
論文参考訳（メタデータ） (2024-05-08T05:54:54Z)
XTREME-UP: A User-Centric Scarce-Data Benchmark for Under-Represented Languages [105.54207724678767]
データ不足は、多言語NLPシステムの開発において重要な問題である。我々はXTREME-UPを提案する。XTREME-UPはゼロショットではなく、希少なデータシナリオに焦点を当てたベンチマークである。 XTREME-UPは、88言語にまたがる言語モデルが、9つのキーとなるユーザー中心技術上で機能する能力を評価する。
論文参考訳（メタデータ） (2023-05-19T18:00:03Z)
PMIndiaSum: Multilingual and Cross-lingual Headline Summarization for Languages in India [33.31556860332746]
PMIndiaSumは、インドの言語に焦点を当てた多言語および大規模並列要約コーパスである。私たちのコーパスは、4つの言語ファミリー、14の言語、196の言語ペアを持つ最大規模のトレーニングとテストの場を提供します。
論文参考訳（メタデータ） (2023-05-15T17:41:15Z)
Summarizing Indian Languages using Multilingual Transformers based Models [13.062351454646912]
本研究では、これらの多言語モデルが、原文およびターゲットテキストとしてインド語を持つデータセット上でどのように機能するかを検討する。 IndicBARTおよびmT5モデルを用いて実験を行い, ROUGE-1, ROUGE-2, ROUGE-3, ROUGE-4のスコアを評価指標として報告する。
論文参考訳（メタデータ） (2023-03-29T13:05:17Z)
IGLUE: A Benchmark for Transfer Learning across Modalities, Tasks, and Languages [87.5457337866383]
画像認識言語理解評価ベンチマークについて紹介する。 IGLUEは、視覚的質問応答、クロスモーダル検索、グラウンドド推論、20言語にわたるグラウンドドエンターテイメントタスクをまとめて提供する。翻訳-テストの転送はゼロショットの転送よりも優れており、少数ショットの学習は多くのタスクに役立てることが難しい。
論文参考訳（メタデータ） (2022-01-27T18:53:22Z)
Mr. TyDi: A Multi-lingual Benchmark for Dense Retrieval [51.004601358498135]
Mr. TyDiは、11の類型的多様言語における単言語検索のためのベンチマークデータセットである。このリソースの目的は、非英語言語における高密度検索技術の研究を促進することである。
論文参考訳（メタデータ） (2021-08-19T16:53:43Z)
XTREME: A Massively Multilingual Multi-task Benchmark for Evaluating Cross-lingual Generalization [128.37244072182506]
言語間TRansfer Evaluation of Multilinguals XTREMEは、40言語および9タスクにわたる多言語表現の言語間一般化能力を評価するためのベンチマークである。我々は、英語でテストされたモデルは、多くのタスクにおいて人間のパフォーマンスに達するが、言語間変換されたモデルの性能にはまだ大きなギャップがあることを示した。
論文参考訳（メタデータ） (2020-03-24T19:09:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。