論文の概要: Benchmarking and Building Zero-Shot Hindi Retrieval Model with Hindi-BEIR and NLLB-E5
- arxiv url: http://arxiv.org/abs/2409.05401v2
- Date: Fri, 25 Oct 2024 08:41:17 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-07 22:27:40.832082
- Title: Benchmarking and Building Zero-Shot Hindi Retrieval Model with Hindi-BEIR and NLLB-E5
- Title（参考訳）: Hindi-BEIRとNLLB-E5を用いたゼロショットヒンディー検索モデルのベンチマークと構築
- Authors: Arkadeep Acharya, Rudra Murthy, Vishwajeet Kumar, Jaydeep Sen,
- Abstract要約: Hindi-BEIRベンチマークを導入し,7つのタスクにまたがる15のデータセットについて検討した。
我々は,Hindi-BEIRベンチマークを用いた最先端多言語検索モデルの評価を行い,課題とドメイン固有の課題を特定する。
我々は,ヒンディー語学習データを必要とせずにヒンディー語をサポートするため,ゼロショットアプローチを利用する多言語検索モデルであるNLLB-E5を紹介する。
- 参考スコア（独自算出の注目度）: 8.21020989074456
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Given the large number of Hindi speakers worldwide, there is a pressing need for robust and efficient information retrieval systems for Hindi. Despite ongoing research, comprehensive benchmarks for evaluating retrieval models in Hindi are lacking. To address this gap, we introduce the Hindi-BEIR benchmark, comprising 15 datasets across seven distinct tasks. We evaluate state-of-the-art multilingual retrieval models on the Hindi-BEIR benchmark, identifying task and domain-specific challenges that impact Hindi retrieval performance. Building on the insights from these results, we introduce NLLB-E5, a multilingual retrieval model that leverages a zero-shot approach to support Hindi without the need for Hindi training data. We believe our contributions, which include the release of the Hindi-BEIR benchmark and the NLLB-E5 model, will prove to be a valuable resource for researchers and promote advancements in multilingual retrieval models.
- Abstract（参考訳）: 世界中のヒンディー語話者が多数いることから、ヒンディー語のための堅牢で効率的な情報検索システムの必要性が高まっている。
進行中の研究にもかかわらず、ヒンディー語での検索モデルを評価するための包括的なベンチマークは欠落している。
このギャップに対処するため、Hindi-BEIRベンチマークを導入し、7つの異なるタスクにまたがる15のデータセットを含む。
我々は,Hindi-BEIRベンチマークによる最先端多言語検索モデルの評価を行い,Hindi検索性能に影響を与える課題と領域固有の課題を特定する。
これらの結果から得られた知見に基づいて,ヒンディー語学習データを必要とせずにヒンディー語をサポートするため,ゼロショットアプローチを活用する多言語検索モデルであるNLLB-E5を導入する。
Hindi-BEIRベンチマークとNLLB-E5モデルのリリースを含む私たちの貢献は、研究者にとって貴重なリソースであり、多言語検索モデルの進歩を促進するだろうと考えています。
関連論文リスト
- P-MMEval: A Parallel Multilingual Multitask Benchmark for Consistent Evaluation of LLMs [84.24644520272835]
大きな言語モデル(LLM)は、翻訳、コード生成、推論といったタスクにまたがる様々な多言語機能を示す。
以前の評価では、その範囲を基本自然言語処理(NLP)や、独立した機能固有のタスクに制限することが多かった。
我々は、これらのベンチマークの有用性に関する以前の研究の監視に対処するため、大規模ベンチマークから利用可能な、合理的なベンチマークを選択するパイプラインを提案する。
本稿では,P-MMEvalを提案する。P-MMEval,P-MMEval,P-MMEval,P-MMEval,P-MMEval,P-MMEval。
論文 参考訳（メタデータ） (2024-11-14T01:29:36Z) - LAHAJA: A Robust Multi-accent Benchmark for Evaluating Hindi ASR Systems [16.143694951047024]
LAHAJAというベンチマークを作成し、様々なトピックやユースケースに関する読み書き音声を含む。
LAHAJAの既存のオープンソースおよび商用モデルを評価し,その性能が劣っていることを確認した。
異なるデータセットを使用してモデルをトレーニングし、優れた話者多様性を持つ多言語データに基づいてトレーニングしたモデルが、既存のモデルよりもかなりのマージンで優れていることを確認する。
論文 参考訳（メタデータ） (2024-08-21T08:51:00Z) - Hindi-BEIR : A Large Scale Retrieval Benchmark in Hindi [8.21020989074456]
進行中の研究にもかかわらず、ヒンディー語で検索モデルを評価するための包括的なベンチマークが欠如している。
我々は、ヒンディー語に翻訳された英語のBEIRデータセットのサブセット、既存のヒンディー語検索データセット、検索用の合成データセットを含むBEIRベンチマークのヒンディー語版を紹介する。
本ベンチマークでは,タスクやドメイン固有の課題の特定と検索性能への影響を明らかにするため,最先端の多言語検索モデルの評価を行う。
論文 参考訳（メタデータ） (2024-08-18T10:55:04Z) - Navigating Text-to-Image Generative Bias across Indic Languages [53.92640848303192]
本研究ではインドで広く話されているIndic言語に対するテキスト・ツー・イメージ(TTI)モデルのバイアスについて検討する。
これらの言語における主要なTTIモデルの生成的パフォーマンスと文化的関連性を評価し,比較する。
論文 参考訳（メタデータ） (2024-08-01T04:56:13Z) - Fine-tuning Pre-trained Named Entity Recognition Models For Indian Languages [6.7638050195383075]
課題を分析し,インド語の多言語名称認識に適した手法を提案する。
主要な2つのインド語族から4つのインド語に対する40K文の注釈付きエンティティコーパスを提示する。
我々は、我々のモデルの有用性を裏付けるインド言語のための、全く見当たらないベンチマークデータセットにおいて、同等のパフォーマンスを達成した。
論文 参考訳（メタデータ） (2024-05-08T05:54:54Z) - XTREME-UP: A User-Centric Scarce-Data Benchmark for Under-Represented
Languages [105.54207724678767]
データ不足は、多言語NLPシステムの開発において重要な問題である。
我々はXTREME-UPを提案する。XTREME-UPはゼロショットではなく、希少なデータシナリオに焦点を当てたベンチマークである。
XTREME-UPは、88言語にまたがる言語モデルが、9つのキーとなるユーザー中心技術上で機能する能力を評価する。
論文 参考訳（メタデータ） (2023-05-19T18:00:03Z) - PMIndiaSum: Multilingual and Cross-lingual Headline Summarization for
Languages in India [33.31556860332746]
PMIndiaSumは、インドの言語に焦点を当てた多言語および大規模並列要約コーパスである。
私たちのコーパスは、4つの言語ファミリー、14の言語、196の言語ペアを持つ最大規模のトレーニングとテストの場を提供します。
論文 参考訳（メタデータ） (2023-05-15T17:41:15Z) - Summarizing Indian Languages using Multilingual Transformers based
Models [13.062351454646912]
本研究では、これらの多言語モデルが、原文およびターゲットテキストとしてインド語を持つデータセット上でどのように機能するかを検討する。
IndicBARTおよびmT5モデルを用いて実験を行い, ROUGE-1, ROUGE-2, ROUGE-3, ROUGE-4のスコアを評価指標として報告する。
論文 参考訳（メタデータ） (2023-03-29T13:05:17Z) - IGLUE: A Benchmark for Transfer Learning across Modalities, Tasks, and
Languages [87.5457337866383]
画像認識言語理解評価ベンチマークについて紹介する。
IGLUEは、視覚的質問応答、クロスモーダル検索、グラウンドド推論、20言語にわたるグラウンドドエンターテイメントタスクをまとめて提供する。
翻訳-テストの転送はゼロショットの転送よりも優れており、少数ショットの学習は多くのタスクに役立てることが難しい。
論文 参考訳（メタデータ） (2022-01-27T18:53:22Z) - Mr. TyDi: A Multi-lingual Benchmark for Dense Retrieval [51.004601358498135]
Mr. TyDiは、11の類型的多様言語における単言語検索のためのベンチマークデータセットである。
このリソースの目的は、非英語言語における高密度検索技術の研究を促進することである。
論文 参考訳（メタデータ） (2021-08-19T16:53:43Z) - XTREME: A Massively Multilingual Multi-task Benchmark for Evaluating
Cross-lingual Generalization [128.37244072182506]
言語間TRansfer Evaluation of Multilinguals XTREMEは、40言語および9タスクにわたる多言語表現の言語間一般化能力を評価するためのベンチマークである。
我々は、英語でテストされたモデルは、多くのタスクにおいて人間のパフォーマンスに達するが、言語間変換されたモデルの性能にはまだ大きなギャップがあることを示した。
論文 参考訳（メタデータ） (2020-03-24T19:09:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。