論文の概要: Zero-Shot Cross-Lingual Reranking with Large Language Models for
Low-Resource Languages
- arxiv url: http://arxiv.org/abs/2312.16159v1
- Date: Tue, 26 Dec 2023 18:38:54 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-27 14:35:02.426367
- Title: Zero-Shot Cross-Lingual Reranking with Large Language Models for
Low-Resource Languages
- Title(参考訳): 低リソース言語のための大規模言語モデルによるゼロショット言語間リランキング
- Authors: Mofetoluwa Adeyemi, Akintunde Oladipo, Ronak Pradeep, Jimmy Lin
- Abstract要約: アフリカ語における言語間情報検索システムにおいて,大規模言語モデル (LLM) がリランカーとしてどのように機能するかを検討する。
私たちの実装は、英語と4つのアフリカの言語(ハウサ語、ソマリ語、スワヒリ語、ヨルバ語)を対象としています。
我々は、英語のクェリとアフリカの言葉の文節による言語横断的な格付けについて検討する。
- 参考スコア(独自算出の注目度): 51.301942056881146
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models (LLMs) have shown impressive zero-shot capabilities in
various document reranking tasks. Despite their successful implementations,
there is still a gap in existing literature on their effectiveness in
low-resource languages. To address this gap, we investigate how LLMs function
as rerankers in cross-lingual information retrieval (CLIR) systems for African
languages. Our implementation covers English and four African languages (Hausa,
Somali, Swahili, and Yoruba) and we examine cross-lingual reranking with
queries in English and passages in the African languages. Additionally, we
analyze and compare the effectiveness of monolingual reranking using both query
and document translations. We also evaluate the effectiveness of LLMs when
leveraging their own generated translations. To get a grasp of the
effectiveness of multiple LLMs, our study focuses on the proprietary models
RankGPT-4 and RankGPT-3.5, along with the open-source model, RankZephyr. While
reranking remains most effective in English, our results reveal that
cross-lingual reranking may be competitive with reranking in African languages
depending on the multilingual capability of the LLM.
- Abstract(参考訳): 大規模言語モデル(LLM)は、様々な文書再ランクタスクにおいて印象的なゼロショット機能を示している。
実装は成功したが、低リソース言語での有効性について、既存の文献にはまだギャップがある。
このギャップに対処するために,アフリカ語における言語間情報検索(CLIR)システムにおいて,LLMがリランカーとしてどのように機能するかを検討する。
我々の実装は、英語と4つのアフリカの言語(ハウサ語、ソマリ語、スワヒリ語、ヨルバ語)をカバーする。
さらに,問合せと文書翻訳の両方を用いて単言語リランキングの有効性を分析し,比較した。
また,LLMが生成した翻訳に有効であることを示す。
そこで本研究では,オープンソースモデルである RankZephyr とともに,RanGPT-4 と RankGPT-3.5 のプロプライエタリモデルに焦点を当てた。
この結果から,LLMの多言語能力によらず,言語間再位はアフリカ語の再位と競合する可能性が示唆された。
関連論文リスト
- OMGEval: An Open Multilingual Generative Evaluation Benchmark for Large
Language Models [59.54423478596468]
OMGEvalは、オープンソースの多言語生成テストセットであり、異なる言語におけるLLMの能力を評価することができる。
各言語について、OMGEvalは804のオープンエンド質問を提供し、LLMの重要な機能を幅広くカバーしている。
具体的には、OMGEvalの現在のバージョンには5つの言語(Zh, Ru, Fr, Es, Ar)が含まれている。
論文 参考訳(メタデータ) (2024-02-21T04:42:41Z) - Enhancing Multilingual Capabilities of Large Language Models through
Self-Distillation from Resource-Rich Languages [60.162717568496355]
大規模言語モデル(LLM)は多言語コーパスで事前訓練されている。
彼らのパフォーマンスは、いくつかのリソース豊富な言語と比較して、ほとんどの言語でまだ遅れています。
論文 参考訳(メタデータ) (2024-02-19T15:07:32Z) - Lost in the Source Language: How Large Language Models Evaluate the
Quality of Machine Translation [68.43666295024714]
大規模言語モデル (LLM) は機械翻訳評価タスクにおいて顕著な成果を上げている。
本研究は,LLMが翻訳評価においてソース情報と参照情報をどのように活用するかを検討することを目的とする。
論文 参考訳(メタデータ) (2024-01-12T13:23:21Z) - CulturaX: A Cleaned, Enormous, and Multilingual Dataset for Large
Language Models in 167 Languages [86.90220551111096]
大規模言語モデル(LLM)のトレーニングデータセットは、完全には公開されないことが多い。
我々は167言語で6.3兆のトークンを持つ相当な多言語データセットであるCulturaXを紹介する。
論文 参考訳(メタデータ) (2023-09-17T23:49:10Z) - Democratizing LLMs for Low-Resource Languages by Leveraging their
English Dominant Abilities with Linguistically-Diverse Prompts [36.939044809209456]
大規模言語モデル(LLM)は、少数の例を単純に観察することで、効果的にタスクを実行することが知られている。
我々は,LLMが任意の言語から英語に翻訳するよう促すために,多種多様な高ソース言語から合成例を組み立てることを提案する。
我々の教師なしプロンプト法は、英語と13のIndic言語と21のアフリカ低リソース言語間の翻訳において、異なる大きさのLLMにおける教師付き少ショット学習と同等に機能する。
論文 参考訳(メタデータ) (2023-06-20T08:27:47Z) - Don't Trust ChatGPT when Your Question is not in English: A Study of
Multilingual Abilities and Types of LLMs [16.770697902481107]
大規模言語モデル(LLM)は、例外的な自然言語理解能力を示している。
本論文では,多言語環境下でのLLMの性能格差を体系的に評価する方法を提案する。
その結果,GPTは多言語設定において高い翻訳的振る舞いを示すことがわかった。
論文 参考訳(メタデータ) (2023-05-24T02:05:03Z) - Multilingual Machine Translation with Large Language Models: Empirical
Results and Analysis [108.37242622164709]
大規模言語モデル(LLM)は多言語機械翻訳(MMT)の処理において顕著な可能性を示した。
本稿では, MMT における LLM の利点と課題を体系的に検討する。
また,ChatGPTとGPT-4を含む8つのLLMを徹底的に評価した。
論文 参考訳(メタデータ) (2023-04-10T15:51:30Z) - A Primer on Pretrained Multilingual Language Models [18.943173499882885]
MLLM(Multilingual Language Models)は、多数の言語に事前学習の能力をもたらすための実行可能な選択肢として登場した。
本報告では,MLLMに関する研究分野について概説する。
論文 参考訳(メタデータ) (2021-07-01T18:01:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。