論文の概要: Comparative Analysis of Listwise Reranking with Large Language Models in Limited-Resource Language Contexts

• arxiv url: http://arxiv.org/abs/2412.20061v1
• Date: Sat, 28 Dec 2024 07:30:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-31 16:01:22.204430
• Title: Comparative Analysis of Listwise Reranking with Large Language Models in Limited-Resource Language Contexts
• Title（参考訳）: 限定音源言語文脈における大規模言語モデルとの比較検討
• Authors: Yanxin Shen, Lun Wang, Chuanqi Shi, Shaoshuai Du, Yiyi Tao, Yixian Shen, Hang Zhang,
• Abstract要約: 本研究では,リミテッド・ソース・アフリカ言語を対象としたリストワイド・リランクにおける大規模言語モデル(LLM)の性能を評価する。 RankGPT3.5, Rank4o-mini, RankGPTo1-mini, RankClaude-sonnetを言語間の文脈で比較した。
• 参考スコア（独自算出の注目度）: 5.312946761836463
• License:
• Abstract: Large Language Models (LLMs) have demonstrated significant effectiveness across various NLP tasks, including text ranking. This study assesses the performance of large language models (LLMs) in listwise reranking for limited-resource African languages. We compare proprietary models RankGPT3.5, Rank4o-mini, RankGPTo1-mini and RankClaude-sonnet in cross-lingual contexts. Results indicate that these LLMs significantly outperform traditional baseline methods such as BM25-DT in most evaluation metrics, particularly in nDCG@10 and MRR@100. These findings highlight the potential of LLMs in enhancing reranking tasks for low-resource languages and offer insights into cost-effective solutions.
• Abstract（参考訳）: 大規模言語モデル (LLM) はテキストランキングを含む様々なNLPタスクにおいて大きな効果を示している。 本研究では,リミテッド・ソース・アフリカ言語を対象としたリストワイド・リランクにおける大規模言語モデル(LLM)の性能を評価する。 RankGPT3.5, Rank4o-mini, RankGPTo1-mini, RankClaude-sonnetを言語間の文脈で比較した。 その結果, これらのLCMは, BM25-DTなどの従来の基準法に比べて, 特にnDCG@10やMRR@100では有意に優れていた。 これらの知見は、低リソース言語におけるタスクの優先順位付けを強化し、コスト効率の高いソリューションに対する洞察を提供する上で、LCMsの可能性を強調している。

関連論文リスト

• Think Carefully and Check Again! Meta-Generation Unlocking LLMs for Low-Resource Cross-Lingual Summarization [108.6908427615402]
  CLS(Cross-lingual summarization)は、異なるターゲット言語でソーステキストの要約を生成することを目的としている。 現在、インストラクションチューニング付き大規模言語モデル (LLM) は様々な英語タスクで優れている。 近年の研究では、LCSタスクにおけるLCMの性能は、わずかな設定でも満足できないことが示されている。
  論文  参考訳（メタデータ） (2024-10-26T00:39:44Z)
• LLMs for Extremely Low-Resource Finno-Ugric Languages [0.8192907805418583]
  本稿では,Voro,Livonian,Komiに着目し,そのギャップに対処する。 データ収集からチューニング,評価に至るまで,LLM作成のサイクルのほとんどを網羅する。 本研究は,NLPの進歩によって,低リソースの言語が恩恵を受けることを保証するため,言語多様性を促進することを目的としている。
  論文  参考訳（メタデータ） (2024-10-24T16:48:12Z)
• Language Ranker: A Metric for Quantifying LLM Performance Across High and Low-Resource Languages [48.40607157158246]
  大規模言語モデル(LLM)は、英語、ドイツ語、フランス語のような高リソース言語で、低リソース言語の能力は依然として不十分である。 内部表現を用いたLLM性能に基づいて,言語をベンチマークし,ランク付けするための固有測度であるLanguage Rankerを提案する。 分析の結果,高リソース言語は英語との類似度が高く,性能が優れ,低リソース言語は類似度が低いことがわかった。
  論文  参考訳（メタデータ） (2024-04-17T16:53:16Z)
• High-quality Data-to-Text Generation for Severely Under-Resourced Languages with Out-of-the-box Large Language Models [5.632410663467911]
  我々は、事前訓練された大規模言語モデル(LLM)が、アンダーリソース言語のパフォーマンスギャップを埋める可能性について検討する。 LLM は,低リソース言語における技術の現状を,かなりのマージンで容易に設定できることがわかった。 全ての言語について、人間の評価は最高のシステムで人間と同等のパフォーマンスを示すが、BLEUのスコアは英語に比べて崩壊する。
  論文  参考訳（メタデータ） (2024-02-19T16:29:40Z)
• Enhancing Multilingual Capabilities of Large Language Models through Self-Distillation from Resource-Rich Languages [60.162717568496355]
  大規模言語モデル(LLM)は多言語コーパスで事前訓練されている。 彼らのパフォーマンスは、いくつかのリソース豊富な言語と比較して、ほとんどの言語でまだ遅れています。
  論文  参考訳（メタデータ） (2024-02-19T15:07:32Z)
• Zero-Shot Cross-Lingual Reranking with Large Language Models for Low-Resource Languages [51.301942056881146]
  アフリカ語における言語間情報検索システムにおいて,大規模言語モデル (LLM) がリランカーとしてどのように機能するかを検討する。 私たちの実装は、英語と4つのアフリカの言語(ハウサ語、ソマリ語、スワヒリ語、ヨルバ語)を対象としています。 我々は、英語のクェリとアフリカの言葉の文節による言語横断的な格付けについて検討する。
  論文  参考訳（メタデータ） (2023-12-26T18:38:54Z)
• Are Large Language Model-based Evaluators the Solution to Scaling Up Multilingual Evaluation? [20.476500441734427]
  大規模言語モデル(LLM)は様々な自然言語処理(NLP)タスクに優れる。 彼らの評価、特に上位20ドルを超える言語では、既存のベンチマークとメトリクスの制限のため、依然として不十分である。
  論文  参考訳（メタデータ） (2023-09-14T06:41:58Z)
• ChatGPT MT: Competitive for High- (but not Low-) Resource Languages [62.178282377729566]
  大規模言語モデル(LLM)は、機械翻訳(MT)を含む様々な言語タスクの実行を暗黙的に学習する。 MTコスト分析とともに,204言語を拡張した最初の実験的な証拠を提示する。 分析の結果,ChatGPTの相対的翻訳能力を決定する上で,言語リソースレベルが最も重要な特徴であることが判明した。
  論文  参考訳（メタデータ） (2023-09-14T04:36:00Z)
• Democratizing LLMs for Low-Resource Languages by Leveraging their English Dominant Abilities with Linguistically-Diverse Prompts [75.33019401706188]
  大規模言語モデル(LLM)は、少数の例を単純に観察することで、効果的にタスクを実行することが知られている。 我々は,LLMが任意の言語から英語に翻訳するよう促すために,多種多様な高ソース言語から合成例を組み立てることを提案する。 我々の教師なしプロンプト法は、英語と13のIndic言語と21のアフリカ低リソース言語間の翻訳において、異なる大きさのLLMにおける教師付き少ショット学習と同等に機能する。
  論文  参考訳（メタデータ） (2023-06-20T08:27:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。