論文の概要: LLMs Are Few-Shot In-Context Low-Resource Language Learners

• arxiv url: http://arxiv.org/abs/2403.16512v5
• Date: Tue, 25 Jun 2024 11:54:23 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-26 20:09:17.389660
• Title: LLMs Are Few-Shot In-Context Low-Resource Language Learners
• Title（参考訳）: LLMは、インコンテクストの低リソース言語学習者がほとんどいない
• Authors: Samuel Cahyawijaya, Holy Lovenia, Pascale Fung,
• Abstract要約: In-context Learning (ICL) は、大規模言語モデル(LLM)に、表現不足の言語で多様なタスクを実行する権限を与える。 ICLとその言語間変動(X-ICL)を25の低リソース言語と7の比較的高リソース言語で検討した。 本研究は,LLMの低リソース理解品質向上における文脈内情報の重要性を論じる。
• 参考スコア（独自算出の注目度）: 59.74451570590808
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: In-context learning (ICL) empowers large language models (LLMs) to perform diverse tasks in underrepresented languages using only short in-context information, offering a crucial avenue for narrowing the gap between high-resource and low-resource languages. Nonetheless, there is only a handful of works explored ICL for low-resource languages with most of them focusing on relatively high-resource languages, such as French and Spanish. In this work, we extensively study ICL and its cross-lingual variation (X-ICL) on 25 low-resource and 7 relatively higher-resource languages. Our study not only assesses the effectiveness of ICL with LLMs in low-resource languages but also identifies the shortcomings of in-context label alignment, and introduces a more effective alternative: query alignment. Moreover, we provide valuable insights into various facets of ICL for low-resource languages. Our study concludes the significance of few-shot in-context information on enhancing the low-resource understanding quality of LLMs through semantically relevant information by closing the language gap in the target language and aligning the semantics between the targeted low-resource and the high-resource language that the model is proficient in. Our work highlights the importance of advancing ICL research, particularly for low-resource languages. Our code is publicly released at https://github.com/SamuelCahyawijaya/in-context-alignment
• Abstract（参考訳）: In-context Learning (ICL) は、大規模な言語モデル(LLM)に対して、短いイン・コンテクスト情報のみを使用して、低リソース言語と低リソース言語のギャップを狭めるための重要な手段を提供する。 それにもかかわらず、低リソース言語のためのICLを探究する研究はごくわずかであり、そのほとんどはフランス語やスペイン語のような比較的高リソース言語に焦点を当てている。 本研究では,25の低リソース言語と7の比較的高リソース言語に対して,ICLとその言語間変動(X-ICL)を広範囲に研究する。 本研究は、低リソース言語におけるILCとLLMの有効性を評価するだけでなく、テキスト内ラベルアライメントの欠点を識別し、より効果的な代替手段であるクエリアライメントを導入する。 さらに、低リソース言語に対するICLの様々な側面に関する貴重な洞察を提供する。 本研究は,LLMの低リソース理解の質を高めるために,目的言語における言語ギャップを閉じ,目標とする低リソースと高リソース言語とのセマンティクスを整合させることにより,意味的関連情報を通じて,低リソース理解の質を高めることの重要性を結論づける。 我々の研究は、特に低リソース言語において、ICL研究を進めることの重要性を強調しています。 私たちのコードはhttps://github.com/SamuelCahyawijaya/in-context-alignmentで公開されています。

関連論文リスト

• Think Carefully and Check Again! Meta-Generation Unlocking LLMs for Low-Resource Cross-Lingual Summarization [108.6908427615402]
  CLS(Cross-lingual summarization)は、異なるターゲット言語でソーステキストの要約を生成することを目的としている。 現在、インストラクションチューニング付き大規模言語モデル (LLM) は様々な英語タスクで優れている。 近年の研究では、LCSタスクにおけるLCMの性能は、わずかな設定でも満足できないことが示されている。
  論文  参考訳（メタデータ） (2024-10-26T00:39:44Z)
• Do Large Language Models Speak All Languages Equally? A Comparative Study in Low-Resource Settings [12.507989493130175]
  大規模言語モデル (LLM) は自然言語処理 (NLP) に大きな関心を寄せている。 近年の研究では、低リソース言語におけるLLMの限界が強調されている。 英語からバングラ語、ヒンディー語、ウルドゥー語に翻訳することで、感情と憎悪の音声タスクのデータセットを提示する。
  論文  参考訳（メタデータ） (2024-08-05T05:09:23Z)
• Quantifying Multilingual Performance of Large Language Models Across Languages [48.40607157158246]
  大規模言語モデル(LLM)は、英語、ドイツ語、フランス語のような高リソース言語で、低リソース言語の能力は依然として不十分である。 内部表現を用いたLLM性能に基づいて,言語をベンチマークし,ランク付けするための固有測度であるLanguage Rankerを提案する。 分析の結果,高リソース言語は英語との類似度が高く,性能が優れ,低リソース言語は類似度が低いことがわかった。
  論文  参考訳（メタデータ） (2024-04-17T16:53:16Z)
• Analyzing and Adapting Large Language Models for Few-Shot Multilingual NLU: Are We There Yet? [82.02076369811402]
  教師付きファインチューニング(SFT)、教師付きインストラクションチューニング(SIT)、インコンテキストラーニング(ICL)は、3つの代替であり、事実上の標準的アプローチである。 提案手法は,6つの高・低リソース言語,3つの異なるNLUタスク,多種多様な言語とドメインのセットアップを用いて,3つのアプローチを網羅的かつ体系的に比較する。 そこで本研究では,教師あり指導のチューニングが,性能とリソース要件の最良のトレードオフであることを示す。
  論文  参考訳（メタデータ） (2024-03-04T10:48:13Z)
• Zero-Shot Cross-Lingual Reranking with Large Language Models for Low-Resource Languages [51.301942056881146]
  アフリカ語における言語間情報検索システムにおいて,大規模言語モデル (LLM) がリランカーとしてどのように機能するかを検討する。 私たちの実装は、英語と4つのアフリカの言語(ハウサ語、ソマリ語、スワヒリ語、ヨルバ語)を対象としています。 我々は、英語のクェリとアフリカの言葉の文節による言語横断的な格付けについて検討する。
  論文  参考訳（メタデータ） (2023-12-26T18:38:54Z)
• Democratizing LLMs for Low-Resource Languages by Leveraging their English Dominant Abilities with Linguistically-Diverse Prompts [75.33019401706188]
  大規模言語モデル(LLM)は、少数の例を単純に観察することで、効果的にタスクを実行することが知られている。 我々は,LLMが任意の言語から英語に翻訳するよう促すために,多種多様な高ソース言語から合成例を組み立てることを提案する。 我々の教師なしプロンプト法は、英語と13のIndic言語と21のアフリカ低リソース言語間の翻訳において、異なる大きさのLLMにおける教師付き少ショット学習と同等に機能する。
  論文  参考訳（メタデータ） (2023-06-20T08:27:47Z)
• Isomorphic Cross-lingual Embeddings for Low-Resource Languages [1.5076964620370268]
  CLWE(Cross-Lingual Word Embeddings)は、高リソース設定から学習した言語情報を低リソースに転送するための重要なコンポーネントである。 我々は、関連の高い高リソース言語を共同で活用することで、低リソース対に対して、アイソメトリを仮定せずにCLWEを学習するフレームワークを導入する。 両言語レキシコン誘導(BLI)と固有値類似度(Eigenvalue similarity)によって測定された同型性の品質と程度において,現在の手法よりも一貫した利得を示す。
  論文  参考訳（メタデータ） (2022-03-28T10:39:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。