論文の概要: An Empirical Study of Many-Shot In-Context Learning for Machine Translation of Low-Resource Languages
- arxiv url: http://arxiv.org/abs/2604.02596v1
- Date: Fri, 03 Apr 2026 00:13:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-06 17:20:24.253254
- Title: An Empirical Study of Many-Shot In-Context Learning for Machine Translation of Low-Resource Languages
- Title(参考訳): 低リソース言語の機械翻訳における多ショットインコンテキスト学習の実証的研究
- Authors: Yinhan Lu, Gaganpreet Jhajj, Chen Zhang, Anietie Andy, David Ifeoluwa Adelani,
- Abstract要約: In-context Learning (ICL) は、大規模言語モデルがいくつかの例から新しいタスクに適応できるようにする。
マルチショットICLに関する最近の研究は、現代のLLMが長いコンテキストウィンドウによって実現されたより大きなICLの例からさらに恩恵を受けることを示唆している。
本報告では, 機械翻訳のための多言語ICLを, 真に低リソースな10言語に翻訳する実験的検討を行った。
- 参考スコア(独自算出の注目度): 10.94905796367051
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In-context learning (ICL) allows large language models (LLMs) to adapt to new tasks from a few examples, making it promising for languages underrepresented in pre-training. Recent work on many-shot ICL suggests that modern LLMs can further benefit from larger ICL examples enabled by their long context windows. However, such gains depend on careful example selection, and the inference cost can be prohibitive for low-resource language communities. In this paper, we present an empirical study of many-shot ICL for machine translation from English into ten truly low-resource languages recently added to FLORES+. We analyze the effects of retrieving more informative examples, using out-of-domain data, and ordering examples by length. Our findings show that many-shot ICL becomes more effective as the number of examples increases. More importantly, we show that BM25-based retrieval substantially improves data efficiency: 50 retrieved examples roughly match 250 many-shot examples, while 250 retrieved examples perform similarly to 1,000 many-shot examples.
- Abstract(参考訳): In-context Learning (ICL)は、大規模言語モデル(LLM)がいくつかの例から新しいタスクに適応できるようにする。
マルチショットICLに関する最近の研究は、現代のLLMが長いコンテキストウィンドウによって可能となるより大きなICLの例からさらに恩恵を受けることを示唆している。
しかし、このような利得は慎重な例の選択に依存するため、低リソースの言語コミュニティでは推論コストが禁止される可能性がある。
本稿では、最近FLORES+に追加された10の真に低リソース言語への機械翻訳のための多ショットICLの実証的研究について述べる。
ドメイン外データを用いて、より情報に富んだサンプルを検索し、長さでサンプルを注文する効果を解析する。
症例数の増加に伴い多発性ICLが有効であることが示唆された。
さらに, BM25をベースとした検索ではデータ効率が大幅に向上し, 50例は250例と大まかに一致し, 250例は1,000例と類似していることがわかった。
関連論文リスト
- When Many-Shot Prompting Fails: An Empirical Study of LLM Code Translation [0.23332469289621782]
広いコンテキストウィンドウを持つ大規模言語モデル(LLM)は、コンテキスト内学習(ICL)のための新しい道を提供する
ゼロショットから最大625のマルチショット構成へのコンテキスト内サンプルのスケーリングの影響を系統的に評価した。
静的類似度は、より多くの例で適度に改善されるが、機能的正しさは、ほとんどショットのプロンプトで常にピークとなる。
論文 参考訳(メタデータ) (2025-10-19T12:29:13Z) - Revisiting In-Context Learning with Long Context Language Models [26.141121450077637]
In-Context Learning (ICL) は、言語モデルが入力コンテキストで提供される例に基づいて予測を行う手法である。
LCLM(Long Context Language Models)の出現により、コンテキストに含まれるサンプルの数が大幅に増加した。
本報告では,多点ショット方式のICL性能が標本選択法にまだ敏感であるかどうかを考察する。
論文 参考訳(メタデータ) (2024-12-22T08:55:19Z) - PromptRefine: Enhancing Few-Shot Performance on Low-Resource Indic Languages with Example Selection from Related Example Banks [57.86928556668849]
大規模言語モデル(LLM)は、近ごろ、コンテキスト内学習(ICL)を通じて、印象的な数ショットの学習能力を実証した。
ICLのパフォーマンスは、数発のデモの選択に大きく依存しており、最も最適な例の選択は永続的な研究課題である。
本稿では,低リソースのIndic言語におけるICLの性能向上を目的とした,新しい代替最小化手法であるPromptRefineを提案する。
論文 参考訳(メタデータ) (2024-12-07T17:51:31Z) - XAMPLER: Learning to Retrieve Cross-Lingual In-Context Examples [64.79218405438871]
XAMPLER: 言語横断学習の課題に対処するための手法であるクロス言語実例検索法を紹介する。
XAMPLERはまず、多言語小言語モデルであるGlot500に基づいてレトリバーを訓練する。
ターゲット言語の文脈内学習の例として、英語の例を直接検索することができる。
論文 参考訳(メタデータ) (2024-05-08T15:13:33Z) - Many-Shot In-Context Learning [58.395589302800566]
大規模言語モデル (LLMs) は、文脈内学習 (ICL) において優れている
我々は、多種多様な生成的および識別的タスクにおける顕著なパフォーマンス向上を観察する。
少数ショット学習とは異なり、多ショット学習は事前学習されたバイアスをオーバーライドするのに効果的である。
論文 参考訳(メタデータ) (2024-04-17T02:49:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。