論文の概要: Teaching Large Language Models an Unseen Language on the Fly
- arxiv url: http://arxiv.org/abs/2402.19167v1
- Date: Thu, 29 Feb 2024 13:50:47 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-01 14:46:53.335555
- Title: Teaching Large Language Models an Unseen Language on the Fly
- Title（参考訳）: 目立たない言語をオンザフライで教える
- Authors: Chen Zhang, Xiao Liu, Jiuheng Lin, Yansong Feng
- Abstract要約: テキスト内学習によりLLMを未知の言語に適応させるフレームワークであるtextscDiPMT++を導入する。
辞書と5Kパラレル文のみを用いて、textscDiPMT++は、中国語から中国語への翻訳は0から16BLEU、中国語への翻訳は32BLEUである。
- 参考スコア（独自算出の注目度）: 35.87287102728755
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Existing large language models struggle to support numerous low-resource
languages, particularly the extremely low-resource ones where there is minimal
training data available for effective parameter updating. We thus investigate
whether LLMs can learn a new language on the fly solely through prompting. To
study this question, we collect a research suite for Zhuang, a language
supported by no LLMs currently. We introduce \textsc{DiPMT++}, a framework for
adapting LLMs to unseen languages by in-context learning. Using a dictionary
and only 5K parallel sentences, \textsc{DiPMT++} significantly enhances the
performance of GPT-4 from 0 to 16 BLEU for Chinese-to-Zhuang translation and
achieves 32 BLEU for Zhuang-to-Chinese translation. Furthermore, we demonstrate
the practical utility of this framework in aiding humans to translate
completely unseen languages, which could contribute to the preservation of
linguistic diversity.
- Abstract（参考訳）: 既存の大規模言語モデルは、多くの低リソース言語、特に効果的なパラメータ更新のための最小限のトレーニングデータがある非常に低リソース言語をサポートするのに苦労している。
そこで本研究では,LLMがプロンプトによってのみ新しい言語を学習できるかどうかを考察する。
この問題を研究するために、現在LLMがサポートしていない言語であるZhuangの研究スイートを収集する。
In-context Learning を用いて LLM を未知の言語に適用するためのフレームワークである \textsc{DiPMT++} を紹介する。
辞書と5Kパラレル文のみを用いることで,GPT-4が0から16BLEUに向上し,中国語と中国語の翻訳では32BLEUを達成した。
さらに, 言語多様性の保全に寄与しうる, 完全に見えない言語への翻訳を支援するための, この枠組みの実用性を実証する。
関連論文リスト
- Hire a Linguist!: Learning Endangered Languages with In-Context Linguistic Descriptions [49.97641297850361]
lingOLLMは、LLMが事前トレーニングでほとんど起こらない未知の言語を処理できるようにする、トレーニング不要のアプローチである。
GPT-4とMixtralの2つのモデル上にlingOLLMを実装し,その性能評価を行った。
GPT-4 の 0 から 10.5 BLEU への翻訳能力が 10 言語方向に向上することを示す。
論文 参考訳（メタデータ） (2024-02-28T03:44:01Z) - Zero-Shot Cross-Lingual Reranking with Large Language Models for
Low-Resource Languages [51.301942056881146]
アフリカ語における言語間情報検索システムにおいて,大規模言語モデル (LLM) がリランカーとしてどのように機能するかを検討する。
私たちの実装は、英語と4つのアフリカの言語(ハウサ語、ソマリ語、スワヒリ語、ヨルバ語)を対象としています。
我々は、英語のクェリとアフリカの言葉の文節による言語横断的な格付けについて検討する。
論文 参考訳（メタデータ） (2023-12-26T18:38:54Z) - TaCo: Enhancing Cross-Lingual Transfer for Low-Resource Languages in LLMs through Translation-Assisted Chain-of-Thought Processes [9.254047358707014]
本稿では,Alpaca-52K,Dolly-15K,Vicuna Benchmarkを132言語に翻訳する多言語インストラクション・チューニングデータセット(MITS)を紹介する。
次に,emphTaCo: Translation-Assisted Cross-Lingualityという新たな手法を提案する。
提案手法は,Vicuna Benchmark データセットの低リソース言語に対して 82% のスコアで GPT-4 を圧縮し,命令チューニングと比較して性能を2倍にすることを示す。
論文 参考訳（メタデータ） (2023-11-17T06:55:32Z) - PLUG: Leveraging Pivot Language in Cross-Lingual Instruction Tuning [46.153828074152436]
我々は、低リソース言語における命令チューニングを強化するために、ピボット言語ガイド生成手法を提案する。
モデルを訓練して、まずピボット言語で命令を処理し、次にターゲット言語で応答を生成する。
提案手法は,LLMの命令追従能力が平均29%向上したことを示す。
論文 参考訳（メタデータ） (2023-11-15T05:28:07Z) - Democratizing LLMs for Low-Resource Languages by Leveraging their English Dominant Abilities with Linguistically-Diverse Prompts [75.33019401706188]
大規模言語モデル(LLM)は、少数の例を単純に観察することで、効果的にタスクを実行することが知られている。
我々は,LLMが任意の言語から英語に翻訳するよう促すために,多種多様な高ソース言語から合成例を組み立てることを提案する。
我々の教師なしプロンプト法は、英語と13のIndic言語と21のアフリカ低リソース言語間の翻訳において、異なる大きさのLLMにおける教師付き少ショット学習と同等に機能する。
論文 参考訳（メタデータ） (2023-06-20T08:27:47Z) - Eliciting the Translation Ability of Large Language Models via Multilingual Finetuning with Translation Instructions [68.01449013641532]
大規模事前学習言語モデル(LLM)は多言語翻訳において強力な能力を示している。
本稿では,多言語事前学習言語モデルであるXGLM-7Bを微調整して,多言語翻訳を行う方法を提案する。
論文 参考訳（メタデータ） (2023-05-24T12:00:24Z) - InstructAlign: High-and-Low Resource Language Alignment via Continual
Crosslingual Instruction Tuning [66.31509106146605]
命令を調整した大規模言語モデル(LLM)は、様々なタスクや言語で顕著な能力を示している。
しかし、利用可能なデータが不足しているため、表現不足の言語に一般化する能力は限られている。
InstructAlignは、LLMが新しい未知の言語を学習済みの高リソース言語と整列できるようにするために、連続的なクロスリンガル命令チューニングを使用する。
論文 参考訳（メタデータ） (2023-05-23T02:51:34Z) - Chain-of-Dictionary Prompting Elicits Translation in Large Language Models [100.47154959254937]
大規模言語モデル(LLM)は多言語ニューラルマシン翻訳(MNMT)において驚くほど優れた性能を示した
入力単語のサブセットに対する多言語辞書の連鎖による事前知識でLLMを拡張して翻訳能力を引き出す新しい方法であるCoDを提案する。
論文 参考訳（メタデータ） (2023-05-11T05:19:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。