論文の概要: Exploring the Role of Transliteration in In-Context Learning for Low-resource Languages Written in Non-Latin Scripts

• arxiv url: http://arxiv.org/abs/2407.02320v1
• Date: Tue, 2 Jul 2024 14:51:20 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-03 15:06:12.752016
• Title: Exploring the Role of Transliteration in In-Context Learning for Low-resource Languages Written in Non-Latin Scripts
• Title（参考訳）: 非ラテンスクリプトで書かれた低リソース言語におけるインテクスト学習における文字化の役割を探る
• Authors: Chunlan Ma, Yihong Liu, Haotian Ye, Hinrich Schütze,
• Abstract要約: 非ラテン文字で書かれた低リソース言語に対するLLMの性能向上にも効果があるか検討する。 本稿では,(1) の原文,(2) ラテン文字,(3) の両文を対象とする3つのプロンプトテンプレートを提案する。 本研究の結果から,翻訳の有効性はタスクタイプやモデルサイズによって異なることが明らかとなった。
• 参考スコア（独自算出の注目度）: 50.40191599304911
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Decoder-only large language models (LLMs) excel in high-resource languages across various tasks through few-shot or even zero-shot in-context learning (ICL). However, their performance often does not transfer well to low-resource languages, especially those written in non-Latin scripts. Inspired by recent work that leverages transliteration in encoder-only models, we investigate whether transliteration is also effective in improving LLMs' performance for low-resource languages written in non-Latin scripts. To this end, we propose three prompt templates, where the target-language text is represented in (1) its original script, (2) Latin script, or (3) both. We apply these methods to several representative LLMs of different sizes on various tasks including text classification and sequential labeling. Our findings show that the effectiveness of transliteration varies by task type and model size. For instance, all models benefit from transliterations for sequential labeling (with increases of up to 25%).
• Abstract（参考訳）: デコーダのみの大規模言語モデル (LLM) は、少数ショットやゼロショットのインコンテキスト学習 (ICL) を通じて、様々なタスクにまたがるハイリソース言語で優れている。 しかしながら、そのパフォーマンスは低リソース言語、特に非ラテン語スクリプトで書かれた言語によく伝達されないことが多い。 本研究は,エンコーダのみのモデルにおける文字変換を利用した最近の研究に触発され,非ラテン文字で書かれた低リソース言語に対するLLMの性能向上にも有効かどうかを考察する。 そこで本研究では,(1) の原文,(2) ラテン文字,(3) の双方に対象言語テキストを表現した3つのプロンプトテンプレートを提案する。 テキスト分類やシーケンシャルラベリングなど,様々なタスクにおいて異なる大きさの複数の代表LLMに対して,これらの手法を適用した。 本研究の結果から,翻訳の有効性はタスクタイプやモデルサイズによって異なることが明らかとなった。 例えば、すべてのモデルはシーケンシャルなラベリング(25%まで増加する)の文字化の恩恵を受ける。

関連論文リスト

• Breaking the Script Barrier in Multilingual Pre-Trained Language Models with Transliteration-Based Post-Training Alignment [50.27950279695363]
  転送性能は、低リソースのターゲット言語が高リソースのソース言語とは異なるスクリプトで書かれている場合、しばしば妨げられる。 本論文は,この問題に対処するために翻訳を用いた最近の研究に触発されて,翻訳に基づくポストプレトレーニングアライメント(PPA)手法を提案する。
  論文  参考訳（メタデータ） (2024-06-28T08:59:24Z)
• The Ups and Downs of Large Language Model Inference with Vocabulary Trimming by Language Heuristics [74.99898531299148]
  本研究は,興味のある言語への埋め込みエントリを制限し,時間と記憶効率を高めることによる語彙トリミング(VT)について検討する。 Unicodeベースのスクリプトフィルタリングとコーパスベースの選択という2つの言語を異なる言語ファミリやサイズに適用する。 その結果、VTは小型モデルのメモリ使用量を50%近く削減し、生成速度が25%向上した。
  論文  参考訳（メタデータ） (2023-11-16T09:35:50Z)
• Efficiently Aligned Cross-Lingual Transfer Learning for Conversational Tasks using Prompt-Tuning [98.60739735409243]
  英語のような高リソース言語で訓練された言語モデルの言語間移動は、多くのNLPタスクのために広く研究されている。 並列および大規模多言語会話データセットである言語間アライメント事前学習のためのXSGDを導入する。 協調的な言語間表現を容易にするために,アライメントプロンプトを学習するための効率的なプロンプトチューニング手法を開発した。
  論文  参考訳（メタデータ） (2023-04-03T18:46:01Z)
• Does Transliteration Help Multilingual Language Modeling? [0.0]
  多言語言語モデルに対する音訳の効果を実証的に測定する。 私たちは、世界で最もスクリプトの多様性が高いIndic言語にフォーカスしています。 比較的高いソースコード言語に悪影響を及ぼすことなく、低リソース言語にトランスリテラゼーションが有効であることに気付きました。
  論文  参考訳（メタデータ） (2022-01-29T05:48:42Z)
• UNKs Everywhere: Adapting Multilingual Language Models to New Scripts [103.79021395138423]
  マルチリンガルBERT(mBERT)やXLM-Rのような多言語言語モデルは、様々なNLPタスクに対して最先端の言語間転送性能を提供する。 キャパシティの制限と事前トレーニングデータの大きな差のため、リソース豊富な言語とリソースを対象とする言語には大きなパフォーマンスギャップがある。 本稿では,事前学習した多言語モデルの低リソース言語や未知のスクリプトへの高速かつ効果的な適応を可能にする新しいデータ効率手法を提案する。
  論文  参考訳（メタデータ） (2020-12-31T11:37:28Z)
• FILTER: An Enhanced Fusion Method for Cross-lingual Language Understanding [85.29270319872597]
  我々は,XLMファインタニングの入力として言語間データを利用する拡張融合法を提案する。 推論中は、ターゲット言語で入力されたテキストとソース言語の翻訳に基づいて予測を行う。 この問題に対処するため,対象言語における翻訳テキストのための自動生成ソフト擬似ラベルに基づくモデル学習のためのKL分割自己学習損失を提案する。
  論文  参考訳（メタデータ） (2020-09-10T22:42:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。