論文の概要: RomanSetu: Efficiently unlocking multilingual capabilities of Large Language Models models via Romanization

• arxiv url: http://arxiv.org/abs/2401.14280v1
• Date: Thu, 25 Jan 2024 16:11:41 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-26 14:09:26.071594
• Title: RomanSetu: Efficiently unlocking multilingual capabilities of Large Language Models models via Romanization
• Title（参考訳）: romansetu: ローマ字化による大規模言語モデルの多言語機能化の効率化
• Authors: Jaavid Aktar Husain, Raj Dabre, Aswanth Kumar, Ratish Puduppully, Anoop Kunchukuttan
• Abstract要約: 本稿では,大規模言語モデルのためのインタフェースとして,ロマン化形式のテキストを利用する革新的なアプローチを提案する。 我々は、ヒンディー語から英語への翻訳と感情分析タスクを通じて、ロマライズされたテキストが推論効率を大幅に改善することを示した。 ローマン化テキストとネイティブテキストを組み合わせた新しいマルチスクリプトプロンプト手法は,タスク性能のさらなる向上を約束する。
• 参考スコア（独自算出の注目度）: 20.779936650038884
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: This study addresses the challenge of extending Large Language Models (LLMs) to non-English languages, specifically those using non-Latin scripts. We propose an innovative approach that utilizes the romanized form of text as an interface for LLMs, hypothesizing that its frequent informal use and shared tokens with English enhance cross-lingual alignment. Focusing on Hindi, we demonstrate through Hindi-to-English translation and sentiment analysis tasks that romanized text not only significantly improves inference efficiency due to its lower fertility compared to native text but also achieves competitive performance with limited pre-training. Additionally, our novel multi-script prompting approach, which combines romanized and native texts, shows promise in further enhancing task performance. These findings suggest the potential of romanization in bridging the language gap for LLM applications, with future work aimed at expanding this approach to more languages and tasks.
• Abstract（参考訳）: 本研究では,Large Language Models(LLM)を英語以外の言語,特にラテン語以外のスクリプトに拡張するという課題に対処する。 本稿では,LLMのインタフェースとしてロマン化形式のテキストを利用する革新的なアプローチを提案し,その頻繁な非公式使用と共通トークンによる言語間アライメントの強化を仮定する。 ヒンディー語に焦点をあてて、ヒンディー語から英語への翻訳と感情分析のタスクを通じて、ロマナイズドテキストは、ネイティブテキストに比べて出生率の低いため推論効率を著しく向上するだけでなく、限定的な事前学習による競合性能も達成することを示した。 さらに、ロマライズされたテキストとネイティブテキストを組み合わせた新しいマルチスクリプトプロンプトアプローチにより、タスクパフォーマンスのさらなる向上が期待できる。 これらの発見は、llmアプリケーションの言語ギャップを埋めることにおけるローマ字化の可能性を示しており、将来の研究は、このアプローチをより多くの言語やタスクに拡張することを目的としている。

関連論文リスト

• Dictionary Insertion Prompting for Multilingual Reasoning on Multilingual Large Language Models [52.00446751692225]
  textbfDictionary textbfInsertion textbfPrompting (textbfDIP) という,新規かつシンプルで効果的な方法を提案する。 非英語のプロンプトを提供する際、DIPは単語辞書を調べ、単語の英語のプロンプトをLLMのプロンプトに挿入する。 そして、英語へのより良い翻訳とより良い英語モデル思考のステップを可能にし、明らかにより良い結果をもたらす。
  論文  参考訳（メタデータ） (2024-11-02T05:10:50Z)
• Breaking the Script Barrier in Multilingual Pre-Trained Language Models with Transliteration-Based Post-Training Alignment [50.27950279695363]
  転送性能は、低リソースのターゲット言語が高リソースのソース言語とは異なるスクリプトで書かれている場合、しばしば妨げられる。 本論文は,この問題に対処するために翻訳を用いた最近の研究に触発されて,翻訳に基づくポストプレトレーニングアライメント(PPA)手法を提案する。
  論文  参考訳（メタデータ） (2024-06-28T08:59:24Z)
• Cross-lingual Editing in Multilingual Language Models [1.3062731746155414]
  本稿では,言語間モデル編集(textbfXME)パラダイムを紹介し,事実を一つの言語で編集し,その後の更新伝搬を他の言語で観察する。 その結果,言語が2つの異なるスクリプトファミリーに属している場合を中心に,XME設定下での最先端のMETの性能制限が顕著に示された。
  論文  参考訳（メタデータ） (2024-01-19T06:54:39Z)
• Romanization-based Large-scale Adaptation of Multilingual Language Models [124.57923286144515]
  大規模多言語事前学習言語モデル (mPLMs) は,NLPにおける多言語間移動のデファクトステートとなっている。 我々は、mPLMをローマン化および非ロマン化した14の低リソース言語コーパスに適用するためのデータとパラメータ効率の戦略を多数検討し、比較した。 以上の結果から, UROMAN をベースとしたトランスリテラルは,多くの言語で高い性能を達成できることがわかった。
  論文  参考訳（メタデータ） (2023-04-18T09:58:34Z)
• Efficiently Aligned Cross-Lingual Transfer Learning for Conversational Tasks using Prompt-Tuning [98.60739735409243]
  英語のような高リソース言語で訓練された言語モデルの言語間移動は、多くのNLPタスクのために広く研究されている。 並列および大規模多言語会話データセットである言語間アライメント事前学習のためのXSGDを導入する。 協調的な言語間表現を容易にするために,アライメントプロンプトを学習するための効率的なプロンプトチューニング手法を開発した。
  論文  参考訳（メタデータ） (2023-04-03T18:46:01Z)
• Prompting Multilingual Large Language Models to Generate Code-Mixed Texts: The Case of South East Asian Languages [47.78634360870564]
  東南アジア7言語(SEA)のコードミキシングデータ生成のための多言語モデルの構築について検討する。 BLOOMZのような多言語学習モデルでは、異なる言語からフレーズや節でテキストを生成できないことが判明した。 ChatGPTは、コード混合テキストの生成において矛盾する機能を示しており、そのパフォーマンスはプロンプトテンプレートと言語ペアリングによって異なる。
  論文  参考訳（メタデータ） (2023-03-23T18:16:30Z)
• Exploiting Language Relatedness for Low Web-Resource Language Model Adaptation: An Indic Languages Study [14.34516262614775]
  言語族における言語間の関連性は、LRLのコーパス制限を克服するために悪用される可能性があると論じる。 我々はインドの言語に焦点をあて,(1)スクリプト(ブラフミック文字から派生した多くのインデックススクリプト)と(2)文構造という2つの次元に沿った関連性を活用する。
  論文  参考訳（メタデータ） (2021-06-07T20:43:02Z)
• UNKs Everywhere: Adapting Multilingual Language Models to New Scripts [103.79021395138423]
  マルチリンガルBERT(mBERT)やXLM-Rのような多言語言語モデルは、様々なNLPタスクに対して最先端の言語間転送性能を提供する。 キャパシティの制限と事前トレーニングデータの大きな差のため、リソース豊富な言語とリソースを対象とする言語には大きなパフォーマンスギャップがある。 本稿では,事前学習した多言語モデルの低リソース言語や未知のスクリプトへの高速かつ効果的な適応を可能にする新しいデータ効率手法を提案する。
  論文  参考訳（メタデータ） (2020-12-31T11:37:28Z)
• Learning Contextualised Cross-lingual Word Embeddings and Alignments for Extremely Low-Resource Languages Using Parallel Corpora [63.5286019659504]
  そこで本稿では,小さな並列コーパスに基づく文脈型言語間単語埋め込み学習手法を提案する。 本手法は,入力文の翻訳と再構成を同時に行うLSTMエンコーダデコーダモデルを用いて単語埋め込みを実現する。
  論文  参考訳（メタデータ） (2020-10-27T22:24:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。