論文の概要: A Primer on Pretrained Multilingual Language Models
- arxiv url: http://arxiv.org/abs/2107.00676v1
- Date: Thu, 1 Jul 2021 18:01:46 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-05 12:55:35.530112
- Title: A Primer on Pretrained Multilingual Language Models
- Title(参考訳): 事前学習された多言語モデルにおけるプライマー
- Authors: Sumanth Doddapaneni, Gowtham Ramesh, Anoop Kunchukuttan, Pratyush
Kumar, Mitesh M. Khapra
- Abstract要約: MLLM(Multilingual Language Models)は、多数の言語に事前学習の能力をもたらすための実行可能な選択肢として登場した。
本報告では,MLLMに関する研究分野について概説する。
- 参考スコア(独自算出の注目度): 18.943173499882885
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multilingual Language Models (MLLMs) such as mBERT, XLM, XLM-R, \textit{etc.}
have emerged as a viable option for bringing the power of pretraining to a
large number of languages. Given their success in zero shot transfer learning,
there has emerged a large body of work in (i) building bigger MLLMs covering a
large number of languages (ii) creating exhaustive benchmarks covering a wider
variety of tasks and languages for evaluating MLLMs (iii) analysing the
performance of MLLMs on monolingual, zero shot crosslingual and bilingual tasks
(iv) understanding the universal language patterns (if any) learnt by MLLMs and
(v) augmenting the (often) limited capacity of MLLMs to improve their
performance on seen or even unseen languages. In this survey, we review the
existing literature covering the above broad areas of research pertaining to
MLLMs. Based on our survey, we recommend some promising directions of future
research.
- Abstract(参考訳): mBERT, XLM, XLM-R, \textit{etc.} のような多言語言語モデル(MLLM)
多くの言語に事前訓練の力を もたらすための選択肢として現れました
Given their success in zero shot transfer learning, there has emerged a large body of work in (i) building bigger MLLMs covering a large number of languages (ii) creating exhaustive benchmarks covering a wider variety of tasks and languages for evaluating MLLMs (iii) analysing the performance of MLLMs on monolingual, zero shot crosslingual and bilingual tasks (iv) understanding the universal language patterns (if any) learnt by MLLMs and (v) augmenting the (often) limited capacity of MLLMs to improve their performance on seen or even unseen languages.
本調査では,MLLMに関する研究領域を網羅する文献について概説する。
本調査に基づき,今後の研究の今後の方向性を示唆する。
関連論文リスト
- Tracing the Roots of Facts in Multilingual Language Models: Independent,
Shared, and Transferred Knowledge [16.923674220979]
本研究では,多言語言語モデル(ML-LM)が事実知識をどのように獲得し,表現するかを検討する。
ML-LMにおける事実の獲得と表現の3つのパターンを識別する。
本研究は,言語間における一貫した事実知識の維持という課題を浮き彫りにした。
論文 参考訳(メタデータ) (2024-03-08T10:09:57Z) - How do Large Language Models Handle Multilingualism? [87.06210331315451]
大規模言語モデル(LLM)は、様々な言語で顕著な性能を示す。
LLMの多言語入力処理を記述したフレームワークを提案する。
さらに,特定の言語処理における言語特異的ニューロンの存在について検討する。
論文 参考訳(メタデータ) (2024-02-29T02:55:26Z) - Language-Specific Neurons: The Key to Multilingual Capabilities in Large
Language Models [122.25217086389425]
大規模言語モデル(LLM)は、特別にキュレートされた多言語並列コーパスで事前訓練されることなく、顕著な多言語機能を示す。
LLM内の言語特異的ニューロンを識別するための新しい検出手法である言語アクティベーション確率エントロピー(LAPE)を提案する。
以上の結果から,LLMが特定の言語を処理できる能力は,神経細胞のサブセットが少なすぎるためであることが示唆された。
論文 参考訳(メタデータ) (2024-02-26T09:36:05Z) - Large Language Models: A Survey [69.72787936480394]
大規模言語モデル(LLM)は、広範囲の自然言語タスクにおける強力なパフォーマンスのために、多くの注目を集めている。
LLMの汎用言語理解と生成能力は、膨大なテキストデータに基づいて数十億のモデルのパラメータを訓練することで得られる。
論文 参考訳(メタデータ) (2024-02-09T05:37:09Z) - Zero-Shot Cross-Lingual Reranking with Large Language Models for
Low-Resource Languages [51.301942056881146]
アフリカ語における言語間情報検索システムにおいて,大規模言語モデル (LLM) がリランカーとしてどのように機能するかを検討する。
私たちの実装は、英語と4つのアフリカの言語(ハウサ語、ソマリ語、スワヒリ語、ヨルバ語)を対象としています。
我々は、英語のクェリとアフリカの言葉の文節による言語横断的な格付けについて検討する。
論文 参考訳(メタデータ) (2023-12-26T18:38:54Z) - How Multilingual is Multilingual LLM? [20.90512352559827]
本研究では,101言語にまたがる徹底的な分析を行うことにより,Large Language Models (LLM) の多言語能力を評価する。
それぞれのクアドラントを掘り下げることで、分類の背後にある理論的根拠を明らかにし、これらの言語をチューニングするための実行可能なガイドラインを提供します。
論文 参考訳(メタデータ) (2023-11-15T16:13:14Z) - Okapi: Instruction-tuned Large Language Models in Multiple Languages
with Reinforcement Learning from Human Feedback [61.83548032416181]
複数の言語を対象としたRLHFに基づく命令調整型LLMシステムであるOkapiを提案する。
オカピは26の多言語言語でインストラクションと応答ランクデータを導入し、将来の多言語LLM研究の促進と開発に役立てている。
論文 参考訳(メタデータ) (2023-07-29T18:01:46Z) - Don't Trust ChatGPT when Your Question is not in English: A Study of
Multilingual Abilities and Types of LLMs [16.770697902481107]
大規模言語モデル(LLM)は、例外的な自然言語理解能力を示している。
本論文では,多言語環境下でのLLMの性能格差を体系的に評価する方法を提案する。
その結果,GPTは多言語設定において高い翻訳的振る舞いを示すことがわかった。
論文 参考訳(メタデータ) (2023-05-24T02:05:03Z) - Adapters for Enhanced Modeling of Multilingual Knowledge and Text [54.02078328453149]
言語モデルは多言語言語モデル(MLLM)に拡張された。
知識グラフは、注意深いキュレーションを必要とし、少数の高リソース言語でのみ利用可能である、明示的な三重形式で事実を含む。
我々は,MLLMを多言語知識グラフ(MLKG)からの知識で拡張し,言語や知識グラフのタスクに多くの言語で取り組むことを提案する。
論文 参考訳(メタデータ) (2022-10-24T21:33:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。