論文の概要: A Survey of Large Language Models for European Languages

• arxiv url: http://arxiv.org/abs/2408.15040v2
• Date: Wed, 28 Aug 2024 03:56:37 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-29 12:58:09.281224
• Title: A Survey of Large Language Models for European Languages
• Title（参考訳）: ヨーロッパ言語における大規模言語モデルの検討
• Authors: Wazir Ali, Sampo Pyysalo,
• Abstract要約: 大規模言語モデル(LLM)は、多岐にわたる自然言語処理における高い性能のため、大きな注目を集めている。 LLaMA, PaLM, GPT, MoE など LLM ファミリーの概要を報告する。 大規模言語モデルの事前学習に使用される共通単言語および多言語データセットの包括的要約を提供する。
• 参考スコア（独自算出の注目度）: 4.328283741894074
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) have gained significant attention due to their high performance on a wide range of natural language tasks since the release of ChatGPT. The LLMs learn to understand and generate language by training billions of model parameters on vast volumes of text data. Despite being a relatively new field, LLM research is rapidly advancing in various directions. In this paper, we present an overview of LLM families, including LLaMA, PaLM, GPT, and MoE, and the methods developed to create and enhance LLMs for official European Union (EU) languages. We provide a comprehensive summary of common monolingual and multilingual datasets used for pretraining large language models.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、ChatGPTのリリース以来、多岐にわたる自然言語タスクにおける高いパフォーマンスのために注目されている。 LLMは、膨大なテキストデータに対して数十億のモデルパラメータをトレーニングすることで、言語を理解し、生成することを学ぶ。 比較的新しい分野であるにもかかわらず、LSMの研究は様々な方向に急速に進んでいる。 本稿では, LLaMA, PaLM, GPT, MoE など LLM ファミリーの概要と, 欧州連合 (EU) の公式言語のための LLM 作成・拡張手法について述べる。 大規模言語モデルの事前学習に使用される共通単言語および多言語データセットの包括的要約を提供する。

関連論文リスト

• EuroLLM: Multilingual Language Models for Europe [76.89545643715368]
  オープンウェイトな多言語LLMの開発を目的としたEuroLLMプロジェクトを紹介した。 これまでの進捗状況を概説し、データ収集とフィルタリングプロセスについて詳述する。 マルチリンガル・ジェネラル・ベンチマークと機械翻訳の性能について報告する。
  論文  参考訳（メタデータ） (2024-09-24T16:51:36Z)
• Getting More from Less: Large Language Models are Good Spontaneous Multilingual Learners [67.85635044939836]
  大きな言語モデル(LLM)は印象的な言語機能を示している。 本研究では,LLMの自然多言語アライメント改善について検討する。 質問翻訳データ(すなわち注釈付き回答なし)に基づいて学習したLLMは、英語と幅広い言語との整合を促進できることがわかった。
  論文  参考訳（メタデータ） (2024-05-22T16:46:19Z)
• Language-Specific Neurons: The Key to Multilingual Capabilities in Large Language Models [117.20416338476856]
  大規模言語モデル(LLM)は、特別にキュレートされた多言語並列コーパスで事前訓練されることなく、顕著な多言語機能を示す。 LLM内の言語特異的ニューロンを識別するための新しい検出手法である言語アクティベーション確率エントロピー(LAPE)を提案する。 以上の結果から,LLMが特定の言語を処理できる能力は,神経細胞のサブセットが少なすぎるためであることが示唆された。
  論文  参考訳（メタデータ） (2024-02-26T09:36:05Z)
• Large Language Models: A Survey [69.72787936480394]
  大規模言語モデル(LLM)は、広範囲の自然言語タスクにおける強力なパフォーマンスのために、多くの注目を集めている。 LLMの汎用言語理解と生成能力は、膨大なテキストデータに基づいて数十億のモデルのパラメータを訓練することで得られる。
  論文  参考訳（メタデータ） (2024-02-09T05:37:09Z)
• Supervised Knowledge Makes Large Language Models Better In-context Learners [94.89301696512776]
  大規模言語モデル(LLM)は、素早い工学を通して、文脈内学習能力の出現を示す。 自然言語理解と質問応答におけるLLMの一般化性と事実性の向上という課題は、まだ未解決のままである。 本研究では, LLM の信頼性を高める枠組みを提案する。1) 分布外データの一般化,2) 差別モデルによる LLM のメリットの解明,3) 生成タスクにおける幻覚の最小化。
  論文  参考訳（メタデータ） (2023-12-26T07:24:46Z)
• Okapi: Instruction-tuned Large Language Models in Multiple Languages with Reinforcement Learning from Human Feedback [61.83548032416181]
  複数の言語を対象としたRLHFに基づく命令調整型LLMシステムであるOkapiを提案する。 オカピは26の多言語言語でインストラクションと応答ランクデータを導入し、将来の多言語LLM研究の促進と開発に役立てている。
  論文  参考訳（メタデータ） (2023-07-29T18:01:46Z)
• Several categories of Large Language Models (LLMs): A Short Survey [3.73538163699716]
  大規模言語モデル(LLM)は、自然言語処理の効果的なツールとなり、様々な分野で使われてきた。 この調査は、タスクベースの金融LLM、多言語LLM、バイオメディカルおよび臨床LLM、ビジョン言語LLM、コード言語モデルなど、近年のLLMの発展と取り組みを強調している。
  論文  参考訳（メタデータ） (2023-07-05T18:18:23Z)
• A Primer on Pretrained Multilingual Language Models [18.943173499882885]
  MLLM(Multilingual Language Models)は、多数の言語に事前学習の能力をもたらすための実行可能な選択肢として登場した。 本報告では,MLLMに関する研究分野について概説する。
  論文  参考訳（メタデータ） (2021-07-01T18:01:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。