論文の概要: A Survey on Large Language Models with Multilingualism: Recent Advances and New Frontiers

• arxiv url: http://arxiv.org/abs/2405.10936v1
• Date: Fri, 17 May 2024 17:47:39 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-20 15:24:17.333820
• Title: A Survey on Large Language Models with Multilingualism: Recent Advances and New Frontiers
• Title（参考訳）: 多言語化を伴う大規模言語モデルに関する調査研究 : 最近の進歩と新たなフロンティア
• Authors: Kaiyu Huang, Fengran Mo, Hongliang Li, You Li, Yuanchi Zhang, Weijian Yi, Yulong Mao, Jinchen Liu, Yuzhuang Xu, Jinan Xu, Jian-Yun Nie, Yang Liu,
• Abstract要約: LLM(Large Language Models)の急速な開発は、自然言語処理における顕著な多言語機能を示している。 LLMのブレークスルーにもかかわらず、多言語シナリオの研究は依然として不十分である。 本調査は,多言語問題に対する研究コミュニティの取り組みを支援することを目的としており,LLMに基づく多言語自然言語処理における中核概念,鍵技術,最新の発展の包括的理解を提供する。
• 参考スコア（独自算出の注目度）: 48.314619377988436
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The rapid development of Large Language Models (LLMs) demonstrates remarkable multilingual capabilities in natural language processing, attracting global attention in both academia and industry. To mitigate potential discrimination and enhance the overall usability and accessibility for diverse language user groups, it is important for the development of language-fair technology. Despite the breakthroughs of LLMs, the investigation into the multilingual scenario remains insufficient, where a comprehensive survey to summarize recent approaches, developments, limitations, and potential solutions is desirable. To this end, we provide a survey with multiple perspectives on the utilization of LLMs in the multilingual scenario. We first rethink the transitions between previous and current research on pre-trained language models. Then we introduce several perspectives on the multilingualism of LLMs, including training and inference methods, model security, multi-domain with language culture, and usage of datasets. We also discuss the major challenges that arise in these aspects, along with possible solutions. Besides, we highlight future research directions that aim at further enhancing LLMs with multilingualism. The survey aims to help the research community address multilingual problems and provide a comprehensive understanding of the core concepts, key techniques, and latest developments in multilingual natural language processing based on LLMs.
• Abstract（参考訳）: 大規模言語モデル(LLM)の急速な発展は、自然言語処理において顕著な多言語能力を示し、学術と産業の両方で世界的注目を集めている。 多様な言語ユーザグループの潜在的な差別を緩和し、全体的なユーザビリティとアクセシビリティを高めるためには、言語フェア技術の開発が重要である。 LLMのブレークスルーにもかかわらず、多言語シナリオの調査は依然として不十分であり、最近のアプローチ、開発、制限、潜在的な解決策をまとめた総合的な調査が望ましい。 この目的のために,多言語シナリオにおけるLLMの利用について,複数の視点で調査を行った。 まず,事前学習型言語モデルにおける従来の研究と現在の研究の変遷について再考する。 次に, LLMの多言語性について, トレーニングと推論手法, モデルセキュリティ, 言語文化を伴うマルチドメイン, データセットの利用などを紹介する。 また、可能なソリューションとともに、これらの側面で生じる大きな課題についても論じます。 さらに,多言語化によるLLMのさらなる向上を目指す今後の研究の方向性を強調した。 この調査は、多言語問題に対する研究コミュニティの取り組みを支援し、LLMに基づく多言語自然言語処理における中核的な概念、鍵となる技術、および最新の発展の包括的理解を提供することを目的としている。

関連論文リスト

• Responsible Multilingual Large Language Models: A Survey of Development, Applications, and Societal Impact [5.803667039914564]
  この作業は、実運用環境におけるMLLMの開発とデプロイのためのエンドツーエンドフレームワークを提供することによって、ギャップを埋める。 調査の結果,世界言語の88.38%が低資源言語に分類されるなど,言語多様性を支える上で重要な課題が明らかになった。 この調査は、より包括的で効果的な多言語AIシステムの開発に取り組んでいる実践者や研究者にとって不可欠なガイダンスを提供する。
  論文  参考訳（メタデータ） (2024-10-23T03:19:15Z)
• Lens: Rethinking Multilingual Enhancement for Large Language Models [70.85065197789639]
  Lensは、大規模言語モデル(LLM)の多言語機能を強化する新しいアプローチである LLMの上位層から言語に依存しない、言語固有のサブ空間内の隠された表現を操作できる。 既存のポストトレーニング手法に比べて計算資源がはるかに少ないため、優れた結果が得られる。
  論文  参考訳（メタデータ） (2024-10-06T08:51:30Z)
• LLM for Everyone: Representing the Underrepresented in Large Language Models [21.07409393578553]
  この論文は、表現不足言語に焦点をあてて、NLPの研究と開発におけるギャップを埋めることを目的としている。 大規模言語モデル(LLM)の包括的評価を行い,それらの能力を評価する。 提案手法は、言語間連続的命令チューニング、検索に基づく言語間インコンテキスト学習、コンテキスト内クエリアライメントを網羅する。
  論文  参考訳（メタデータ） (2024-09-20T20:53:22Z)
• Getting More from Less: Large Language Models are Good Spontaneous Multilingual Learners [67.85635044939836]
  大きな言語モデル(LLM)は印象的な言語機能を示している。 本研究では,LLMの自然多言語アライメント改善について検討する。 質問翻訳データ(すなわち注釈付き回答なし)に基づいて学習したLLMは、英語と幅広い言語との整合を促進できることがわかった。
  論文  参考訳（メタデータ） (2024-05-22T16:46:19Z)
• Multilingual Large Language Model: A Survey of Resources, Taxonomy and Frontiers [81.47046536073682]
  本稿では,MLLM(Multilingual Large Language Model)文学における最近の進歩と新たなトレンドを要約する一貫した視点を提示する。 私たちの研究がコミュニティに迅速なアクセスを提供し、MLLMにおける画期的な研究を促進することを願っています。
  論文  参考訳（メタデータ） (2024-04-07T11:52:44Z)
• A Survey on Multilingual Large Language Models: Corpora, Alignment, and Bias [5.104497013562654]
  本稿では,MLLMの進化,鍵技術,多言語能力について概説する。 我々は、MLLMのトレーニングや下流タスクに適した多言語データセットに広く利用されている多言語コーパスについて検討する。 本稿では,MLLMのカテゴリと評価指標を含むバイアスについて論じ,既存のデバイアス手法を要約する。
  論文  参考訳（メタデータ） (2024-04-01T05:13:56Z)
• Language-Specific Neurons: The Key to Multilingual Capabilities in Large Language Models [117.20416338476856]
  大規模言語モデル(LLM)は、特別にキュレートされた多言語並列コーパスで事前訓練されることなく、顕著な多言語機能を示す。 LLM内の言語特異的ニューロンを識別するための新しい検出手法である言語アクティベーション確率エントロピー(LAPE)を提案する。 以上の結果から,LLMが特定の言語を処理できる能力は,神経細胞のサブセットが少なすぎるためであることが示唆された。
  論文  参考訳（メタデータ） (2024-02-26T09:36:05Z)
• History, Development, and Principles of Large Language Models-An Introductory Survey [15.875687167037206]
  自然言語処理(NLP)の基盤となる言語モデル 数十年にわたる広範な研究を経て、言語モデリングは、初期統計言語モデル(SLM)から、大規模言語モデル(LLM)の現代的景観へと進歩してきた。
  論文  参考訳（メタデータ） (2024-02-10T01:18:15Z)
• A Survey of Large Language Models [81.06947636926638]
  言語モデリングは、過去20年間、言語理解と生成のために広く研究されてきた。 近年,大規模コーパス上でのトランスフォーマーモデルの事前学習により,事前学習言語モデル (PLM) が提案されている。 パラメータスケールの違いを識別するために、研究コミュニティは大規模言語モデル (LLM) という用語を提唱した。
  論文  参考訳（メタデータ） (2023-03-31T17:28:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。