論文の概要: Towards a Common Understanding of Contributing Factors for Cross-Lingual Transfer in Multilingual Language Models: A Review

• arxiv url: http://arxiv.org/abs/2305.16768v1
• Date: Fri, 26 May 2023 09:31:12 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-29 16:03:13.744168
• Title: Towards a Common Understanding of Contributing Factors for Cross-Lingual Transfer in Multilingual Language Models: A Review
• Title（参考訳）: 多言語言語モデルにおける言語間伝達の寄与要因の共通理解に向けて
• Authors: Fred Philippy, Siwen Guo, Shohreh Haddadan
• Abstract要約: 事前訓練された多言語言語モデル(MLLM)は、異なる言語間で知識を伝達する強力な能力を示している。 その出現について独特で分かりやすい説明を得ることは困難である。 このレビューは、まず、将来の研究のための整合した基準点を提供し、次に、MLLMの言語間能力を活用するためのより良いインフォームドおよびより効率的な方法のガイダンスを提供する。
• 参考スコア（独自算出の注目度）: 2.578242050187029
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In recent years, pre-trained Multilingual Language Models (MLLMs) have shown a strong ability to transfer knowledge across different languages. However, given that the aspiration for such an ability has not been explicitly incorporated in the design of the majority of MLLMs, it is challenging to obtain a unique and straightforward explanation for its emergence. In this review paper, we survey literature that investigates different factors contributing to the capacity of MLLMs to perform zero-shot cross-lingual transfer and subsequently outline and discuss these factors in detail. To enhance the structure of this review and to facilitate consolidation with future studies, we identify five categories of such factors. In addition to providing a summary of empirical evidence from past studies, we identify consensuses among studies with consistent findings and resolve conflicts among contradictory ones. Our work contextualizes and unifies existing research streams which aim at explaining the cross-lingual potential of MLLMs. This review provides, first, an aligned reference point for future research and, second, guidance for a better-informed and more efficient way of leveraging the cross-lingual capacity of MLLMs.
• Abstract（参考訳）: 近年,MLLM (Pre-trained Multilingual Language Models) は様々な言語間で知識を伝達する強力な能力を示している。 しかし、そのような能力の願望がMLLMの大多数の設計に明示的に組み込まれていないことを考えると、その出現について独特で分かりやすい説明を得ることは困難である。 本稿では,MLLMのゼロショット言語間移動能力に寄与する諸要因を調査し,その後,これらの要因を詳細に概説する。 本レビューの構造を強化し,今後の研究と統合することを容易にするため,これらの因子の5つのカテゴリを同定した。 過去の研究から得られた実証的証拠の要約に加えて、一貫した発見を伴う研究の間でのコンセンサスを特定し、矛盾する研究間での紛争を解決する。 本研究は,MLLMの言語間ポテンシャルを説明するために,既存の研究ストリームを文脈化・統合する。 このレビューは、まず、将来の研究のための整合した基準点を提供し、次に、MLLMの言語間能力を活用するためのより良いインフォームドおよびより効率的な方法のガイダンスを提供する。

関連論文リスト

• 1+1>2: Can Large Language Models Serve as Cross-Lingual Knowledge Aggregators? [46.43162333819418]
  大規模言語モデル(LLM)は、様々な言語にまたがって情報を処理できることから、大きな注目を集めている。 それらの能力にもかかわらず、異なる言語で同じクエリを扱うことに矛盾を示し、さらなる進歩のための課題を提示している。 本稿では,多言語からの知識を集約することで,LLMの多言語的性能を向上させる手法を提案する。
  論文  参考訳（メタデータ） (2024-06-20T20:32:53Z)
• A Survey on Large Language Models with Multilingualism: Recent Advances and New Frontiers [48.314619377988436]
  LLM(Large Language Models)の急速な開発は、自然言語処理における顕著な多言語機能を示している。 LLMのブレークスルーにもかかわらず、多言語シナリオの研究は依然として不十分である。 本調査は,多言語問題に対する研究コミュニティの取り組みを支援することを目的としており,LLMに基づく多言語自然言語処理における中核概念,鍵技術,最新の発展の包括的理解を提供する。
  論文  参考訳（メタデータ） (2024-05-17T17:47:39Z)
• Multilingual Large Language Model: A Survey of Resources, Taxonomy and Frontiers [81.47046536073682]
  本稿では,MLLM(Multilingual Large Language Model)文学における最近の進歩と新たなトレンドを要約する一貫した視点を提示する。 私たちの研究がコミュニティに迅速なアクセスを提供し、MLLMにおける画期的な研究を促進することを願っています。
  論文  参考訳（メタデータ） (2024-04-07T11:52:44Z)
• A Survey on Multilingual Large Language Models: Corpora, Alignment, and Bias [5.104497013562654]
  本稿では,MLLMの進化,鍵技術,多言語能力について概説する。 我々は、MLLMのトレーニングや下流タスクに適した多言語データセットに広く利用されている多言語コーパスについて検討する。 本稿では,MLLMのカテゴリと評価指標を含むバイアスについて論じ,既存のデバイアス手法を要約する。
  論文  参考訳（メタデータ） (2024-04-01T05:13:56Z)
• FAC$^2$E: Better Understanding Large Language Model Capabilities by Dissociating Language and Cognition [56.76951887823882]
  大規模言語モデル(LLM)は、主に様々なテキスト理解および生成タスクにおける全体的なパフォーマンスによって評価される。 FAC$2$E, FAC$2$Eについて述べる。
  論文  参考訳（メタデータ） (2024-02-29T21:05:37Z)
• LLaMA Beyond English: An Empirical Study on Language Capability Transfer [49.298360366468934]
  我々は、言語生成の能力と指示を英語以外の言語に効果的に伝達する方法に焦点をあてる。 本稿では,語彙拡張や事前学習,トランスファーに対する指導指導などの重要な要因が与える影響について分析する。 C-Eval、MMLU、AGI-Eval、GAokao-Benchの4つの広く使われている標準テストベンチマークを採用しています。
  論文  参考訳（メタデータ） (2024-01-02T06:29:02Z)
• A Survey on Multimodal Large Language Models [71.63375558033364]
  GPT-4Vで表されるマルチモーダル大言語モデル(MLLM)は、新たな研究ホットスポットとなっている。 本稿では,MLLMの最近の進歩を追跡・要約することを目的とする。
  論文  参考訳（メタデータ） (2023-06-23T15:21:52Z)
• CMMLU: Measuring massive multitask language understanding in Chinese [133.70911295934746]
  本稿では, 自然科学, 社会科学, 工学, 人文科学など, さまざまな分野をカバーする総合的な中国のベンチマークを紹介する。 CMMLUは、中国語の文脈における大きな言語モデルの知識と推論能力の評価におけるギャップを埋める。
  論文  参考訳（メタデータ） (2023-06-15T15:49:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。