論文の概要: Pangea: A Fully Open Multilingual Multimodal LLM for 39 Languages

• arxiv url: http://arxiv.org/abs/2410.16153v1
• Date: Mon, 21 Oct 2024 16:19:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-22 13:21:08.970786
• Title: Pangea: A Fully Open Multilingual Multimodal LLM for 39 Languages
• Title（参考訳）: Pangea:39言語用の完全にオープンな多言語マルチモーダルLLM
• Authors: Xiang Yue, Yueqi Song, Akari Asai, Seungone Kim, Jean de Dieu Nyandwi, Simran Khanuja, Anjali Kantharuban, Lintang Sutawika, Sathyanarayanan Ramamoorthy, Graham Neubig,
• Abstract要約: 本稿では,39言語にまたがる多様な6M命令データセットに基づいて訓練された多言語多言語多言語大言語モデル(MLLM)であるPangeaを紹介する。 P Pangeaは、多言語設定や多様な文化的コンテキストにおいて、既存のオープンソースモデルよりも大幅に優れています。 我々は、包括的で堅牢な多言語MLLMの開発を容易にするために、データ、コード、訓練されたチェックポイントを完全にオープンソースにしています。
• 参考スコア（独自算出の注目度）: 55.36534539177367
• License:
• Abstract: Despite recent advances in multimodal large language models (MLLMs), their development has predominantly focused on English- and western-centric datasets and tasks, leaving most of the world's languages and diverse cultural contexts underrepresented. This paper introduces Pangea, a multilingual multimodal LLM trained on PangeaIns, a diverse 6M instruction dataset spanning 39 languages. PangeaIns features: 1) high-quality English instructions, 2) carefully machine-translated instructions, and 3) culturally relevant multimodal tasks to ensure cross-cultural coverage. To rigorously assess models' capabilities, we introduce PangeaBench, a holistic evaluation suite encompassing 14 datasets covering 47 languages. Results show that Pangea significantly outperforms existing open-source models in multilingual settings and diverse cultural contexts. Ablation studies further reveal the importance of English data proportions, language popularity, and the number of multimodal training samples on overall performance. We fully open-source our data, code, and trained checkpoints, to facilitate the development of inclusive and robust multilingual MLLMs, promoting equity and accessibility across a broader linguistic and cultural spectrum.
• Abstract（参考訳）: 近年のMLLM(Multimodal large language model)の発展にもかかわらず、その開発は主に英語と西洋中心のデータセットとタスクに焦点を当てており、世界の言語と多様な文化的文脈のほとんどを表現していない。 本稿では,39言語にまたがる多様な6M命令データセットであるPangeaInsをトレーニングした多言語マルチモーダルLLMであるPangeaを紹介する。 PangeaInsの機能: 1)高品質な英語の指示。 2【機械翻訳指示】 3)文化横断性を確保するため,文化的に関係のあるマルチモーダルなタスク。 モデルの機能を厳格に評価するために,47言語をカバーする14のデータセットを含む総合評価スイートであるPangeaBenchを紹介した。 その結果,Pangeaは多言語設定や多様な文化的文脈において,既存のオープンソースモデルよりも大幅に優れていた。 アブレーション研究は、英語データの割合、言語の人気、および総合的なパフォーマンスに関するマルチモーダルトレーニングサンプルの数の重要性をさらに明らかにしている。 我々は、包括的で堅牢な多言語MLLMの開発を促進するために、我々のデータ、コード、訓練されたチェックポイントを完全にオープンソース化し、より広い言語と文化のスペクトルにわたって、公平性とアクセシビリティを促進します。

関連論文リスト

• EMMA-500: Enhancing Massively Multilingual Adaptation of Large Language Models [50.459861376459656]
  EMMA-500は546言語にわたるテキストで継続訓練された大規模多言語言語モデルである。 本結果は,大規模言語モデルの言語能力拡大における継続事前学習の有効性を強調した。
  論文  参考訳（メタデータ） (2024-09-26T14:40:45Z)
• SeaLLMs 3: Open Foundation and Chat Multilingual Large Language Models for Southeast Asian Languages [77.75535024869224]
  東南アジアの言語に合わせたSeaLLMsモデルファミリーの最新版SeaLLMs 3を紹介します。 SeaLLMs 3は、英語、中国語、インドネシア語、ベトナム語、タイ語、タガログ語、マレー語、ビルマ語、クメール語、ラオス語、タミル語、ジャワ語など、この地域で話される言語全般をカバーすることで、このギャップを埋めることを目指している。 我々のモデルは、世界的知識、数学的推論、翻訳、命令の追従といったタスクに優れており、同様の大きさのモデルで最先端の性能を達成する。
  論文  参考訳（メタデータ） (2024-07-29T03:26:22Z)
• X-LLaVA: Optimizing Bilingual Large Vision-Language Alignment [4.571088742209442]
  91Kの英語-韓国-中国の多言語・マルチモーダルトレーニングデータセットを作成します。 韓国語と英語の両方で優れた性能を示すバイリンガル・マルチモーダル・モデルを開発した。
  論文  参考訳（メタデータ） (2024-03-18T01:14:47Z)
• CulturaX: A Cleaned, Enormous, and Multilingual Dataset for Large Language Models in 167 Languages [86.90220551111096]
  大規模言語モデル(LLM)のトレーニングデータセットは、完全には公開されないことが多い。 我々は167言語で6.3兆のトークンを持つ相当な多言語データセットであるCulturaXを紹介する。
  論文  参考訳（メタデータ） (2023-09-17T23:49:10Z)
• Extrapolating Large Language Models to Non-English by Aligning Languages [109.09051737966178]
  既存の大きな言語モデルは、異なる言語間で異なる能力を示す。 本稿では,言語間のセマンティックアライメントを構築することで,英語以外の言語に事前学習したLLMを強化する。
  論文  参考訳（メタデータ） (2023-08-09T13:32:06Z)
• PolyLM: An Open Source Polyglot Large Language Model [57.64420154135178]
  我々は6400億(B)トークンでトレーニングされた多言語大言語モデル(LLM)であるPolyLMについて述べる。 その多言語的能力を高めるために,1) バイリンガルデータをトレーニングデータに統合し,2) 事前学習中に英語以外のデータの比率を30%から60%に引き上げるカリキュラム学習戦略を採用する。 さらに,モデル微調整のために,132.7Kの多言語命令を自動的に生成する多言語自己指示手法を提案する。
  論文  参考訳（メタデータ） (2023-07-12T09:00:37Z)
• Large Scale Multi-Lingual Multi-Modal Summarization Dataset [26.92121230628835]
  現在最大の多言語マルチモーダル要約データセット(M3LS)を提示する。 それは100万以上のドキュメントイメージペアのインスタンスと、それぞれに専門的な注釈付きマルチモーダル要約で構成されています。 また、13言語に対する最大の要約データセットであり、2言語に対する言語間要約データで構成されている。
  論文  参考訳（メタデータ） (2023-02-13T18:00:23Z)
• Multilingual Multimodal Learning with Machine Translated Text [27.7207234512674]
  英語のマルチモーダルデータの機械翻訳が、容易に利用できる多言語データの欠如を抑えるための効果的なプロキシとなるかどうかを考察する。 得られたデータセットからそのような翻訳を自動的に除去する2つの指標を提案する。 In experiment on five task across 20 languages in the IGLUE benchmark, we show that translated data can provide a useful signal for multilingual multimodal learning。
  論文  参考訳（メタデータ） (2022-10-24T11:41:20Z)
• Large-scale Bilingual Language-Image Contrastive Learning [17.19890778916312]
  我々は11億枚の画像テキストペア(韓国語7800万、英語476万)を集め、KELIPという名前のバイリンガル・マルチモーダルモデルを訓練します。 我々は,MAE事前学習やマルチクロップ強化など,シンプルで効果的なトレーニング手法を導入する。 実験により、そのようなトレーニングスキームで訓練されたモデルは、両方の言語で競合する性能を示すことが示された。
  論文  参考訳（メタデータ） (2022-03-28T03:02:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。