論文の概要: Scaling Multilingual Pretraining of Pixel Language Models

• arxiv url: http://arxiv.org/abs/2610.29681v1
• Date: Wed, 21 Oct 2026 12:57:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 00:40:06.36622
• Title: Scaling Multilingual Pretraining of Pixel Language Models
• Title（参考訳）: 画素言語モデルの多言語事前学習のスケーリング
• Abstract要約: 私たちは、より多くの言語、より多くのスクリプト、より大きなモデルキャパシティの3つの軸に沿って、MPIXELモデルのファミリーをトレーニングします。 各軸は追加の言語やスクリプトを改善し、キャパシティの増大は多言語性の呪いを軽減する。
• 参考スコア（独自算出の注目度）: 11.69994274111586
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Pixel language models process text as rendered images instead of a finite vocabulary, which gives them strong cross-lingual transfer abilities. However, not much is known about how these abilities are influenced by larger-scale pretraining. In this paper, we train a family of MPIXEL models along three axes of variation: more languages, more scripts, and larger model capacity under fixed per-language compute. In evaluations on five tasks covering 83 languages, we find that scaling acts locally: each axis improves the added languages and scripts, while increased capacity mitigates the curse of multilinguality from pretraining on more languages. Transfer to unseen scripts improves with multilingual pretraining, but does not further improve with scaling. On typologically distant low-resource languages, our models outperform subword and character-level baselines across many writing systems. We also show that larger pixel models reserve more layers for visual processing, and that cross-lingual alignment weakens as more languages are added. Overall, our findings characterize how multilingual scaling improves pixel language models.
• Abstract（参考訳）: Pixel言語モデルは、有限語彙の代わりにレンダリングされた画像としてテキストを処理するため、強い言語間転送能力が得られる。 しかし、これらの能力がより大規模な事前訓練によってどのように影響されるかについてはあまり分かっていない。 本稿では,MPIXELモデル群を,言語数,スクリプト数,モデルキャパシティの3つの軸に沿ってトレーニングする。 83言語をカバーする5つのタスクの評価において、スケーリングは局所的に機能することがわかった。各軸は追加の言語やスクリプトを改善し、キャパシティの増大は、より多くの言語で事前学習することによる多言語性の呪いを軽減する。 目に見えないスクリプトへの転送は、複数言語による事前トレーニングによって改善されるが、スケーリングでは改善されない。 タイポロジー的に遠い低リソース言語では、我々のモデルは多くの書き込みシステムにおいてサブワードや文字レベルのベースラインよりも優れています。 また、より大きなピクセルモデルでは、視覚処理のためにより多くのレイヤを予約し、言語間のアライメントがより多く追加されるにつれて弱まることを示す。 全体として、多言語スケーリングが画素言語モデルをどのように改善するかを特徴付ける。

関連論文リスト

• One Form to Transfer Them All: Pretraining Multilingual Language Models Beyond Native Orthography [35.26843528120082]
  自動回帰多言語事前学習における入力表現を系統的に比較し,正書法テキスト,IPA,ロマン化を比較した。 ロマン化は言語間の移動において最強であり、テキストに対する優位性は大規模に拡大する。 以上の結果から,多言語モデルにおいて,ロマン化は事前学習における中核的な設計選択として扱われるべきであることが示唆された。
  論文  参考訳（メタデータ） (2026-08-26T15:23:18Z)
• LlamaTurk: Adapting Open-Source Generative Large Language Models for Low-Resource Language [2.9914612342004503]
  本研究は、主に英語で訓練された大規模な言語モデルを低リソース言語に適応させることにより、代替的な解決策を探求する。 継続訓練,命令細調整,タスク特化細調整,語彙拡張など,さまざまな戦略を評価する。 その結果、継続学習は、難易度スコアに反映されるような言語理解を向上し、タスク固有のチューニングは、一般的に下流タスクのパフォーマンスを向上することを示した。
  論文  参考訳（メタデータ） (2024-05-13T13:41:59Z)
• Zero-shot Sentiment Analysis in Low-Resource Languages Using a Multilingual Sentiment Lexicon [78.12363425794214]
  私たちは、34の言語にまたがるゼロショットの感情分析タスクに重点を置いています。 文レベルの感情データを使用しない多言語語彙を用いた事前学習は、英語の感情データセットに微調整されたモデルと比較して、ゼロショット性能が優れていることを示す。
  論文  参考訳（メタデータ） (2024-02-03T10:41:05Z)
• When Is Multilinguality a Curse? Language Modeling for 250 High- and Low-Resource Languages [25.52470575274251]
  私たちは250以上の言語で1万以上のモノリンガルおよび多言語言語モデルを事前訓練しています。 モデレーションでは、多言語データを追加することで、低リソース言語モデリングのパフォーマンスが向上する。 データセットのサイズが大きくなるにつれて、マルチリンガルデータの追加は、低リソース言語と高リソース言語の両方のパフォーマンスを損なうようになる。
  論文  参考訳（メタデータ） (2023-11-15T18:47:42Z)
• Soft Language Clustering for Multilingual Model Pre-training [57.18058739931463]
  本稿では,インスタンスを条件付きで符号化するためのフレキシブルガイダンスとして,コンテキスト的にプロンプトを検索するXLM-Pを提案する。 我々のXLM-Pは、(1)言語間における言語不変および言語固有知識の軽量なモデリングを可能にし、(2)他の多言語事前学習手法との容易な統合を可能にする。
  論文  参考訳（メタデータ） (2023-06-13T08:08:08Z)
• Allocating Large Vocabulary Capacity for Cross-lingual Language Model Pre-training [59.571632468137075]
  最近の言語間言語モデルでは,語彙の容量が限られているため,多くの言語が不足していることがわかった。 本稿では,各言語の語彙能力を決定するアルゴリズムであるVoCapを提案する。 この問題に対処するために,k-NNに基づくターゲットサンプリングを提案し,コストの高いソフトマックスを高速化する。
  論文  参考訳（メタデータ） (2021-09-15T14:04:16Z)
• Discovering Representation Sprachbund For Multilingual Pre-Training [139.05668687865688]
  多言語事前学習モデルから言語表現を生成し、言語分析を行う。 すべての対象言語を複数のグループにクラスタリングし、表現のスプラックバンドとして各グループに名前を付ける。 言語間ベンチマークで実験を行い、強いベースラインと比較して大幅な改善が達成された。
  論文  参考訳（メタデータ） (2021-09-01T09:32:06Z)
• UNKs Everywhere: Adapting Multilingual Language Models to New Scripts [103.79021395138423]
  マルチリンガルBERT(mBERT)やXLM-Rのような多言語言語モデルは、様々なNLPタスクに対して最先端の言語間転送性能を提供する。 キャパシティの制限と事前トレーニングデータの大きな差のため、リソース豊富な言語とリソースを対象とする言語には大きなパフォーマンスギャップがある。 本稿では,事前学習した多言語モデルの低リソース言語や未知のスクリプトへの高速かつ効果的な適応を可能にする新しいデータ効率手法を提案する。
  論文  参考訳（メタデータ） (2020-12-31T11:37:28Z)
• Learning to Scale Multilingual Representations for Vision-Language Tasks [51.27839182889422]
  SMALRの有効性は、これまでビジョン言語タスクでサポートされた2倍以上の10の多言語で実証されている。 単語の埋め込み手法と比較して,訓練パラメータの1/5以下で,複数言語による画像文検索と先行作業の3～4%の性能評価を行った。
  論文  参考訳（メタデータ） (2020-04-09T01:03:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。