論文の概要: Multilingual Pretraining for Pixel Language Models

• arxiv url: http://arxiv.org/abs/2505.21265v1
• Date: Tue, 27 May 2025 14:40:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-28 17:05:58.725229
• Title: Multilingual Pretraining for Pixel Language Models
• Title（参考訳）: 画素言語モデルのための多言語事前学習
• Authors: Ilker Kesen, Jonas F. Lotz, Ingo Ziegler, Phillip Rust, Desmond Elliott,
• Abstract要約: PIXEL-M4は、4つの視覚的および言語的に多様な言語で事前訓練されたモデルである。 PIXEL-M4は非ラテン文字で英語のみに比較して性能が高いことを示す。
• 参考スコア（独自算出の注目度）: 14.992915620442457
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Pixel language models operate directly on images of rendered text, eliminating the need for a fixed vocabulary. While these models have demonstrated strong capabilities for downstream cross-lingual transfer, multilingual pretraining remains underexplored. We introduce PIXEL-M4, a model pretrained on four visually and linguistically diverse languages: English, Hindi, Ukrainian, and Simplified Chinese. Multilingual evaluations on semantic and syntactic tasks show that PIXEL-M4 outperforms an English-only counterpart on non-Latin scripts. Word-level probing analyses confirm that PIXEL-M4 captures rich linguistic features, even in languages not seen during pretraining. Furthermore, an analysis of its hidden representations shows that multilingual pretraining yields a semantic embedding space closely aligned across the languages used for pretraining. This work demonstrates that multilingual pretraining substantially enhances the capability of pixel language models to effectively support a diverse set of languages.
• Abstract（参考訳）: ピクセル言語モデルはレンダリングされたテキストのイメージを直接操作し、固定語彙は不要である。 これらのモデルは下流の言語間移動の強い能力を示したが、多言語事前学習は未探索のままである。 PIXEL-M4は、4つの視覚的および言語的に多様な言語(英語、ヒンディー語、ウクライナ語、簡体字中国語)で事前訓練されたモデルである。 セマンティックタスクと構文タスクの多言語評価は、PIXEL-M4が非ラテン語のスクリプトで英語のみのパフォーマンスを上回っていることを示している。 単語レベルの探索分析により、PIXEL-M4は事前訓練中に見られない言語でさえ、豊かな言語的特徴を捉えていることを確認した。 さらに、その隠れ表現の分析により、多言語事前学習は、事前学習に用いられる言語に密に整合したセマンティック埋め込み空間をもたらすことが示された。 この研究は、多言語事前学習が、多様な言語群を効果的にサポートするピクセル言語モデルの能力を大幅に向上させることを示した。

関連論文リスト

• Multilingual Turn-taking Prediction Using Voice Activity Projection [25.094622033971643]
  本稿では,音声対話における音声活動予測モデルである音声活動予測(VAP)の多言語データへの適用について検討する。 その結果, ある言語で訓練された単言語VAPモデルでは, 他の言語に適用してもよい予測が得られないことが示唆された。 3つの言語すべてでトレーニングされた多言語モデルは、すべての言語にわたるモノリンガルモデルと同等の予測性能を示す。
  論文  参考訳（メタデータ） (2024-03-11T07:50:29Z)
• Soft Language Clustering for Multilingual Model Pre-training [57.18058739931463]
  本稿では,インスタンスを条件付きで符号化するためのフレキシブルガイダンスとして,コンテキスト的にプロンプトを検索するXLM-Pを提案する。 我々のXLM-Pは、(1)言語間における言語不変および言語固有知識の軽量なモデリングを可能にし、(2)他の多言語事前学習手法との容易な統合を可能にする。
  論文  参考訳（メタデータ） (2023-06-13T08:08:08Z)
• M-SpeechCLIP: Leveraging Large-Scale, Pre-Trained Models for Multilingual Speech to Image Retrieval [56.49878599920353]
  本研究は,多言語画像音声検索におけるCLIPとHuBERTの大規模,英語のみの事前学習モデル(CLIPとHuBERT)の利用について検討する。 非英語画像音声検索では、各言語毎に個別のモデルを訓練する場合と、3言語すべてで音声を処理する1つのモデルの両方において、最先端のパフォーマンスを幅広いマージンで上回ります。
  論文  参考訳（メタデータ） (2022-11-02T14:54:45Z)
• Generalizing Multimodal Pre-training into Multilingual via Language Acquisition [54.69707237195554]
  英語のVision-Language Pre-Trainingは、様々な下流タスクで大きな成功を収めた。 この成功を英語以外の言語に一般化するために、Multilingual Vision-Language Pre-Trainingを通じていくつかの取り組みがなされている。 単言語視覚言語事前学習モデルを多言語に容易に一般化できるtextbfMultitextbfLingual textbfAcquisition (MLA) フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-05-29T08:53:22Z)
• Analyzing the Mono- and Cross-Lingual Pretraining Dynamics of Multilingual Language Models [73.11488464916668]
  本研究では,多言語事前学習プロセスのダイナミクスについて検討する。 我々は,XLM-Rプレトレーニング全体から抽出したチェックポイントを,一連の言語的タスクを用いて探索する。 分析の結果,より複雑なものよりも低レベルな言語スキルが得られ,早期に高い言語性能が得られることがわかった。
  論文  参考訳（メタデータ） (2022-05-24T03:35:00Z)
• On the ability of monolingual models to learn language-agnostic representations [2.604227467422371]
  異なる言語で事前訓練および微調整された単言語モデルが競合性能を実現することを示す。 例えば、ドイツ語やポルトガル語のような遠方の言語で事前訓練されたモデルは、英語のタスクでも同様に機能する。
  論文  参考訳（メタデータ） (2021-09-04T22:09:44Z)
• Discovering Representation Sprachbund For Multilingual Pre-Training [139.05668687865688]
  多言語事前学習モデルから言語表現を生成し、言語分析を行う。 すべての対象言語を複数のグループにクラスタリングし、表現のスプラックバンドとして各グループに名前を付ける。 言語間ベンチマークで実験を行い、強いベースラインと比較して大幅な改善が達成された。
  論文  参考訳（メタデータ） (2021-09-01T09:32:06Z)
• Learning to Scale Multilingual Representations for Vision-Language Tasks [51.27839182889422]
  SMALRの有効性は、これまでビジョン言語タスクでサポートされた2倍以上の10の多言語で実証されている。 単語の埋め込み手法と比較して,訓練パラメータの1/5以下で,複数言語による画像文検索と先行作業の3～4%の性能評価を行った。
  論文  参考訳（メタデータ） (2020-04-09T01:03:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。