論文の概要: m3BERT: A Modern, Multi-lingual, Matryoshka Bidirectional Encoder

• arxiv url: http://arxiv.org/abs/2605.19568v1
• Date: Tue, 19 May 2026 09:13:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-20 15:03:09.223419
• Title: m3BERT: A Modern, Multi-lingual, Matryoshka Bidirectional Encoder
• Title（参考訳）: m3BERT: モダンで多言語でマトリシカの双方向エンコーダ
• Authors: Yaoxiang Wang, Simiao Zuo, Qingguo Hu, Yucheng Ding, Yeyun Gong, Jian Jiao, Jinsong Su,
• Abstract要約: 我々はm3BERT: A Modern, Multi-lingual, Matryoshka Bidirectional representationsを紹介する。 トランス層と複数の埋め込み次元にまたがる表現を共同で最適化する、新しい事前学習戦略が特徴である。 大規模な産業検索データセットであるBing-Clickでは、最先端の埋め込みモデルよりも大幅に優れています。
• 参考スコア（独自算出の注目度）: 50.2753694138149
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Embedding models are pivotal in industrial information retrieval systems like search and advertising. However, existing pretrained models often exhibit fixed architectures and embedding dimensionalities, posing significant challenges when adapting them to diverse deployment scenarios with varying business-driven constraints. A common practice involves fine-tuning with partial parameter initialization from larger pretrained models for resource-constrained tasks. This method is often suboptimal as the misalignment between pretraining and downstream usage prevents full realization of pretraining benefits. To address this limitation, we introduce m3BERT: a Modern, Multi-lingual, Matryoshka Bidirectional Encoder, which features a novel pretraining strategy that jointly optimizes representations across both transformer layers and multiple embedding dimensions. This enables a single model to be tailored to varied resource and accuracy targets while maintaining consistency with pretraining. Incorporating recent architectural improvements, m3BERT uses a three-stage pretraining: monolingual pretraining, multilingual adaptation to serve diverse user bases, and crucial continual pretraining on a massive web domain corpus to enhance utility in commercial retrieval. m3BERT significantly outperforms state-of-the-art embedding models in Bing-Click, a large-scale industrial retrieval dataset, showcasing its practical versatility as an efficient foundation for resource-aware industrial retrieval systems. Further experiments on public datasets also confirm the general effectiveness of our multigranular Matryoshka pretraining strategy.
• Abstract（参考訳）: 埋め込みモデルは、検索や広告のような産業情報検索システムにおいて重要である。 しかし、既存の事前訓練されたモデルは、しばしば固定されたアーキテクチャを示し、次元を埋め込むことで、異なるビジネス駆動の制約を伴う多様なデプロイメントシナリオにそれらを適用する際に重大な課題を生じさせる。 一般的なプラクティスは、リソース制約されたタスクのためのより大きな事前訓練されたモデルから部分パラメータの初期化を伴って微調整を行うことである。 この方法は、事前学習と下流利用のミスアライメントにより、事前学習の利点を完全に実現できないため、亜最適であることが多い。 この制限に対処するために、m3BERT: a Modern, Multi-lingual, Matryoshka Bidirectional Encoderを紹介します。 これにより、事前トレーニングとの整合性を維持しながら、単一のモデルをさまざまなリソースや精度目標に合わせて調整することができる。 最近のアーキテクチャ改善を取り入れたm3BERTでは、モノリンガル事前学習、多様なユーザベースを提供するための多言語適応、商用検索における有用性を高めるために巨大なWebドメインコーパス上での重要な継続事前訓練という、3段階の事前訓練を使用している。 m3BERTは、大規模産業検索データセットであるBing-Clickにおける最先端の埋め込みモデルを大幅に上回り、その実用的汎用性を、資源を意識した産業検索システムの効率的な基盤として示している。 公開データセットに関するさらなる実験は、我々の多粒性Matryoshka事前学習戦略の一般的な有効性も確認した。

関連論文リスト

• Bagging-Based Model Merging for Robust General Text Embeddings [73.51674133699196]
  汎用テキスト埋め込みモデルは、幅広いNLPおよび情報検索アプリケーションを支える。 本稿では,データスケジューリングとモデルマージという2つの観点から,テキスト埋め込みのためのマルチタスク学習の体系的研究を行う。 本稿では,Baging ベースの rObust mOdel Merging (BOOM) を提案する。
  論文  参考訳（メタデータ） (2026-02-05T15:45:08Z)
• KaLM-Embedding: Superior Training Data Brings A Stronger Embedding Model [27.25688303240741]
  KaLM-Embeddingは、よりクリーンで、より多様な、ドメイン固有のトレーニングデータを活用する一般的な多言語埋め込みモデルである。 我々のモデルは、性能を向上させることが証明された重要な技術で訓練されている。
  論文  参考訳（メタデータ） (2025-01-02T03:17:51Z)
• A Practitioner's Guide to Continual Multimodal Pretraining [83.63894495064855]
  マルチモーダル・ファンデーション・モデルは視覚と言語を交わす多くのアプリケーションに役立っている。 モデルを更新し続けるために、継続事前トレーニングの研究は主に、大規模な新しいデータに対する頻度の低い、差別的な更新、あるいは頻繁に行われるサンプルレベルの更新のシナリオを探求する。 本稿では,FoMo-in-Flux(FoMo-in-Flux)について紹介する。
  論文  参考訳（メタデータ） (2024-08-26T17:59:01Z)
• bert2BERT: Towards Reusable Pretrained Language Models [51.078081486422896]
  本稿では,既存のより小さな事前学習モデルの知識を大規模モデルに効果的に伝達できるbert2BERTを提案する。 bert2BERTは、ほぼ半分の大きさのモデルを再利用することで、BERT_BASEとGPT_BASEの事前トレーニングに約45%と47%の計算コストを節約する。
  論文  参考訳（メタデータ） (2021-10-14T04:05:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。