論文の概要: Qwen3 Embedding: Advancing Text Embedding and Reranking Through Foundation Models

• arxiv url: http://arxiv.org/abs/2506.05176v3
• Date: Wed, 11 Jun 2025 02:54:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-12 16:13:48.006885
• Title: Qwen3 Embedding: Advancing Text Embedding and Reranking Through Foundation Models
• Title（参考訳）: Qwen3 Embedding: 基本モデルによるテキストの埋め込みとリグレードの改善
• Authors: Yanzhao Zhang, Mingxin Li, Dingkun Long, Xin Zhang, Huan Lin, Baosong Yang, Pengjun Xie, An Yang, Dayiheng Liu, Junyang Lin, Fei Huang, Jingren Zhou,
• Abstract要約: 我々は、前身のGTE-Qwenシリーズよりも大幅に進歩したQwen3 Embeddingシリーズを紹介する。 Qwen3 Embeddingシリーズは、組み込みタスクと再ランクタスクの両方のためのモデルサイズの範囲を提供する。 Qwen3 Embeddingシリーズは様々なベンチマークで最先端の結果が得られる。
• 参考スコア（独自算出の注目度）: 90.54780244175511
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this work, we introduce the Qwen3 Embedding series, a significant advancement over its predecessor, the GTE-Qwen series, in text embedding and reranking capabilities, built upon the Qwen3 foundation models. Leveraging the Qwen3 LLMs' robust capabilities in multilingual text understanding and generation, our innovative multi-stage training pipeline combines large-scale unsupervised pre-training with supervised fine-tuning on high-quality datasets. Effective model merging strategies further ensure the robustness and adaptability of the Qwen3 Embedding series. During the training process, the Qwen3 LLMs serve not only as backbone models but also play a crucial role in synthesizing high-quality, rich, and diverse training data across multiple domains and languages, thus enhancing the training pipeline. The Qwen3 Embedding series offers a spectrum of model sizes (0.6B, 4B, 8B) for both embedding and reranking tasks, addressing diverse deployment scenarios where users can optimize for either efficiency or effectiveness. Empirical evaluations demonstrate that the Qwen3 Embedding series achieves state-of-the-art results across diverse benchmarks. Notably, it excels on the multilingual evaluation benchmark MTEB for text embedding, as well as in various retrieval tasks, including code retrieval, cross-lingual retrieval and multilingual retrieval. To facilitate reproducibility and promote community-driven research and development, the Qwen3 Embedding models are publicly available under the Apache 2.0 license.
• Abstract（参考訳）: そこで本研究では,前身であるGTE-Qwenシリーズに対する大きな進歩であるQwen3 Embeddingシリーズを,Qwen3ファウンデーションモデルに基づくテキスト埋め込みと再ランク機能で導入する。 マルチ言語テキスト理解と生成におけるQwen3 LLMのロバストな機能を活用して、我々の革新的なマルチステージトレーニングパイプラインは、大規模な教師なし事前トレーニングと高品質データセットの教師付き微調整を組み合わせる。 効果的なモデルマージ戦略により、Qwen3 Embeddingシリーズの堅牢性と適応性がさらに確保される。 トレーニングプロセスの間、Qwen3 LLMはバックボーンモデルとして機能するだけでなく、高品質でリッチで多様なトレーニングデータを複数のドメインや言語で合成する上でも重要な役割を果たす。 Qwen3 Embeddingシリーズは、タスクの埋め込みと再配置の両方のためのモデルサイズ(0.6B、4B、8B)のスペクトルを提供し、ユーザーが効率と効率のどちらでも最適化できる多様なデプロイメントシナリオに対処する。 実証的な評価は、Qwen3 Embeddingシリーズが様々なベンチマークで最先端の結果が得られることを示している。 特に、テキスト埋め込みのための多言語評価ベンチマークMTEBや、コード検索、多言語検索、多言語検索など様々な検索タスクに優れています。 再現性を容易にし、コミュニティ主導の研究開発を促進するため、Qwen3 EmbeddingモデルはApache 2.0ライセンスの下で公開されている。

関連論文リスト

• Qwen3 Technical Report [137.96804244102205]
  Qwenモデルファミリの最新バージョンであるQwen3を紹介します。 Qwen3は、性能、効率、多言語機能を向上させるために設計された一連の大規模言語モデル(LLM)から構成されている。
  論文  参考訳（メタデータ） (2025-05-14T13:41:34Z)
• InternVL3: Exploring Advanced Training and Test-Time Recipes for Open-Source Multimodal Models [139.19991097260115]
  InternVL3は、ネイティブなマルチモーダル事前学習パラダイムを備えたInternVLシリーズの重要な進歩である。 特に、InternVL3-78B は MMMU ベンチマークで72.2 のスコアを獲得し、オープンソースの MLLM に新しい最先端技術を設定する。 オープンサイエンスの原則を追求するため、我々は、次世代MLLMのさらなる研究・開発を促進するために、トレーニングデータとモデルウェイトの両方を公開します。
  論文  参考訳（メタデータ） (2025-04-14T17:59:25Z)
• BGE M3-Embedding: Multi-Lingual, Multi-Functionality, Multi-Granularity Text Embeddings Through Self-Knowledge Distillation [26.65107475147534]
  本稿では,M3-Embeddingと呼ばれる新しい埋め込みモデルを提案する。 100以上の作業言語をサポートすることができるため、多言語および多言語検索タスクにおける最先端のパフォーマンスが新たに向上する。 M3-Embeddingは、短い文から最大8192トークンの長いドキュメントまで、さまざまな粒度の入力を処理することができる。
  論文  参考訳（メタデータ） (2024-02-05T17:26:49Z)
• Recitation-Augmented Language Models [85.30591349383849]
  知識集約型NLPタスクにおいて,RECITEは強力なパラダイムであることを示す。 具体的には、リサイクリングを中間ステップとして活用することにより、新しい最先端性能を実現することができることを示す。
  論文  参考訳（メタデータ） (2022-10-04T00:49:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。