論文の概要: Qwen3 Embedding: Advancing Text Embedding and Reranking Through Foundation Models

• arxiv url: http://arxiv.org/abs/2506.05176v3
• Date: Wed, 11 Jun 2025 02:54:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-12 16:13:48.006885
• Title: Qwen3 Embedding: Advancing Text Embedding and Reranking Through Foundation Models
• Title（参考訳）: Qwen3 Embedding: 基本モデルによるテキストの埋め込みとリグレードの改善
• Authors: Yanzhao Zhang, Mingxin Li, Dingkun Long, Xin Zhang, Huan Lin, Baosong Yang, Pengjun Xie, An Yang, Dayiheng Liu, Junyang Lin, Fei Huang, Jingren Zhou,
• Abstract要約: 我々は、前身のGTE-Qwenシリーズよりも大幅に進歩したQwen3 Embeddingシリーズを紹介する。 Qwen3 Embeddingシリーズは、組み込みタスクと再ランクタスクの両方のためのモデルサイズの範囲を提供する。 Qwen3 Embeddingシリーズは様々なベンチマークで最先端の結果が得られる。
• 参考スコア（独自算出の注目度）: 90.54780244175511
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this work, we introduce the Qwen3 Embedding series, a significant advancement over its predecessor, the GTE-Qwen series, in text embedding and reranking capabilities, built upon the Qwen3 foundation models. Leveraging the Qwen3 LLMs' robust capabilities in multilingual text understanding and generation, our innovative multi-stage training pipeline combines large-scale unsupervised pre-training with supervised fine-tuning on high-quality datasets. Effective model merging strategies further ensure the robustness and adaptability of the Qwen3 Embedding series. During the training process, the Qwen3 LLMs serve not only as backbone models but also play a crucial role in synthesizing high-quality, rich, and diverse training data across multiple domains and languages, thus enhancing the training pipeline. The Qwen3 Embedding series offers a spectrum of model sizes (0.6B, 4B, 8B) for both embedding and reranking tasks, addressing diverse deployment scenarios where users can optimize for either efficiency or effectiveness. Empirical evaluations demonstrate that the Qwen3 Embedding series achieves state-of-the-art results across diverse benchmarks. Notably, it excels on the multilingual evaluation benchmark MTEB for text embedding, as well as in various retrieval tasks, including code retrieval, cross-lingual retrieval and multilingual retrieval. To facilitate reproducibility and promote community-driven research and development, the Qwen3 Embedding models are publicly available under the Apache 2.0 license.
• Abstract（参考訳）: そこで本研究では,前身であるGTE-Qwenシリーズに対する大きな進歩であるQwen3 Embeddingシリーズを,Qwen3ファウンデーションモデルに基づくテキスト埋め込みと再ランク機能で導入する。 マルチ言語テキスト理解と生成におけるQwen3 LLMのロバストな機能を活用して、我々の革新的なマルチステージトレーニングパイプラインは、大規模な教師なし事前トレーニングと高品質データセットの教師付き微調整を組み合わせる。 効果的なモデルマージ戦略により、Qwen3 Embeddingシリーズの堅牢性と適応性がさらに確保される。 トレーニングプロセスの間、Qwen3 LLMはバックボーンモデルとして機能するだけでなく、高品質でリッチで多様なトレーニングデータを複数のドメインや言語で合成する上でも重要な役割を果たす。 Qwen3 Embeddingシリーズは、タスクの埋め込みと再配置の両方のためのモデルサイズ(0.6B、4B、8B)のスペクトルを提供し、ユーザーが効率と効率のどちらでも最適化できる多様なデプロイメントシナリオに対処する。 実証的な評価は、Qwen3 Embeddingシリーズが様々なベンチマークで最先端の結果が得られることを示している。 特に、テキスト埋め込みのための多言語評価ベンチマークMTEBや、コード検索、多言語検索、多言語検索など様々な検索タスクに優れています。 再現性を容易にし、コミュニティ主導の研究開発を促進するため、Qwen3 EmbeddingモデルはApache 2.0ライセンスの下で公開されている。

関連論文リスト

• Qwen3 Technical Report [137.96804244102205]
  Qwenモデルファミリの最新バージョンであるQwen3を紹介します。 Qwen3は、性能、効率、多言語機能を向上させるために設計された一連の大規模言語モデル(LLM)から構成されている。
  論文  参考訳（メタデータ） (2025-05-14T13:41:34Z)
• An Empirical Study of Qwen3 Quantization [30.214896404069677]
  低ビット量子化は有望な解であるが、Qwen3の性能への影響は未解明のままである。 Qwen3に適用された5つの古典的ポストトレーニング量子化手法を,1ビットから8ビットまでのビット幅で厳格に評価する。 以上の結果から,Qwen3は適度なビット幅での競合性能を維持しながら,超低精度での言語タスクの顕著な劣化を経験していることが明らかとなった。
  論文  参考訳（メタデータ） (2025-05-04T18:43:44Z)
• InternVL3: Exploring Advanced Training and Test-Time Recipes for Open-Source Multimodal Models [139.19991097260115]
  InternVL3は、ネイティブなマルチモーダル事前学習パラダイムを備えたInternVLシリーズの重要な進歩である。 特に、InternVL3-78B は MMMU ベンチマークで72.2 のスコアを獲得し、オープンソースの MLLM に新しい最先端技術を設定する。 オープンサイエンスの原則を追求するため、我々は、次世代MLLMのさらなる研究・開発を促進するために、トレーニングデータとモデルウェイトの両方を公開します。
  論文  参考訳（メタデータ） (2025-04-14T17:59:25Z)
• KaLM-Embedding: Superior Training Data Brings A Stronger Embedding Model [27.25688303240741]
  KaLM-Embeddingは、よりクリーンで、より多様な、ドメイン固有のトレーニングデータを活用する一般的な多言語埋め込みモデルである。 我々のモデルは、性能を向上させることが証明された重要な技術で訓練されている。
  論文  参考訳（メタデータ） (2025-01-02T03:17:51Z)
• NVLM: Open Frontier-Class Multimodal LLMs [64.00053046838225]
  NVLM 1.0は、フロンティアクラスのマルチモーダル言語モデル(LLM)のファミリーであり、視覚言語タスクの最先端結果を実現する。 トレーニング効率とマルチモーダル推論能力を両立させる新しいアーキテクチャを提案する。 我々は、NVLM-1.0モデルのための生産級マルチモーダリティを開発し、視覚言語タスクに優れる。
  論文  参考訳（メタデータ） (2024-09-17T17:59:06Z)
• BGE M3-Embedding: Multi-Lingual, Multi-Functionality, Multi-Granularity Text Embeddings Through Self-Knowledge Distillation [26.65107475147534]
  本稿では,M3-Embeddingと呼ばれる新しい埋め込みモデルを提案する。 100以上の作業言語をサポートすることができるため、多言語および多言語検索タスクにおける最先端のパフォーマンスが新たに向上する。 M3-Embeddingは、短い文から最大8192トークンの長いドキュメントまで、さまざまな粒度の入力を処理することができる。
  論文  参考訳（メタデータ） (2024-02-05T17:26:49Z)
• Towards General Text Embeddings with Multi-stage Contrastive Learning [20.803769345818456]
  GTEは多段階のコントラスト学習で訓練された汎用テキスト埋め込みモデルである。 複数の情報源からの多様なデータセットに対してコントラスト学習を用いることで、統一的なテキスト埋め込みモデルを訓練する。
  論文  参考訳（メタデータ） (2023-08-07T03:52:59Z)
• Recitation-Augmented Language Models [85.30591349383849]
  知識集約型NLPタスクにおいて,RECITEは強力なパラダイムであることを示す。 具体的には、リサイクリングを中間ステップとして活用することにより、新しい最先端性能を実現することができることを示す。
  論文  参考訳（メタデータ） (2022-10-04T00:49:20Z)
• Enabling Multimodal Generation on CLIP via Vision-Language Knowledge Distillation [79.72299298976525]
  我々は、視覚言語知識蒸留(VLKD)を通して、テキスト事前学習言語モデル(PLM)を用いた視覚言語事前学習モデルの拡張を提案する。 実験の結果,複数モーダル生成タスクにおいて,視覚的質問応答や画像キャプションなどのゼロショット性能が強いことがわかった。 PLMの本来のテキスト言語理解と生成能力は、VLKDの後に維持される。
  論文  参考訳（メタデータ） (2022-03-12T09:33:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。