論文の概要: EmbeddingGemma: Powerful and Lightweight Text Representations

• arxiv url: http://arxiv.org/abs/2509.20354v1
• Date: Wed, 24 Sep 2025 17:56:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-25 20:53:19.930153
• Title: EmbeddingGemma: Powerful and Lightweight Text Representations
• Title（参考訳）: EmbeddingGemma: 強力で軽量なテキスト表現
• Authors: Henrique Schechter Vera, Sahil Dua, Biao Zhang, Daniel Salz, Ryan Mullins, Sindhu Raghuram Panyam, Sara Smoot, Iftekhar Naim, Joe Zou, Feiyang Chen, Daniel Cer, Alice Lisak, Min Choi, Lucas Gonzalez, Omar Sanseviero, Glenn Cameron, Ian Ballantyne, Kat Black, Kaifeng Chen, Weiyi Wang, Zhe Li, Gus Martins, Jinhyuk Lee, Mark Sherwood, Juyeong Ji, Renjie Wu, Jingxiao Zheng, Jyotinder Singh, Abheesht Sharma, Divya Sreepat, Aashi Jain, Adham Elarabawy, AJ Co, Andreas Doumanoglou, Babak Samari, Ben Hora, Brian Potetz, Dahun Kim, Enrique Alfonseca, Fedor Moiseev, Feng Han, Frank Palma Gomez, Gustavo Hernández Ábrego, Hesen Zhang, Hui Hui, Jay Han, Karan Gill, Ke Chen, Koert Chen, Madhuri Shanbhogue, Michael Boratko, Paul Suganthan, Sai Meher Karthik Duddu, Sandeep Mariserla, Setareh Ariafar, Shanfeng Zhang, Shijie Zhang, Simon Baumgartner, Sonam Goenka, Steve Qiu, Tanmaya Dabral, Trevor Walker, Vikram Rao, Waleed Khawaja, Wenlei Zhou, Xiaoqi Ren, Ye Xia, Yichang Chen, Yi-Ting Chen, Zhe Dong, Zhongli Ding, Francesco Visin, Gaël Liu, Jiageng Zhang, Kathleen Kenealy, Michelle Casbon, Ravin Kumar, Thomas Mesnard, Zach Gleicher, Cormac Brick, Olivier Lacombe, Adam Roberts, Yunhsuan Sung, Raphael Hoffmann, Tris Warkentin, Armand Joulin, Tom Duerig, Mojtaba Seyedhosseini,
• Abstract要約: EmbeddingGemmaはGemma 3言語ファミリに基づいた、新しい軽量でオープンなテキスト埋め込みモデルである。 スプレッドアウト正規化器を用いてモデル頑健性と表現性を向上する。 さらなる研究を促進するため、コミュニティに EmbeddingGemma をリリースします。
• 参考スコア（独自算出の注目度）: 42.44548895574478
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce EmbeddingGemma, a new lightweight, open text embedding model based on the Gemma 3 language model family. Our innovative training recipe strategically captures knowledge from larger models via encoder-decoder initialization and geometric embedding distillation. We improve model robustness and expressiveness with a spread-out regularizer, and ensure generalizability by merging checkpoints from varied, optimized mixtures. Evaluated on the Massive Text Embedding Benchmark (MTEB) across multilingual, English, and code domains, EmbeddingGemma (300M) achieves state-of-the-art results. Notably, it outperforms prior top models, both proprietary and open, with fewer than 500M parameters, and provides performance comparable to models double its size, offering an exceptional performance-to-cost ratio. Remarkably, this lead persists when quantizing model weights or truncating embedding outputs. This makes EmbeddingGemma particularly well-suited for low-latency and high-throughput use cases such as on-device applications. We provide ablation studies exploring our key design choices. We release EmbeddingGemma to the community to promote further research.
• Abstract（参考訳）: Gemma 3言語モデルファミリに基づいた,新しい軽量でオープンなテキスト埋め込みモデルである EmbeddingGemma を紹介する。 我々は,エンコーダ・デコーダの初期化と幾何埋め込み蒸留により,大規模モデルの知識を戦略的に収集する。 モデルロバスト性および表現性をスプレッドアウト正規化器で向上し、様々な最適化された混合物からチェックポイントをマージすることで一般化性を確保する。 MTEB(Massive Text Embedding Benchmark)を多言語、英語、コードドメインで評価し、EmbedingGemma (300M)は最先端の結果を得る。 特筆すべきは、プロプライエタリとオープンの両方で、500万パラメータ未満で、従来のトップモデルよりも優れており、モデルのサイズを2倍にし、例外的なパフォーマンス対コストの比率を提供する。 注目すべきことに、このリードはモデルウェイトを定量化したり、埋め込み出力を減らしたりするときに持続する。 これにより、EmbeddingGemmaは特にデバイス上のアプリケーションのような低レイテンシで高スループットのユースケースに適しています。 重要な設計選択を探求するアブレーション研究を提供する。 さらなる研究を促進するため、コミュニティに EmbeddingGemma をリリースします。

関連論文リスト

• Do We Really Need Specialization? Evaluating Generalist Text Embeddings for Zero-Shot Recommendation and Search [51.30225948318648]
  汎用テキスト埋め込みモデル(GTE)は大規模コーパス上で事前訓練される。 GTEは特別な適応なしに強力なゼロショット性能を保証できることを示す。 また、最も情報性の高い方向に着目して埋め込み寸法を圧縮することで、ノイズを効果的に低減できることを示す。
  論文  参考訳（メタデータ） (2025-07-07T13:41:52Z)
• KaLM-Embedding-V2: Superior Training Techniques and Data Inspire A Versatile Embedding Model [46.95431131609286]
  汎用的・コンパクトな埋め込みモデルである KaLM-Embedding-V2 は汎用テキスト埋め込みタスクにおいて優れた性能を発揮する。 i) 大規模弱教師付きオープンソースコーパスの事前トレーニング、(ii) 高品質な検索と非検索データセットの微調整、(iii) 堅牢な一般化のためのモデル-バックアップパラメータ平均化。
  論文  参考訳（メタデータ） (2025-06-26T01:09:44Z)
• Gated Attention for Large Language Models: Non-linearity, Sparsity, and Attention-Sink-Free [81.65559031466452]
  我々は、ゲーティング強化ソフトマックスアテンションの変種を調べる実験を行った。 SDPA(Scaled Dot-Product Attention)後の頭部特異的シグモイドゲートを簡易に修正することで,性能が向上することがわかった。
  論文  参考訳（メタデータ） (2025-05-10T17:15:49Z)
• Training Sparse Mixture Of Experts Text Embedding Models [0.0]
  トランスフォーマーベースのテキスト埋め込みモデルは、パラメータ数を増やすことで、MIRACLやBEIRのようなベンチマークのパフォーマンスを改善した。 このスケーリングアプローチでは、推論レイテンシやメモリ使用量の増加など、デプロイメント上の大きな課題が導入されている。 最初の汎用MoEテキスト埋め込みモデルであるNomic Embed v2を紹介する。
  論文  参考訳（メタデータ） (2025-02-11T21:36:31Z)
• Arctic-Embed: Scalable, Efficient, and Accurate Text Embedding Models [5.2094499417507105]
  本報告では,テキスト埋込型テキスト埋め込みモデルのファミリの背後にあるトレーニングデータセットの作成とレシピについて述べる。 リリース時点で、各モデルはMTEB検索のリーダーボード上で、その大きさのモデルに対する最先端の検索精度を達成した。
  論文  参考訳（メタデータ） (2024-05-08T19:05:18Z)
• Z-Code++: A Pre-trained Language Model Optimized for Abstractive Summarization [108.09419317477986]
  Z-Code++は、抽象的なテキスト要約に最適化された、新しいトレーニング済み言語モデルである。 このモデルは、まず、言語理解のためのテキストコーパスを用いて事前訓練され、続いて、接地テキスト生成のための要約コーパス上で継続的に事前訓練される。 パラメータ効率はXSumでは600倍のPaLM-540B,SAMSumでは200倍のGPT3-175Bである。
  論文  参考訳（メタデータ） (2022-08-21T01:00:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。