論文の概要: EmbeddingGemma: Powerful and Lightweight Text Representations
- arxiv url: http://arxiv.org/abs/2509.20354v2
- Date: Sun, 28 Sep 2025 23:00:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-30 14:13:47.613197
- Title: EmbeddingGemma: Powerful and Lightweight Text Representations
- Title（参考訳）: EmbeddingGemma: 強力で軽量なテキスト表現
- Abstract要約: EmbeddingGemmaはGemma 3言語ファミリに基づいた、新しい軽量でオープンなテキスト埋め込みモデルである。
スプレッドアウト正規化器を用いてモデル頑健性と表現性を向上する。
さらなる研究を促進するため、コミュニティに EmbeddingGemma をリリースします。
- 参考スコア（独自算出の注目度）: 42.34520055523387
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We introduce EmbeddingGemma, a new lightweight, open text embedding model based on the Gemma 3 language model family. Our innovative training recipe strategically captures knowledge from larger models via encoder-decoder initialization and geometric embedding distillation. We improve model robustness and expressiveness with a spread-out regularizer, and ensure generalizability by merging checkpoints from varied, optimized mixtures. Evaluated on the Massive Text Embedding Benchmark (MTEB) across multilingual, English, and code domains, EmbeddingGemma (300M) achieves state-of-the-art results. Notably, it outperforms prior top models, both proprietary and open, with fewer than 500M parameters, and provides performance comparable to models double its size, offering an exceptional performance-to-cost ratio. Remarkably, this lead persists when quantizing model weights or truncating embedding outputs. This makes EmbeddingGemma particularly well-suited for low-latency and high-throughput use cases such as on-device applications. We provide ablation studies exploring our key design choices. We release EmbeddingGemma to the community to promote further research.
- Abstract（参考訳）: Gemma 3言語モデルファミリに基づいた,新しい軽量でオープンなテキスト埋め込みモデルである EmbeddingGemma を紹介する。
我々は,エンコーダ・デコーダの初期化と幾何埋め込み蒸留により,大規模モデルの知識を戦略的に収集する。
モデルロバスト性および表現性をスプレッドアウト正規化器で向上し、様々な最適化された混合物からチェックポイントをマージすることで一般化性を確保する。
MTEB(Massive Text Embedding Benchmark)を多言語、英語、コードドメインで評価し、EmbedingGemma (300M)は最先端の結果を得る。
特筆すべきは、プロプライエタリとオープンの両方で、500万パラメータ未満で、従来のトップモデルよりも優れており、モデルのサイズを2倍にし、例外的なパフォーマンス対コストの比率を提供する。
注目すべきことに、このリードはモデルウェイトを定量化したり、埋め込み出力を減らしたりするときに持続する。
これにより、EmbeddingGemmaは特にデバイス上のアプリケーションのような低レイテンシで高スループットのユースケースに適しています。
重要な設計選択を探求するアブレーション研究を提供する。
さらなる研究を促進するため、コミュニティに EmbeddingGemma をリリースします。
関連論文リスト
- jina-embeddings-v5-omni: Geometry-preserving Embeddings via Locked Aligned Towers [4.3450882150663235]
GELATOはマルチモーダル埋め込みモデルに対する新しいアプローチである。
GELATOは最先端技術と競合する結果を生み出す。
論文 参考訳（メタデータ） (2026-05-08T18:45:15Z) - TranslateGemma Technical Report [39.30046490326195]
Gemma 3基盤モデルに基づくオープンマシン翻訳モデルのスイートであるTranslateGemmaを提示する。
すべてのサイズにわたるベースラインGemma 3モデルに対して、一貫性と実質的な向上を示します。
また,TranslateGemmaモデルでは,Vistra画像変換ベンチマークの性能向上とともに,強力なマルチモーダル機能を維持していることを示す。
論文 参考訳（メタデータ） (2026-01-13T22:23:24Z) - ReasonEmbed: Enhanced Text Embeddings for Reasoning-Intensive Document Retrieval [46.111605335278746]
ReasonEmbedは、推論集約的な文書検索のために開発された新しいテキスト埋め込みモデルである。
ReMixerは、過去の合成データセットでよく見られる自明性問題を克服する新しいデータ合成手法である。
Redapterは自己適応学習アルゴリズムで、推論強度に基づいて各サンプルの重量を動的に調整する。
論文 参考訳（メタデータ） (2025-10-09T14:10:26Z) - An Enhanced Model-based Approach for Short Text Clustering [58.60681789677676]
Twitter、Google+、Facebookなどのソーシャルメディアの人気が高まり、短いテキストのクラスタリングがますます重要になっている。
既存の手法は、トピックモデルに基づくアプローチと深層表現学習に基づくアプローチの2つのパラダイムに大別することができる。
短文の空間性と高次元性を効果的に扱えるDirichlet Multinomial Mixture Model (GSDMM) のギブスサンプリングアルゴリズムを提案する。
さらなる改良を保証しているGSDMMのいくつかの側面に基づいて,さらなる性能向上を目的とした改良されたアプローチであるGSDMM+を提案する。
論文 参考訳（メタデータ） (2025-07-18T10:07:42Z) - Do We Really Need Specialization? Evaluating Generalist Text Embeddings for Zero-Shot Recommendation and Search [51.30225948318648]
汎用テキスト埋め込みモデル(GTE)は大規模コーパス上で事前訓練される。
GTEは特別な適応なしに強力なゼロショット性能を保証できることを示す。
また、最も情報性の高い方向に着目して埋め込み寸法を圧縮することで、ノイズを効果的に低減できることを示す。
論文 参考訳（メタデータ） (2025-07-07T13:41:52Z) - KaLM-Embedding-V2: Superior Training Techniques and Data Inspire A Versatile Embedding Model [46.95431131609286]
汎用的・コンパクトな埋め込みモデルである KaLM-Embedding-V2 は汎用テキスト埋め込みタスクにおいて優れた性能を発揮する。
i) 大規模弱教師付きオープンソースコーパスの事前トレーニング、(ii) 高品質な検索と非検索データセットの微調整、(iii) 堅牢な一般化のためのモデル-バックアップパラメータ平均化。
論文 参考訳（メタデータ） (2025-06-26T01:09:44Z) - Gated Attention for Large Language Models: Non-linearity, Sparsity, and Attention-Sink-Free [81.65559031466452]
我々は、ゲーティング強化ソフトマックスアテンションの変種を調べる実験を行った。
SDPA(Scaled Dot-Product Attention)後の頭部特異的シグモイドゲートを簡易に修正することで,性能が向上することがわかった。
論文 参考訳（メタデータ） (2025-05-10T17:15:49Z) - Training Sparse Mixture Of Experts Text Embedding Models [0.0]
トランスフォーマーベースのテキスト埋め込みモデルは、パラメータ数を増やすことで、MIRACLやBEIRのようなベンチマークのパフォーマンスを改善した。
このスケーリングアプローチでは、推論レイテンシやメモリ使用量の増加など、デプロイメント上の大きな課題が導入されている。
最初の汎用MoEテキスト埋め込みモデルであるNomic Embed v2を紹介する。
論文 参考訳（メタデータ） (2025-02-11T21:36:31Z) - Boosting Few-Shot Detection with Large Language Models and Layout-to-Image Synthesis [1.1633929083694388]
本稿では,最先端な生成的拡張アプローチを超越した,少数ショット検出のためのフレームワークを提案する。
我々は,新しいレイアウト対応CLIPスコアをサンプルランキングに導入し,生成したレイアウトと画像の密結合を可能にする。
アプローチでは,COCO5-,10-,30ショット設定でYOLOX-Sベースラインを140%以上,50%,35%のmAPで強化する。
論文 参考訳（メタデータ） (2024-10-09T12:57:45Z) - mGTE: Generalized Long-Context Text Representation and Reranking Models for Multilingual Text Retrieval [67.50604814528553]
まず、RoPEとアンパディングで強化されたテキストエンコーダを導入し、ネイティブの8192-tokenコンテキストで事前トレーニングを行った。
そして、コントラスト学習によりハイブリッドTRMとクロスエンコーダ・リランカを構築する。
論文 参考訳（メタデータ） (2024-07-29T03:12:28Z) - Arctic-Embed: Scalable, Efficient, and Accurate Text Embedding Models [5.2094499417507105]
本報告では,テキスト埋込型テキスト埋め込みモデルのファミリの背後にあるトレーニングデータセットの作成とレシピについて述べる。
リリース時点で、各モデルはMTEB検索のリーダーボード上で、その大きさのモデルに対する最先端の検索精度を達成した。
論文 参考訳（メタデータ） (2024-05-08T19:05:18Z) - Z-Code++: A Pre-trained Language Model Optimized for Abstractive
Summarization [108.09419317477986]
Z-Code++は、抽象的なテキスト要約に最適化された、新しいトレーニング済み言語モデルである。
このモデルは、まず、言語理解のためのテキストコーパスを用いて事前訓練され、続いて、接地テキスト生成のための要約コーパス上で継続的に事前訓練される。
パラメータ効率はXSumでは600倍のPaLM-540B,SAMSumでは200倍のGPT3-175Bである。
論文 参考訳（メタデータ） (2022-08-21T01:00:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。