論文の概要: Training Sparse Mixture Of Experts Text Embedding Models

• arxiv url: http://arxiv.org/abs/2502.07972v1
• Date: Tue, 11 Feb 2025 21:36:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-13 13:50:51.943855
• Title: Training Sparse Mixture Of Experts Text Embedding Models
• Title（参考訳）: テキスト埋め込みモデルによるエキスパートのスパースミックスの訓練
• Authors: Zach Nussbaum, Brandon Duderstadt,
• Abstract要約: トランスフォーマーベースのテキスト埋め込みモデルは、パラメータ数を増やすことで、MIRACLやBEIRのようなベンチマークのパフォーマンスを改善した。 このスケーリングアプローチでは、推論レイテンシやメモリ使用量の増加など、デプロイメント上の大きな課題が導入されている。 最初の汎用MoEテキスト埋め込みモデルであるNomic Embed v2を紹介する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Transformer-based text embedding models have improved their performance on benchmarks like MIRACL and BEIR by increasing their parameter counts. However, this scaling approach introduces significant deployment challenges, including increased inference latency and memory usage. These challenges are particularly severe in retrieval-augmented generation (RAG) applications, where large models' increased memory requirements constrain dataset ingestion capacity, and their higher latency directly impacts query-time performance. While causal language models have addressed similar efficiency challenges using Mixture of Experts (MoE) architectures, this approach hasn't been successfully adapted to the general text embedding setting. In this paper, we introduce Nomic Embed v2, the first general purpose MoE text embedding model. Our model outperforms models in the same parameter class on both monolingual and multilingual benchmarks while also maintaining competitive performance with models twice its size. We open-source all code, models, and evaluation data to ensure full reproducibility of our training pipeline.
• Abstract（参考訳）: トランスフォーマーベースのテキスト埋め込みモデルは、パラメータ数を増やすことで、MIRACLやBEIRのようなベンチマークのパフォーマンスを改善した。 しかしながら、このスケーリングアプローチでは、推論レイテンシやメモリ使用量の増加など、デプロイメント上の大きな課題が発生している。 これらの課題は、大規模なモデルのメモリ要求の増加がデータセットの取り込み能力を制限し、その高いレイテンシがクエリ時間パフォーマンスに直接影響する、検索強化世代(RAG)アプリケーションにおいて特に深刻である。 因果言語モデルは、Mixture of Experts (MoE)アーキテクチャを使って、同様の効率上の課題に対処してきたが、このアプローチは一般的なテキスト埋め込み設定にうまく適応していない。 本稿では,最初の汎用MoEテキスト埋め込みモデルであるNomic Embed v2を紹介する。 本モデルでは, 単言語ベンチマークと多言語ベンチマークの両方において, 同じパラメータクラスでモデルの性能を向上すると同時に, モデルのサイズを2倍に抑えながら, 競合性能を維持する。 トレーニングパイプラインの完全な再現性を保証するため、すべてのコード、モデル、評価データをオープンソースにしています。

関連論文リスト

• GASE: Generatively Augmented Sentence Encoding [0.0]
  本稿では,データ拡張のための生成テキストモデルを推論時に適用することにより,文の埋め込みを強化する手法を提案する。 Generatively Augmented Sentenceは、パラフレーズ、要約、あるいはキーワードの抽出によって生成される入力テキストの多様な合成変種を使用する。 生成的拡張により,ベースライン性能の低い埋め込みモデルの性能が向上することが判明した。
  論文  参考訳（メタデータ） (2024-11-07T17:53:47Z)
• Improving General Text Embedding Model: Tackling Task Conflict and Data Imbalance through Model Merging [33.23758947497205]
  高度な埋め込みモデルは、通常、大規模マルチタスクデータと複数のタスクをまたいだ共同トレーニングを用いて開発される。 これらの課題を克服するために、独立に訓練されたモデルを組み合わせて勾配の衝突を緩和し、データ分散のバランスをとるモデルマージングについて検討する。 本稿では,勾配降下を用いたタスクベクトル空間内の最適モデル組合せを効率的に探索する新たな手法であるSelf Positioningを提案する。
  論文  参考訳（メタデータ） (2024-10-19T08:39:21Z)
• EMMA: Efficient Visual Alignment in Multi-Modal LLMs [56.03417732498859]
  EMMAは、視覚的およびテキスト的エンコーディングを効率的に融合するために設計された軽量なクロスプラットフォームモジュールである。 EMMAは複数のタスクのパフォーマンスを最大9.3%向上させ、幻覚に対する堅牢性を大幅に向上させる。
  論文  参考訳（メタデータ） (2024-10-02T23:00:31Z)
• ML-SUPERB 2.0: Benchmarking Multilingual Speech Models Across Modeling Constraints, Languages, and Datasets [106.7760874400261]
  本稿では、事前訓練されたSSLと教師付き音声モデルを評価するための新しいベンチマークであるML-SUPERB2.0を提案する。 ML-SUPERBのセットアップよりも性能が向上するが、性能は下流モデル設計に依存している。 また、言語とデータセットのパフォーマンスに大きな違いがあることから、よりターゲットを絞ったアプローチの必要性も示唆されている。
  論文  参考訳（メタデータ） (2024-06-12T21:01:26Z)
• What matters when building vision-language models? [52.8539131958858]
  我々は、80億のパラメータを持つ効率的な基礎的視覚言語モデルであるIdefics2を開発した。 Idefics2は、様々なマルチモーダルベンチマークで、そのサイズカテゴリ内で最先端のパフォーマンスを達成する。 トレーニング用に作成されたデータセットとともに、モデル(ベース、指示、チャット)をリリースします。
  論文  参考訳（メタデータ） (2024-05-03T17:00:00Z)
• Parameter-Efficient Sparsity Crafting from Dense to Mixture-of-Experts for Instruction Tuning on General Tasks [5.536630285985836]
  パラメータ効率のスペシャリティクラフト (PESC) を導入する。 PESCは、Mix-of-experts (MoE)アーキテクチャを使って、密集したモデルをスパースモデルに加工する。 我々の最良スパースモデルは他のスパースモデルよりも優れ、GP3.5に比べて優れた一般性を示す。
  論文  参考訳（メタデータ） (2024-01-05T09:58:09Z)
• Memory Augmented Language Models through Mixture of Word Experts [5.0215187938544315]
  学習能力とFLOPをMixture-of-Experts(MoE)スタイルのモデルで積極的に分離し、知識豊富な語彙ベースのルーティング機能とエキスパートを目指しています。 我々は、様々なNLPタスクにおいて、同様のFLOP数を持つモデルのT5ファミリよりも、MoWEの方がはるかに優れた性能を示すことを示した。
  論文  参考訳（メタデータ） (2023-11-15T18:19:56Z)
• Extensive Evaluation of Transformer-based Architectures for Adverse Drug Events Extraction [6.78974856327994]
  逆イベント(ADE)抽出は、デジタル製薬における中核的なタスクの1つである。 我々は、非公式テキストを用いたADE抽出のための19のトランスフォーマーモデルを評価する。 分析の最後には、実験データから導出可能なテイクホームメッセージのリストを同定する。
  論文  参考訳（メタデータ） (2023-06-08T15:25:24Z)
• MoEBERT: from BERT to Mixture-of-Experts via Importance-Guided Adaptation [68.30497162547768]
  本研究では,Mixture-of-Experts構造を用いてモデルキャパシティと推論速度を向上させるMoEBERTを提案する。 自然言語理解と質問応答タスクにおけるMoEBERTの有効性と有効性を検証する。
  論文  参考訳（メタデータ） (2022-04-15T23:19:37Z)
• Efficient Large Scale Language Modeling with Mixtures of Experts [61.45159383372181]
  エキスパート層(MoE)の混合により、条件付き計算による言語モデルの効率的なスケーリングが可能になる。 本稿では, 自己回帰型 MoE 言語モデルが, 広範囲な環境下での高密度モデルと比較して, どのようにスケールするかを示す実験的検討を行った。
  論文  参考訳（メタデータ） (2021-12-20T17:05:11Z)
• MoEfication: Conditional Computation of Transformer Models for Efficient Inference [66.56994436947441]
  トランスフォーマーベースの事前学習言語モデルは、パラメータ容量が大きいため、ほとんどのNLPタスクにおいて優れた性能を実現することができるが、計算コストも大きい。 スパースアクティベーション現象に基づく条件計算により,大規模モデル推論を高速化する。 そこで本研究では,モデルサイズが等しいMoE(Mix-of-experts)バージョン,すなわちMoEficationに変換することを提案する。
  論文  参考訳（メタデータ） (2021-10-05T02:14:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。