論文の概要: Giga-Embeddings: Mixture-of-Experts Encoders for High-Throughput Text Embeddings

• arxiv url: http://arxiv.org/abs/2608.23806v1
• Date: Mon, 24 Aug 2026 20:16:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-26 14:09:34.575571
• Title: Giga-Embeddings: Mixture-of-Experts Encoders for High-Throughput Text Embeddings
• Title（参考訳）: Giga-Embeddings: 高出力テキスト埋め込みのためのMixture-of-Expertsエンコーダ
• Abstract要約: Giga-Embeddingsは、強力な検索品質と効率的なサービスを組み合わせるために設計されたテキスト埋め込みモデルのファミリーである。 本モデルは,4つの評価スイートすべてにおいて,家族内で最強の集計性能を達成する。 我々は,教師と生徒の類似度分布を整列する次元に依存しない目標を用いて,コンパクトモデルを訓練する。
• 参考スコア（独自算出の注目度）: 0.32665457005470505
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce Giga-Embeddings, a family of text embedding models designed to combine strong retrieval quality with efficient serving. Its largest member is a sparse 10B-parameter Mixture-of-Experts encoder with approximately 1.8B active parameters per token. Across English, Russian, multilingual, and code MTEB benchmarks, this model achieves the strongest aggregate performance within the family on all four evaluated suites. In our vLLM benchmark with 1024-token inputs, it processes 114.5k tokens per second, providing 25 percent higher throughput than the dense 3B model and 1.56-2.65x the throughput of the evaluated external systems. The family also includes a dense 3B encoder and a distilled 480M encoder for tighter compute and memory budgets. We train the compact model using a dimension-agnostic objective that aligns teacher and student similarity distributions. The resulting 480M model scores 70.98 on Russian MTEB, surpassing FRIDA while using 42 percent fewer parameters. We release all three model checkpoints.
• Abstract（参考訳）: 本稿では,強力な検索品質と効率的な提供を組み合わせたテキスト埋め込みモデルであるGiga-Embeddingsを紹介する。 最大のメンバーは、トークンごとに約1.8Bのアクティブパラメータを持つスパース10Bパラメータ・オブ・エキスパートエンコーダである。 英語、ロシア語、多言語、およびコードMTEBベンチマーク全体で、このモデルは、評価された4つのスイートすべてにおいて、家族内で最も強力な総合的なパフォーマンスを達成する。 1024tokenの入力を持つvLLMベンチマークでは、毎秒114.5kのトークンを処理し、高密度の3Bモデルよりも25%高いスループットと、評価された外部システムのスループットの1.56-2.65倍のスループットを提供する。 また、高密度の3Bエンコーダと、より厳密な計算とメモリ予算のための480Mエンコーダも備えている。 我々は,教師と生徒の類似度分布を整列する次元に依存しない目標を用いて,コンパクトモデルを訓練する。 その結果、480MモデルはロシアのMTEBで70.98点を獲得し、FRIDAを上回っ、パラメータは42%減少した。 3つのモデルチェックポイントをすべてリリースします。

関連論文リスト

• Efficient Multilingual Neural Machine Translation via Corpus-Driven Vocabulary Pruning: An English-Arabic Case Study [0.19921702137386235]
  本稿では,MNMTモデルに対する語彙プルーニング手法と微調整プロトコルを併用した汎用最適化フレームワークを提案する。 提案手法は3つのモデル(M2M100, NLLB-200, mBART-50)を英語とアラビア語のペア上で評価する。 その結果、最適化された多言語モデルでは、専用バイリンガルベースラインの性能に適合または超えることができることがわかった。
  論文  参考訳（メタデータ） (2026-08-04T11:17:54Z)
• Nemotron-Labs-3-Puzzle-75B-A9B: Compressing Hybrid MoE LLMs [58.395498136166395]
  Nemotron-Labs-3-Puzzle-75B-A9BはNemotron-3-Superの圧縮型で、対話的な展開に最適化されている。 単一の8xB200ノード上の対話型サービスワークロードでは、Puzzle-75B-A9BはNemotron-3-Superより約2倍高いサーバスループットを実現している。
  論文  参考訳（メタデータ） (2026-07-05T16:00:29Z)
• Pruning and Distilling Mixture-of-Experts into Dense Language Models [13.03679207895992]
  Mixture-of-Experts (MoE) は現在、フロンティア言語モデルの主要なアーキテクチャである。 トレーニングされたMoEを標準の完全高密度アーキテクチャに変換するための,最初の体系的フレームワークを提案する。 我々は,Qwen3-30B-A3Bを用いて,7つのスコア,5つのグループ化,および2つのスケール法を評価し,350の構成を得た。
  論文  参考訳（メタデータ） (2026-05-27T09:27:36Z)
• Benchmarking Google Embeddings 2 against Open-Source Models for Multilingual Dense Retrieval and RAG Systems [2.769282923536839]
  Google Embeddings(GE2)を5つのオープンソース代替品に対してベンチマークします。 GE2 は BEIR avg.nDCG@10 = 0.638 であり、IT-RAG-Bench nDCG@10 = 0.282 である。 BEIR上での多言語展開スコアは0.188であり、mMPNetを含むすべての専用検索モデル以下である。
  論文  参考訳（メタデータ） (2026-05-22T13:25:13Z)
• M\textsuperscript{4}Fuse: Lightweight State-Space MoE with a Cross-Scale Gating Bridge for Brain Tumor Segmentation [7.426738885878874]
  Mtextsuperscript4Fuseは、識別性脳腫瘍キューを徹底的な外観再構成よりも優先する軽量ネットワークである。 BraTS 2019とBraTS 2021ベンチマークでは、Mtextsuperscript4Fuseはパラメータカウントとパフォーマンスの両方において、他の軽量な優れたメソッドよりも優れています。
  論文  参考訳（メタデータ） (2026-05-04T10:45:03Z)
• Compute Optimal Tokenization [79.3815358070537]
  圧縮速度によって制御されるトークンの情報粒度がスケーリングの傾向にどのように影響するかを検討する。 所望の圧縮速度の設定を可能にする50Mから7Bパラメータまで,988の潜在トークン化モデル(BLT)を訓練する。 実験の結果, モデルパラメータは, 一般に認識されるトークンではなく, バイト単位のデータサイズに比例してスケールすることがわかった。
  論文  参考訳（メタデータ） (2026-05-02T01:53:22Z)
• Architecture-Aware LLM Inference Optimization on AMD Instinct GPUs: A Comprehensive Benchmark and Deployment Study [0.0]
  AMD Instinct MI325X GPUにおけるLCM推定のクロスアーキテクチャ評価 3つのアーキテクチャファミリにまたがる235Bから1兆のパラメータにまたがる4つのモデルのベンチマーク。
  論文  参考訳（メタデータ） (2026-02-27T13:21:48Z)
• LFM2 Technical Report [87.58431408281973]
  LFM2は、デバイス上での効率的なデプロイと強力なタスク機能を実現するために設計された、Liquid Foundation Modelsのファミリーである。 LFM2ファミリーは350M-8.3Bパラメータをカバーしており、密度の高いモデル(350M, 700M, 1.2B, 2.6B)と試験用混合物(合計8.3B, 1.5B)を含んでいる。 視覚遅延タスクのためのLFM2-VL,音声のためのLFM2-Audio,検索のためのLFM2-ColBERTを構築した。
  論文  参考訳（メタデータ） (2025-11-28T17:56:35Z)
• Segmentation Beyond Defaults: Asymmetrical Byte Pair Encoding for Optimal Machine Translation Performance [3.3393607383304253]
  本研究では,機械翻訳システムの性能を評価するために,さまざまなデータボリュームと言語ペアにわたるBPEセグメンテーションのレシピについて検討する。 ソースとターゲット言語が異なるNMOを持つ非対称なBPEを利用することで、対称的アプローチよりも結果が大幅に向上することがわかった。
  論文  参考訳（メタデータ） (2025-11-05T11:40:16Z)
• MonkeyOCR: Document Parsing with a Structure-Recognition-Relation Triplet Paradigm [60.14048367611333]
  MonkeyOCRはドキュメント解析のためのビジョン言語モデルである。 SRR(Structure-Recognition-Relation)三重項パラダイムを活用することで、最先端の技術の進歩を図っている。
  論文  参考訳（メタデータ） (2025-06-05T16:34:57Z)
• BitNet b1.58 2B4T Technical Report [118.78752947128682]
  BitNet b1.58 2B4Tは、最初のオープンソースでネイティブな1ビットのLarge Language Model(LLM)を2-billionパラメータスケールで導入する。 4兆トークンのコーパスでトレーニングされたこのモデルは、言語理解、数学的推論、コーディングの習熟度、会話能力に関するベンチマークで厳格に評価されている。
  論文  参考訳（メタデータ） (2025-04-16T17:51:43Z)
• Extreme Compression of Large Language Models via Additive Quantization [59.3122859349777]
  我々のアルゴリズムは、AQLMと呼ばれ、情報検索のための古典的な加算量子化(AQ)アプローチを一般化する。 トークン生成のためのAQLMの高速GPUおよびCPU実装を提供しており、最適化されたFP16実装を高速にマッチングまたは性能良くすることができる。
  論文  参考訳（メタデータ） (2024-01-11T18:54:44Z)
• Alexa Teacher Model: Pretraining and Distilling Multi-Billion-Parameter Encoders for Natural Language Understanding Systems [63.713297451300086]
  本研究では,700Mから9.3Bまでの非埋め込みパラメータ数を持つ事前学習エンコーダの大規模実験結果について述べる。 その後、17M-170Mパラメータからより小さなモデルに蒸留し、仮想アシスタントシステムの自然言語理解(NLU)コンポーネントに応用した。
  論文  参考訳（メタデータ） (2022-06-15T20:44:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。