論文の概要: Bekko Embedding: Parameter-Efficient Multilingual Retrieval with Ultra-Compact Encoders

• arxiv url: http://arxiv.org/abs/2607.25180v1
• Date: Tue, 28 Jul 2026 01:13:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-29 20:50:42.672221
• Title: Bekko Embedding: Parameter-Efficient Multilingual Retrieval with Ultra-Compact Encoders
• Title（参考訳）: ベッコ埋め込み:超コンパクトエンコーダを用いたパラメータ効率の良い多言語検索
• Abstract要約: 以下はBekko Embeddingの最小モデルであるBekko-embedding-v1-a8mで、8Mのアクティブパラメータ (AP) 以下である。 MMTEB Multilingual v2 Retrievalでは、多言語e5ファミリーとBGE-M3(APの40倍)の上に56.2得点する。 高品質のbekko-embedding-v1-a25m (わずか25M AP)は、gte-multilingual-baseと同等の57.5mに達し、Multilingual NanoBEIR (14言語)がこの傾向を確認している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: How small can a competitive multilingual retrieval model be? We present Bekko Embedding: its smallest model, bekko-embedding-v1-a8m, has just under 8M Active Parameters (AP) -- the non-embedding parameters that dominate inference compute -- yet on official MMTEB Multilingual v2 Retrieval (nDCG@10) it scores 56.2, above the multilingual-e5 family and BGE-M3 (40x the AP) in our comparison. The higher-quality bekko-embedding-v1-a25m (just under 25M AP) reaches 57.5, on par with gte-multilingual-base, and Multilingual NanoBEIR (14 languages) confirms the trend. Both models handle inputs of up to 8192 tokens, and on long-input retrieval (NanoLongEmbed) a25m is the strongest dense model in our comparison. The recipe is deliberately simple. We prune the 22-layer multilingual encoder mmBERT-small to 4 / 13 layers and train the pruned models in two stages -- large-scale contrastive learning on about 1.1 billion multilingual pairs from our public corpus, followed by hard-negative fine-tuning with 8192-token long-document negatives -- with a masked contrastive loss whose direction depends on pair type, plus the Matryoshka objective. No teacher distillation is used, and all training completes on a single GPU in about 3 days for a8m. Small AP pays off directly in speed: among the compared models measured under identical conditions, a8m is the fastest on both CPU and GPU -- 1.6x multilingual-e5-small on x86 CPU -- and the fastest on a Raspberry Pi 5. The 384-dimensional output (truncatable to 256/128/64) keeps similarity search and indexing cheap, and row-wise int8 quantization of the vocabulary embedding shrinks the a8m ONNX / OpenVINO build to 124 MiB, which runs in the browser via Transformers.js. To support reproducible research, we release the model weights, the complete stage-1 corpus, and the independently mined stage-2 hard negatives.
• Abstract（参考訳）: 競合する多言語検索モデルはどの程度小さいのか? 我々は,その最小モデルであるBekko-embedding-v1-a8m は 8M 未満の活性パラメータ (AP) を持つが,公式の MMTEB Multilingual v2 Retrieval (nDCG@10) では 56.2 であり,比較では BGE-M3 (40x the AP) である。 高品質のbekko-embedding-v1-a25m (わずか25M AP)は、gte-multilingual-baseと同等の57.5mに達し、Multilingual NanoBEIR (14言語)がこの傾向を確認している。 どちらのモデルも最大8192個のトークンの入力を処理し、長入力検索(NanoLongEmbed) a25mは我々の比較において最強の密度モデルである。 レシピは意図的にシンプルです。 22層のマルチリンガルエンコーダである mmBERT-small を 4 / 13 層に訓練し、2段階に分けてプルーンドモデルをトレーニングする – 公開コーパスから約110億個のマルチリンガルペアで大規模なコントラスト学習を行い、続いて8192トンの長文書陰性を持つハードネガティブな微調整を行う – ペアタイプとマトリシカの目的に依存したマスク付きコントラスト損失を経験する。教師の蒸留は行われず、すべてのトレーニングが約3日でa8mで1つのGPUで完了する。同じ条件で測定された比較モデルのうち、a8mはCPUとGPUの両方で最速である -- 1.6xのマルチリンガルe-5-small x86で、Raspberry Pi 5で最速である。 384次元の出力(256/128/64に変換可能)は、類似検索とインデックス作成を安価に保ち、語彙埋め込みの行単位でのint8量子化は、a8m ONNX / OpenVINOビルドを124 MiBに縮小し、Transformers.jsを介してブラウザで実行される。 再現可能な研究を支援するため,モデルウェイト,完全ステージ1コーパス,独立に採掘したステージ2ハードネガティブを解放する。

関連論文リスト

• Efficient Multilingual Neural Machine Translation via Corpus-Driven Vocabulary Pruning: An English-Arabic Case Study [0.19921702137386235]
  本稿では,MNMTモデルに対する語彙プルーニング手法と微調整プロトコルを併用した汎用最適化フレームワークを提案する。 提案手法は3つのモデル(M2M100, NLLB-200, mBART-50)を英語とアラビア語のペア上で評価する。 その結果、最適化された多言語モデルでは、専用バイリンガルベースラインの性能に適合または超えることができることがわかった。
  論文  参考訳（メタデータ） (2026-08-04T11:17:54Z)
• DenseOn with the LateOn: Fully Open Dense and Late-Interaction Models for Multilingual, Long-Context, and Code Search [2.0669978569487384]
  英語の教師が翻訳学習を通して多言語検索にどのように移行するかを示す。 我々はまず、34の公開ソースにわたる1.4Bペアから665万の英語コントラスト事前学習ペアを再構築し、キュレートした。 検証された英語データを8言語に翻訳し、2.8B対の言語間サンプルを生成する。
  論文  参考訳（メタデータ） (2026-07-29T17:50:51Z)
• Hy-MT2: A Family of Fast, Efficient and Powerful Multilingual Translation Models in the Wild [28.747270164782673]
  Hy-MT2は、一般的な実世界のビジネス、ドメイン固有、命令フォローする翻訳タスクで優れたパフォーマンスを提供する。 7Bと30Bは、DeepSeek-V4-ProやKim K2.6のようなオープンソースモデルよりも高速に考えられたモードで優れている。 軽量の1.8Bモデルは440MBのストレージしか必要とせず、1.5倍の推論スピードアップを実現している。
  論文  参考訳（メタデータ） (2026-05-21T07:00:06Z)
• Dense Training, Sparse Inference: Rethinking Training of Mixture-of-Experts Language Models [62.4691912312317]
  Mixture-of-Experts (MoE)言語モデルは、性能を犠牲にすることなく、高密度モデルと比較して計算コストを2～4ドル削減することができる。 本稿では,強力な計算とパラメータ効率を実現するMOEモデル(DS-MoE)のためのハイブリッド密集型トレーニングおよびスパース推論フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-04-08T14:39:49Z)
• Machine Translation for Ge'ez Language [0.0]
  Ge'ezのような低リソース言語の機械翻訳は、語彙外単語、ドメインミスマッチ、ラベル付きトレーニングデータの欠如といった課題に直面している。 言語関連性に基づく多言語ニューラルマシン翻訳(MNMT)モデルを開発した。 また,最新のLCMであるGPT-3.5を用いて,ファジィマッチングを用いた数ショット翻訳実験を行った。
  論文  参考訳（メタデータ） (2023-11-24T14:55:23Z)
• Lego-MT: Learning Detachable Models for Massively Multilingual Machine Translation [48.37939354609931]
  そこで我々は,Lego-MTを効果的に分離可能なモデルとして構築する,新しい効率的なトレーニングレシピを提案する。 実験の結果、1.2BパラメータのLego-MTでは平均3.2spBLEUが得られた。 提案したトレーニングレシピは、従来のマルチウェイトレーニング方法よりも28.2$times$のスピードアップを提供する。
  論文  参考訳（メタデータ） (2022-12-20T18:54:08Z)
• SMaLL-100: Introducing Shallow Multilingual Machine Translation Model for Low-Resource Languages [102.50127671423752]
  本稿では,100言語をカバーするM2M-100(12B)機械翻訳モデルの蒸留版であるSMaLL-100を紹介する。 我々はSMALL-100を全ての言語対を均一にサンプリングすることで訓練し、低リソース言語の性能を維持することに重点を置いている。 我々のモデルはM2M-100(1.2B)に匹敵する結果を得るが、推論では3.6倍小さく、4.3倍高速である。
  論文  参考訳（メタデータ） (2022-10-20T22:32:29Z)
• Efficient Inference for Multilingual Neural Machine Translation [60.10996883354372]
  我々は、その品質を劣化させることなく、多言語NMTを推論で高速にする方法をいくつか検討する。 実験により,浅いデコーダと語彙フィルタを組み合わせることで,翻訳品質を損なうことなく2倍以上の高速な推論が可能であることが確認された。
  論文  参考訳（メタデータ） (2021-09-14T13:28:13Z)
• Multilingual Speech Translation with Efficient Finetuning of Pretrained Models [82.22294901727933]
  最小限のLNA(LayerNorm and Attention)ファインタニングは、ゼロショットのクロスリンガルおよびクロスモーダリティ転送能力を実現することができる。 本手法は多言語多言語モデルにおいて強いゼロショット性能を示す。
  論文  参考訳（メタデータ） (2020-10-24T08:15:08Z)
• Pre-training Multilingual Neural Machine Translation by Leveraging Alignment Information [72.2412707779571]
  mRASPは、汎用多言語ニューラルマシン翻訳モデルを事前訓練するためのアプローチである。 我々は,低,中,豊かな資源を含む多種多様な環境における42の翻訳方向の実験を行い,エキゾチックな言語対への変換を行った。
  論文  参考訳（メタデータ） (2020-10-07T03:57:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。