論文の概要: SkMTEB: Slovak Massive Text Embedding Benchmark and Model Adaptation

• arxiv url: http://arxiv.org/abs/2606.13647v1
• Date: Thu, 11 Jun 2026 17:50:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-12 15:55:27.968068
• Title: SkMTEB: Slovak Massive Text Embedding Benchmark and Model Adaptation
• Title（参考訳）: SkMTEB: ベンチマークとモデル適応を組み込んだスロバキアの大規模テキスト
• Authors: Marek Šuppa, Andrej Ridzik, Daniel Hládek, Natália Kňažeková, Viktória Ondrejová,
• Abstract要約: SkMTEBは、低リソースの西スラヴ語であるスロバキア語のためのMTEBスタイルのテキスト埋め込みベンチマークである。 31種類の埋め込みモデルについて評価した結果, 大規模命令調整型多言語モデルが最も高い性能を示した。 サイズが最大62%削減されたにも関わらず、当社のオープンソースモデルはプロプライエタリなAPIと競合するパフォーマンスを実現しています。
• 参考スコア（独自算出の注目度）: 0.8228069321037151
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: We introduce SkMTEB, the first comprehensive MTEB-style text embedding benchmark for Slovak, a low-resource West Slavic language, comprising 31 datasets across 7 task types -- nearly 4$\times$ the depth of existing multilingual benchmark coverage for Slovak. Our evaluation of 31 embedding models reveals that large instruction-tuned multilingual models achieve the strongest performance, while existing Slovak-specific models trained for NLU tasks transfer poorly to embedding tasks. To address the need for efficient, locally-deployable Slovak embeddings, we develop \texttt{e5-sk-small} (45M parameters) and \texttt{e5-sk-large} (365M) by applying vocabulary trimming and fine-tuning to Multilingual E5 models. Despite size reductions of up to 62\%, our open-source models achieve competitive performance with proprietary APIs while remaining locally deployable for semantic search and retrieval-augmented generation (RAG). We release the benchmark, models, datasets, and code openly, hoping our approach offers a replicable path for other under-resourced languages.
• Abstract（参考訳）: SkMTEBは,7つのタスクタイプにわたる31のデータセットで構成される低リソースのWest Slavic言語である。 NLUタスクのために訓練された既存のスロバキア特化モデルは埋め込みタスクに十分対応していないのに対し、31の埋め込みモデルの評価では、大規模な命令調整型多言語モデルが最も高い性能を実現していることが示された。 効率的な局所展開可能なスロバキア語埋め込みの必要性に対処するために,語彙トリミングと微調整を多言語E5モデルに適用することにより, \texttt{e5-sk-small} (45Mパラメータ) および \texttt{e5-sk-large} (365M) を開発した。 サイズが62\%まで削減されているにも関わらず、当社のオープンソースモデルは、セマンティック検索と検索拡張生成(RAG)のためにローカルにデプロイ可能でありながら、プロプライエタリなAPIと競合するパフォーマンスを実現しています。 私たちは、ベンチマーク、モデル、データセット、コードをオープンにリリースし、我々のアプローチが他のアンダーリソース言語にレプリカ可能なパスを提供することを期待しています。

関連論文リスト

• MMTEB: Massive Multilingual Text Embedding Benchmark [85.18187649328792]
  我々はMMTEBベンチマーク(Massive Multilingual Text Embedding Benchmark)を紹介する。 MMTEBは250以上の言語で500以上の品質管理された評価タスクをカバーしている。 我々は複数の多言語ベンチマークを開発し、モデルを代表的に評価する。
  論文  参考訳（メタデータ） (2025-02-19T10:13:43Z)
• LUSIFER: Language Universal Space Integration for Enhanced Multilingual Embeddings with Large Language Models [89.13128402847943]
  LUSIFERは,LLMをベースとした多言語タスクの埋め込みモデルに,多言語監視を必要とせずに適用可能なゼロショット方式である。 LUSIFERのアーキテクチャは多言語エンコーダを組み、言語ユニバーサル学習者として機能し、埋め込み固有のタスクに最適化されたLLMベースの埋め込みモデルと組み合わせている。 5つの主要な埋め込みタスク、123の多様なデータセット、14言語にわたるカバレッジを含む新しいベンチマークを導入する。
  論文  参考訳（メタデータ） (2025-01-01T15:43:07Z)
• jina-embeddings-v3: Multilingual Embeddings With Task LoRA [6.926642162309072]
  jina-embeddings-v3は5億7000万のパラメータを持つ新しいテキスト埋め込みモデルである。 多言語データと長文検索タスクで最先端のパフォーマンスを実現する。 最大8192トークンのコンテキスト長をサポートする。
  論文  参考訳（メタデータ） (2024-09-16T11:10:29Z)
• MTEB-French: Resources for French Sentence Embedding Evaluation and Analysis [1.5761916307614148]
  本稿では,フランス語の文埋め込みに関する最初のベンチマークを提案する。 51個の埋め込みモデルを大規模に比較した。 すべてのタスクにおいてモデルが最良でない場合でも、文類似性に基づいて事前訓練された大規模多言語モデルは非常によく機能することがわかった。
  論文  参考訳（メタデータ） (2024-05-30T20:34:37Z)
• UNKs Everywhere: Adapting Multilingual Language Models to New Scripts [103.79021395138423]
  マルチリンガルBERT(mBERT)やXLM-Rのような多言語言語モデルは、様々なNLPタスクに対して最先端の言語間転送性能を提供する。 キャパシティの制限と事前トレーニングデータの大きな差のため、リソース豊富な言語とリソースを対象とする言語には大きなパフォーマンスギャップがある。 本稿では,事前学習した多言語モデルの低リソース言語や未知のスクリプトへの高速かつ効果的な適応を可能にする新しいデータ効率手法を提案する。
  論文  参考訳（メタデータ） (2020-12-31T11:37:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。