論文の概要: MTEB-NL and E5-NL: Embedding Benchmark and Models for Dutch

• arxiv url: http://arxiv.org/abs/2509.12340v1
• Date: Mon, 15 Sep 2025 18:08:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-17 17:50:52.709964
• Title: MTEB-NL and E5-NL: Embedding Benchmark and Models for Dutch
• Title（参考訳）: MTEB-NLとE5-NL: ベンチマークとオランダ語モデルの埋め込み
• Authors: Nikolay Banar, Ehsan Lotfi, Jens Van Nooten, Cristina Arhiliuc, Marija Kliocaite, Walter Daelemans,
• Abstract要約: オランダ語は、典型的には出版されている多言語資源のごく一部だけから構成される。 我々は、既存のオランダのデータセットと新しく作成されたデータセットの両方を含むMassive Text Embedding Benchmark for Dutch (MTEB-NL)を紹介する。 また,複数のタスクにまたがる高い性能を示す,コンパクトかつ効率的な埋め込みモデルもリリースした。
• 参考スコア（独自算出の注目度）: 2.696054049278301
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Recently, embedding resources, including models, benchmarks, and datasets, have been widely released to support a variety of languages. However, the Dutch language remains underrepresented, typically comprising only a small fraction of the published multilingual resources. To address this gap and encourage the further development of Dutch embeddings, we introduce new resources for their evaluation and generation. First, we introduce the Massive Text Embedding Benchmark for Dutch (MTEB-NL), which includes both existing Dutch datasets and newly created ones, covering a wide range of tasks. Second, we provide a training dataset compiled from available Dutch retrieval datasets, complemented with synthetic data generated by large language models to expand task coverage beyond retrieval. Finally, we release a series of E5-NL models compact yet efficient embedding models that demonstrate strong performance across multiple tasks. We make our resources publicly available through the Hugging Face Hub and the MTEB package.
• Abstract（参考訳）: 最近、さまざまな言語をサポートするために、モデル、ベンチマーク、データセットを含む組み込みリソースが広くリリースされている。 しかし、オランダ語は、典型的には出版されている多言語資源のごく一部しか含まないため、表現が乏しいままである。 このギャップに対処し、オランダの埋め込みのさらなる発展を促すために、我々は、それらの評価と生成のための新しいリソースを導入する。 まず、オランダの既存のデータセットと新しく作成されたデータセットの両方を含み、幅広いタスクをカバーするMassive Text Embedding Benchmark for Dutch (MTEB-NL)を紹介します。 第二に、利用可能なオランダの検索データセットからコンパイルされたトレーニングデータセットを提供し、大きな言語モデルによって生成された合成データを補完することで、検索を超えてタスクカバレッジを拡大する。 最後に,複数のタスクにまたがる強靭な性能を示す,コンパクトで効率的な埋め込みモデルとして,E5-NLの一連のモデルをリリースする。 私たちはHugging Face HubとMTEBパッケージを通じて、私たちのリソースを公開しています。

関連論文リスト

• MMTEB: Massive Multilingual Text Embedding Benchmark [85.18187649328792]
  我々はMMTEBベンチマーク(Massive Multilingual Text Embedding Benchmark)を紹介する。 MMTEBは250以上の言語で500以上の品質管理された評価タスクをカバーしている。 我々は複数の多言語ベンチマークを開発し、モデルを代表的に評価する。
  論文  参考訳（メタデータ） (2025-02-19T10:13:43Z)
• LUSIFER: Language Universal Space Integration for Enhanced Multilingual Embeddings with Large Language Models [89.13128402847943]
  LUSIFERは,LLMをベースとした多言語タスクの埋め込みモデルに,多言語監視を必要とせずに適用可能なゼロショット方式である。 LUSIFERのアーキテクチャは多言語エンコーダを組み、言語ユニバーサル学習者として機能し、埋め込み固有のタスクに最適化されたLLMベースの埋め込みモデルと組み合わせている。 5つの主要な埋め込みタスク、123の多様なデータセット、14言語にわたるカバレッジを含む新しいベンチマークを導入する。
  論文  参考訳（メタデータ） (2025-01-01T15:43:07Z)
• MTEB-French: Resources for French Sentence Embedding Evaluation and Analysis [1.5761916307614148]
  本稿では,フランス語の文埋め込みに関する最初のベンチマークを提案する。 51個の埋め込みモデルを大規模に比較した。 すべてのタスクにおいてモデルが最良でない場合でも、文類似性に基づいて事前訓練された大規模多言語モデルは非常によく機能することがわかった。
  論文  参考訳（メタデータ） (2024-05-30T20:34:37Z)
• Multilingual E5 Text Embeddings: A Technical Report [63.503320030117145]
  異なるサイズの3つの埋め込みモデルを提供し、推論効率と埋め込み品質のバランスを提供する。 そこで我々は,新しい命令調整型埋め込みモデルを導入し,その性能は類似サイズの最先端の英語のみのモデルと同等である。
  論文  参考訳（メタデータ） (2024-02-08T13:47:50Z)
• Language Resources for Dutch Large Language Modelling [0.0]
  Llama 2 13Bモデルの微調整版を2種類導入する。 我々は、複数の世代タスクにおける(Dutch)モデルのパフォーマンスを追跡するためのリーダーボードを提供する。
  論文  参考訳（メタデータ） (2023-12-20T09:06:06Z)
• DUMB: A Benchmark for Smart Evaluation of Dutch Models [23.811515104842826]
  オランダのモデルベンチマークであるDUMBを紹介します。このベンチマークには、低、中、高リソースタスクのためのさまざまなデータセットが含まれています。 RER(Relative Error Reduction)は、言語モデルのDUMB性能を強力なベースラインと比較する。 最高性能はDeBERTaV3(大型)、XLM-R(大型)、mDeBERTaV3(ベース)である。
  論文  参考訳（メタデータ） (2023-05-22T13:27:37Z)
• UNKs Everywhere: Adapting Multilingual Language Models to New Scripts [103.79021395138423]
  マルチリンガルBERT(mBERT)やXLM-Rのような多言語言語モデルは、様々なNLPタスクに対して最先端の言語間転送性能を提供する。 キャパシティの制限と事前トレーニングデータの大きな差のため、リソース豊富な言語とリソースを対象とする言語には大きなパフォーマンスギャップがある。 本稿では,事前学習した多言語モデルの低リソース言語や未知のスクリプトへの高速かつ効果的な適応を可能にする新しいデータ効率手法を提案する。
  論文  参考訳（メタデータ） (2020-12-31T11:37:28Z)
• The Tatoeba Translation Challenge -- Realistic Data Sets for Low Resource and Multilingual MT [0.0]
  本稿では,何千もの言語ペアに対するトレーニングとテストデータを提供する機械翻訳のための新しいベンチマークの開発について述べる。 主な目標は、世界言語をより広範囲にカバーしたオープン翻訳ツールとモデルの開発をトリガーすることである。
  論文  参考訳（メタデータ） (2020-10-13T13:12:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。