論文の概要: The Scandinavian Embedding Benchmarks: Comprehensive Assessment of Multilingual and Monolingual Text Embedding

• arxiv url: http://arxiv.org/abs/2406.02396v1
• Date: Tue, 4 Jun 2024 15:11:27 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-05 15:40:59.282498
• Title: The Scandinavian Embedding Benchmarks: Comprehensive Assessment of Multilingual and Monolingual Text Embedding
• Title（参考訳）: スカンジナビア語埋め込みベンチマーク:多言語および単言語テキスト埋め込みの包括的評価
• Authors: Kenneth Enevoldsen, Márton Kardos, Niklas Muennighoff, Kristoffer Laigaard Nielbo,
• Abstract要約: Scandinavian Embedding Benchmark (SEB)は、スカンジナビア語のテキスト埋め込み評価を可能にするフレームワークである。 SEBに基づいて26以上のモデルを評価し、パブリックソリューションと商用ソリューションの大幅なパフォーマンス格差を明らかにします。 我々はSEBをオープンソースにしてMTEBと統合し、スカンジナビア語のテキスト埋め込み評価のギャップを埋める。
• 参考スコア（独自算出の注目度）: 8.097049661773465
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: The evaluation of English text embeddings has transitioned from evaluating a handful of datasets to broad coverage across many tasks through benchmarks such as MTEB. However, this is not the case for multilingual text embeddings due to a lack of available benchmarks. To address this problem, we introduce the Scandinavian Embedding Benchmark (SEB). SEB is a comprehensive framework that enables text embedding evaluation for Scandinavian languages across 24 tasks, 10 subtasks, and 4 task categories. Building on SEB, we evaluate more than 26 models, uncovering significant performance disparities between public and commercial solutions not previously captured by MTEB. We open-source SEB and integrate it with MTEB, thus bridging the text embedding evaluation gap for Scandinavian languages.
• Abstract（参考訳）: 英語のテキスト埋め込みの評価は、少数のデータセットの評価から、MTEBなどのベンチマークを通じて、多くのタスクにまたがる広範なカバレッジへと移行してきた。 しかし、利用可能なベンチマークが不足しているため、多言語テキストの埋め込みではそうではない。 この問題に対処するため,Scandinavian Embedding Benchmark (SEB)を導入する。 SEBは、スカンジナビア語のテキスト埋め込み評価を24のタスク、10のサブタスク、4のタスクカテゴリで可能にする包括的なフレームワークである。 SEBに基づいて26モデル以上のモデルを評価し,これまでMTEBが取得していなかった公開ソリューションと商用ソリューションの大幅な性能格差を明らかにした。 我々はSEBをオープンソースにしてMTEBと統合し、スカンジナビア語のテキスト埋め込み評価のギャップを埋める。

関連論文リスト

• MTEB-French: Resources for French Sentence Embedding Evaluation and Analysis [1.5761916307614148]
  本稿では,フランス語の文埋め込みに関する最初のベンチマークを提案する。 51個の埋め込みモデルを大規模に比較した。 すべてのタスクにおいてモデルが最良でない場合でも、文類似性に基づいて事前訓練された大規模多言語モデルは非常によく機能することがわかった。
  論文  参考訳（メタデータ） (2024-05-30T20:34:37Z)
• ROAST: Review-level Opinion Aspect Sentiment Target Joint Detection for ABSA [50.90538760832107]
  本研究は新たな課題であるROAST(Review-Level Opinion Aspect Sentiment Target)を提示する。 ROASTは、文章レベルのABSAとテキストレベルのABSAのギャップを埋めようとしている。 利用可能なデータセットを拡張してROASTを有効にし、以前の研究で指摘された欠点に対処します。
  論文  参考訳（メタデータ） (2024-05-30T17:29:15Z)
• PL-MTEB: Polish Massive Text Embedding Benchmark [0.0]
  Polish Massive Text Embedding Benchmark (PL-MTEB) はポーランド語におけるテキスト埋め込みのベンチマークである。 PL-MTEBは5つのタスクタイプから28種類のNLPタスクで構成されている。
  論文  参考訳（メタデータ） (2024-05-16T14:33:39Z)
• SEAHORSE: A Multilingual, Multifaceted Dataset for Summarization Evaluation [52.186343500576214]
  本稿では,多言語・多面的要約評価のためのデータセットSEAHORSEを紹介する。 SEAHORSEは、テキスト品質の6次元に沿って人間格付けされた96Kの要約で構成されている。 本稿では,SEAHORSEでトレーニングしたメトリクスが,ドメイン外メタ評価ベンチマークTRUEとmFACEで高い性能を示すことを示す。
  論文  参考訳（メタデータ） (2023-05-22T16:25:07Z)
• Discourse Centric Evaluation of Machine Translation with a Densely Annotated Parallel Corpus [82.07304301996562]
  本稿では,江らが導入した大規模並列コーパスBWBに基づいて,リッチな談話アノテーションを用いた新しいデータセットを提案する。 ソース言語とターゲット言語の談話構造と類似点と相違点について検討する。 我々はMT出力が人間の翻訳と基本的に異なることを発見した。
  論文  参考訳（メタデータ） (2023-05-18T17:36:41Z)
• OCRBench: On the Hidden Mystery of OCR in Large Multimodal Models [122.27878464009181]
  テキスト関連視覚タスクにおいて, GPT4V や Gemini などの大規模マルチモーダルモデルの包括的評価を行った。 OCRBenchには29のデータセットがあり、最も包括的なOCR評価ベンチマークが利用できる。
  論文  参考訳（メタデータ） (2023-05-13T11:28:37Z)
• Are the Best Multilingual Document Embeddings simply Based on Sentence Embeddings? [18.968571816913208]
  本稿では,LASER,LaBSE,Sentence BERTを事前学習した多言語モデルに基づく文から文書レベルの表現を生成する手法を体系的に比較する。 文の埋め込みの巧妙な組み合わせは、通常、全文書を単一の単位としてエンコードするよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-04-28T12:11:21Z)
• MTEB: Massive Text Embedding Benchmark [6.023518635799927]
  セマンティックテキストの類似性に対する最先端の埋め込みがクラスタリングや再ランク付けといった他のタスクにも同じようにうまく適用できるかどうかは不明だ。 Massive Text Embedding Benchmark (MTEB)は、58のデータセットと112の言語をカバーする8つの埋め込みタスクにまたがる。
  論文  参考訳（メタデータ） (2022-10-13T19:42:08Z)
• FRMT: A Benchmark for Few-Shot Region-Aware Machine Translation [64.9546787488337]
  本稿では、Few-shot Region-aware Machine Translationのための新しいデータセットと評価ベンチマークFRMTを提案する。 このデータセットは、英語からポルトガル語と中国語の2つの地域変種へのプロの翻訳で構成されている。
  論文  参考訳（メタデータ） (2022-10-01T05:02:04Z)
• XTREME: A Massively Multilingual Multi-task Benchmark for Evaluating Cross-lingual Generalization [128.37244072182506]
  言語間TRansfer Evaluation of Multilinguals XTREMEは、40言語および9タスクにわたる多言語表現の言語間一般化能力を評価するためのベンチマークである。 我々は、英語でテストされたモデルは、多くのタスクにおいて人間のパフォーマンスに達するが、言語間変換されたモデルの性能にはまだ大きなギャップがあることを示した。
  論文  参考訳（メタデータ） (2020-03-24T19:09:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。