論文の概要: MTEB: Massive Text Embedding Benchmark

• arxiv url: http://arxiv.org/abs/2210.07316v1
• Date: Thu, 13 Oct 2022 19:42:08 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-17 15:51:15.069934
• Title: MTEB: Massive Text Embedding Benchmark
• Title（参考訳）: mteb:巨大なテキスト埋め込みベンチマーク
• Authors: Niklas Muennighoff, Nouamane Tazi, Lo\"ic Magne, Nils Reimers
• Abstract要約: セマンティックテキストの類似性に対する最先端の埋め込みがクラスタリングや再ランク付けといった他のタスクにも同じようにうまく適用できるかどうかは不明だ。 Massive Text Embedding Benchmark (MTEB)は、56のデータセットと112の言語をカバーする8つの埋め込みタスクにまたがる。
• 参考スコア（独自算出の注目度）: 6.023518635799927
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Text embeddings are commonly evaluated on a small set of datasets from a single task not covering their possible applications to other tasks. It is unclear whether state-of-the-art embeddings on semantic textual similarity (STS) can be equally well applied to other tasks like clustering or reranking. This makes progress in the field difficult to track, as various models are constantly being proposed without proper evaluation. To solve this problem, we introduce the Massive Text Embedding Benchmark (MTEB). MTEB spans 8 embedding tasks covering a total of 56 datasets and 112 languages. Through the benchmarking of 33 models on MTEB, we establish the most comprehensive benchmark of text embeddings to date. We find that no particular text embedding method dominates across all tasks. This suggests that the field has yet to converge on a universal text embedding method and scale it up sufficiently to provide state-of-the-art results on all embedding tasks. MTEB comes with open-source code and a public leaderboard at https://huggingface.co/spaces/mteb/leaderboard.
• Abstract（参考訳）: テキスト埋め込みは、単一のタスクから可能なアプリケーションを他のタスクにカバーしない小さなデータセットで一般的に評価される。 セマンティックテキスト類似性(STS)に対する最先端の埋め込みがクラスタリングや再ランク付けといった他のタスクにも同じように適用できるかどうかは不明だ。 様々なモデルが適切に評価されることなく常に提案されているため、この分野の進歩を追跡するのは困難である。 この問題を解決するために,MTEB (Massive Text Embedding Benchmark) を導入する。 MTEBは、56のデータセットと112の言語をカバーする8つの組み込みタスクにまたがる。 MTEB上での33モデルのベンチマークにより,これまでで最も包括的なテキスト埋め込みベンチマークを確立した。 特定のテキスト埋め込みメソッドがすべてのタスクで支配的でないことが分かりました。 これは、フィールドが普遍的なテキスト埋め込みメソッドに収束して、それを十分にスケールアップして、すべての埋め込みタスクに最先端の結果を提供することができないことを示唆する。 mtebにはオープンソースのコードと、https://huggingface.co/spaces/mteb/leaderboardの公開リーダーボードがある。

関連論文リスト

• BERT or FastText? A Comparative Analysis of Contextual as well as Non-Contextual Embeddings [0.4194295877935868]
  埋め込みの選択は、NLPタスクのパフォーマンス向上に重要な役割を果たす。 本研究では,Marathi言語固有のNLP分類タスクに,コンテキストBERTベース,非コンテキストBERTベース,FastTextベースの様々な埋め込み技術が与える影響について検討する。
  論文  参考訳（メタデータ） (2024-11-26T18:25:57Z)
• The Scandinavian Embedding Benchmarks: Comprehensive Assessment of Multilingual and Monolingual Text Embedding [8.097049661773465]
  Scandinavian Embedding Benchmark (SEB)は、スカンジナビア語のテキスト埋め込み評価を可能にするフレームワークである。 SEBに基づいて26以上のモデルを評価し、パブリックソリューションと商用ソリューションの大幅なパフォーマンス格差を明らかにします。 我々はSEBをオープンソースにしてMTEBと統合し、スカンジナビア語のテキスト埋め込み評価のギャップを埋める。
  論文  参考訳（メタデータ） (2024-06-04T15:11:27Z)
• The Power of Summary-Source Alignments [62.76959473193149]
  多文書要約(MDS)は難しい課題であり、しばしばサリエンスと冗長性検出のサブタスクに分解される。 参照要約とそのソース文書間の対応する文のアライメントを利用して、トレーニングデータを生成する。 本稿では,よりきめ細かな提案スパンレベルで適用することで,要約ソースアライメントフレームワークを拡張することを提案する。
  論文  参考訳（メタデータ） (2024-06-02T19:35:19Z)
• Text-Tuple-Table: Towards Information Integration in Text-to-Table Generation via Global Tuple Extraction [36.915250638481986]
  リアルタイムのコメンタリーテキストに基づいたコンペの要約表を生成するためのベンチマークデータセットであるLiveSumを紹介する。 我々は,このタスクにおける最先端の大規模言語モデルの性能を,微調整とゼロショットの両方で評価する。 さらに、パフォーマンスを改善するために、$T3$(Text-Tuple-Table)と呼ばれる新しいパイプラインを提案する。
  論文  参考訳（メタデータ） (2024-04-22T14:31:28Z)
• Improving Text Embeddings with Large Language Models [59.930513259982725]
  合成データと1k以下のトレーニングステップのみを用いて,高品質なテキスト埋め込みを実現するための,新しい簡易な手法を提案する。 我々は、93言語にまたがる数十万のテキスト埋め込みタスクのための多様な合成データを生成するために、プロプライエタリなLLMを活用している。 実験により,ラベル付きデータを使わずに,高度に競争力のあるテキスト埋め込みベンチマークにおいて高い性能が得られることが示された。
  論文  参考訳（メタデータ） (2023-12-31T02:13:18Z)
• RETSim: Resilient and Efficient Text Similarity [1.6228944467258688]
  RETSimは、テキスト検索、クラスタリング、データセット重複タスクのための堅牢なメトリック埋め込みを生成するためにトレーニングされた、軽量で多言語的なディープラーニングモデルである。 我々は、RETSimがMinHashやニューラルテキストの埋め込みよりもはるかに堅牢で正確であることを実証した。 また,W4NT3Dベンチマークを用いて,多言語・ほぼ重複したテキスト検索機能の評価を行った。
  論文  参考訳（メタデータ） (2023-11-28T22:54:33Z)
• MMSum: A Dataset for Multimodal Summarization and Thumbnail Generation of Videos [106.06278332186106]
  マルチモーダル・アウトプット(MSMO)を用いたマルチモーダル・サマリゼーションが有望な研究方向として浮上している。 既存のパブリックMSMOデータセットには多くの制限がある。 textbfMMSumデータセットを精巧にキュレートした。
  論文  参考訳（メタデータ） (2023-06-07T07:43:11Z)
• TextFormer: A Query-based End-to-End Text Spotter with Mixed Supervision [61.186488081379]
  Transformerアーキテクチャを用いた問合せベースのエンドツーエンドテキストスポッターであるTextFormerを提案する。 TextFormerは、画像エンコーダとテキストデコーダの上に構築され、マルチタスクモデリングのための共同セマンティック理解を学ぶ。 分類、セグメンテーション、認識のブランチの相互訓練と最適化を可能にし、より深い特徴共有をもたらす。
  論文  参考訳（メタデータ） (2023-06-06T03:37:41Z)
• One Embedder, Any Task: Instruction-Finetuned Text Embeddings [105.82772523968961]
  INSTRUCTORはタスク命令のテキスト埋め込みを計算するための新しい方法である。 すべてのテキスト入力はユースケースを説明する指示と共に埋め込まれる。 InSTRUCTORを70の埋め込み評価タスクで評価する。
  論文  参考訳（メタデータ） (2022-12-19T18:57:05Z)
• Benchmarking Multimodal AutoML for Tabular Data with Text Fields [83.43249184357053]
  テキストフィールドを含む18個のマルチモーダルデータテーブルを組み立てる。 このベンチマークにより、研究者は、数値的、分類的、テキスト的特徴を用いて教師あり学習を行うための独自の方法を評価することができる。
  論文  参考訳（メタデータ） (2021-11-04T09:29:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。