Fugu-MT 論文翻訳(概要): PL-MTEB: Polish Massive Text Embedding Benchmark

論文の概要: PL-MTEB: Polish Massive Text Embedding Benchmark

arxiv url: http://arxiv.org/abs/2405.10138v1
Date: Thu, 16 May 2024 14:33:39 GMT
ステータス: 処理完了
システム内更新日: 2024-05-17 13:52:46.372917
Title: PL-MTEB: Polish Massive Text Embedding Benchmark
Title（参考訳）: PL-MTEB: ベンチマークを組み込んだポーランドの大量テキスト
Authors: Rafał Poświata, Sławomir Dadas, Michał Perełkiewicz,
Abstract要約: Polish Massive Text Embedding Benchmark (PL-MTEB) はポーランド語におけるテキスト埋め込みのベンチマークである。 PL-MTEBは5つのタスクタイプから28種類のNLPタスクで構成されている。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: In this paper, we introduce the Polish Massive Text Embedding Benchmark (PL-MTEB), a comprehensive benchmark for text embeddings in Polish. The PL-MTEB consists of 28 diverse NLP tasks from 5 task types. We adapted the tasks based on previously used datasets by the Polish NLP community. In addition, we created a new PLSC (Polish Library of Science Corpus) dataset consisting of titles and abstracts of scientific publications in Polish, which was used as the basis for two novel clustering tasks. We evaluated 15 publicly available models for text embedding, including Polish and multilingual ones, and collected detailed results for individual tasks and aggregated results for each task type and the entire benchmark. PL-MTEB comes with open-source code at https://github.com/rafalposwiata/pl-mteb.
Abstract（参考訳）: 本稿では,ポーランド語におけるテキスト埋め込みの総合ベンチマークであるPL-MTEBについて紹介する。 PL-MTEBは5つのタスクタイプから28種類のNLPタスクで構成されている。ポーランドのNLPコミュニティが以前使用していたデータセットに基づいてタスクを適応した。さらに,ポーランドの学術出版物のタイトルと要約からなるPLSC(Polish Library of Science Corpus)データセットを作成した。ポーランド語と多言語を含む15種類のテキスト埋め込みモデルの評価を行い、各タスクタイプとベンチマーク全体について詳細な結果と集計結果を収集した。 PL-MTEBはhttps://github.com/rafalposwiata/pl-mteb.comで公開されている。

関連論文リスト

The Scandinavian Embedding Benchmarks: Comprehensive Assessment of Multilingual and Monolingual Text Embedding [8.097049661773465]
Scandinavian Embedding Benchmark (SEB)は、スカンジナビア語のテキスト埋め込み評価を可能にするフレームワークである。 SEBに基づいて26以上のモデルを評価し、パブリックソリューションと商用ソリューションの大幅なパフォーマンス格差を明らかにします。我々はSEBをオープンソースにしてMTEBと統合し、スカンジナビア語のテキスト埋め込み評価のギャップを埋める。
論文参考訳（メタデータ） (2024-06-04T15:11:27Z)
A Novel Cartography-Based Curriculum Learning Method Applied on RoNLI: The First Romanian Natural Language Inference Corpus [71.77214818319054]
自然言語推論は自然言語理解のプロキシである。ルーマニア語のNLIコーパスは公開されていない。 58Kの訓練文対からなるルーマニア初のNLIコーパス(RoNLI)を紹介する。
論文参考訳（メタデータ） (2024-05-20T08:41:15Z)
PIRB: A Comprehensive Benchmark of Polish Dense and Hybrid Text Retrieval Methods [0.552480439325792]
ポーランド語情報検索ベンチマーク(PIRB, Polish Information Retrieval Benchmark)は、ポーランド語のための41のテキスト情報検索タスクを含む総合的な評価フレームワークである。このベンチマークには、既存のデータセットに加えて、医学、法律、ビジネス、物理学、言語学など、さまざまなトピックをカバーする、10の新しい未発表データセットが含まれている。我々は,20以上の密度・疎度検索モデルの評価を行い,そのベースラインモデルについて検討した。
論文参考訳（メタデータ） (2024-02-20T19:53:36Z)
Improving Text Embeddings with Large Language Models [59.930513259982725]
合成データと1k以下のトレーニングステップのみを用いて,高品質なテキスト埋め込みを実現するための,新しい簡易な手法を提案する。我々は、93言語にまたがる数十万のテキスト埋め込みタスクのための多様な合成データを生成するために、プロプライエタリなLLMを活用している。実験により,ラベル付きデータを使わずに,高度に競争力のあるテキスト埋め込みベンチマークにおいて高い性能が得られることが示された。
論文参考訳（メタデータ） (2023-12-31T02:13:18Z)
This is the way: designing and compiling LEPISZCZE, a comprehensive NLP benchmark for Polish [5.8090623549313944]
ポーランドNLPの新しい総合ベンチマークであるLEPISZCZEを紹介する。ポーランドのベンチマークから5つのデータセットを使用し、8つの新しいデータセットを追加しています。我々はポーランド語のためのベンチマークを作成しながら学んだ洞察と経験を提供し、他の低リソース言語のための同様のベンチマークを設計する青写真を提供する。
論文参考訳（メタデータ） (2022-11-23T16:51:09Z)
Evaluation of Transfer Learning for Polish with a Text-to-Text Model [54.81823151748415]
ポーランド語におけるテキスト・テキスト・モデルの質を評価するための新しいベンチマークを導入する。 KLEJベンチマークはテキスト・トゥ・テキスト、en-pl翻訳、要約、質問応答に適応している。本稿では,ポーランド語のための汎用テキスト・テキスト・ツー・テキスト・モデルであるplT5について述べる。
論文参考訳（メタデータ） (2022-05-18T09:17:14Z)
Benchmarking Multimodal AutoML for Tabular Data with Text Fields [83.43249184357053]
テキストフィールドを含む18個のマルチモーダルデータテーブルを組み立てる。このベンチマークにより、研究者は、数値的、分類的、テキスト的特徴を用いて教師あり学習を行うための独自の方法を評価することができる。
論文参考訳（メタデータ） (2021-11-04T09:29:16Z)
Unsupervised Bitext Mining and Translation via Self-trained Contextual Embeddings [51.47607125262885]
不整合テキストから機械翻訳(MT)のための擬似並列コーパスを作成するための教師なし手法について述べる。我々は多言語BERTを用いて、最寄りの検索のためのソースとターゲット文の埋め込みを作成し、自己学習によりモデルを適応する。 BUCC 2017 bitextマイニングタスクで並列文ペアを抽出し,F1スコアの最大24.5ポイント増加(絶対)を従来の教師なし手法と比較して観察することで,本手法の有効性を検証した。
論文参考訳（メタデータ） (2020-10-15T14:04:03Z)
KLEJ: Comprehensive Benchmark for Polish Language Understanding [4.702729080310267]
ポーランド語理解のための総合的なマルチタスクベンチマークを導入する。また、ポーランド語に特化して訓練されたトランスフォーマーベースのモデルであるHerBERTもリリースしました。
論文参考訳（メタデータ） (2020-05-01T21:55:40Z)
XGLUE: A New Benchmark Dataset for Cross-lingual Pre-training, Understanding and Generation [100.09099800591822]
XGLUEは、大規模な言語間の事前トレーニングモデルのトレーニングに使用できる、新しいベンチマークデータセットである。 XGLUEは、自然言語理解と生成シナリオの両方をカバーする、11の多様化されたタスクを提供する。
論文参考訳（メタデータ） (2020-04-03T07:03:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。