論文の概要: The Russian-focused embedders' exploration: ruMTEB benchmark and Russian embedding model design

• arxiv url: http://arxiv.org/abs/2408.12503v1
• Date: Thu, 22 Aug 2024 15:53:23 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-23 13:12:21.497227
• Title: The Russian-focused embedders' exploration: ruMTEB benchmark and Russian embedding model design
• Title（参考訳）: ロシアに焦点を当てた埋め込み機探査:ruMTEBベンチマークとロシア埋め込みモデル設計
• Authors: Artem Snegirev, Maria Tikhonova, Anna Maksimova, Alena Fenogenova, Alexander Abramov,
• Abstract要約: 本稿では,ロシア語の埋め込みモデルに関する研究に焦点をあてる。 ru-en-RoSBERTaと呼ばれる新しいロシアの埋め込みモデルとruMTEBベンチマークを導入している。
• 参考スコア（独自算出の注目度）: 39.80182519545138
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Embedding models play a crucial role in Natural Language Processing (NLP) by creating text embeddings used in various tasks such as information retrieval and assessing semantic text similarity. This paper focuses on research related to embedding models in the Russian language. It introduces a new Russian-focused embedding model called ru-en-RoSBERTa and the ruMTEB benchmark, the Russian version extending the Massive Text Embedding Benchmark (MTEB). Our benchmark includes seven categories of tasks, such as semantic textual similarity, text classification, reranking, and retrieval. The research also assesses a representative set of Russian and multilingual models on the proposed benchmark. The findings indicate that the new model achieves results that are on par with state-of-the-art models in Russian. We release the model ru-en-RoSBERTa, and the ruMTEB framework comes with open-source code, integration into the original framework and a public leaderboard.
• Abstract（参考訳）: 埋め込みモデルは、情報検索や意味的テキスト類似性の評価といった様々なタスクで使用されるテキスト埋め込みを作成することで、自然言語処理(NLP)において重要な役割を果たす。 本稿では,ロシア語の埋め込みモデルに関する研究に焦点をあてる。 ru-en-RoSBERTaと呼ばれる新しいロシアの埋め込みモデルとruMTEBベンチマーク、Massive Text Embedding Benchmark (MTEB)を拡張したロシアのバージョンが導入されている。 我々のベンチマークには、意味的テキスト類似性、テキスト分類、再ランク付け、検索の7つのカテゴリが含まれている。 この研究は、提案されたベンチマークに基づいて、ロシアおよび多言語モデルの代表的なセットを評価する。 その結果,ロシア語の最先端モデルに匹敵する結果が得られた。 ru-en-RoSBERTaというモデルをリリースし、ruMTEBフレームワークにはオープンソースコード、オリジナルのフレームワークへの統合、公開リーダボードが付属しています。

関連論文リスト

• Enhancing Modern Supervised Word Sense Disambiguation Models by Semantic Lexical Resources [11.257738983764499]
  現在、Word Sense Disambiguation (WSD) の監視モデルは、最も人気のあるベンチマークで最先端の結果をもたらす。 我々は、WordNetとWordNet Domainsという2つの人気のあるSLRを利用する「モダンな」教師付きWSDモデルを強化する。 本研究では,単語埋め込みやリカレントニューラルネットワークの混合によって符号化された局所的文脈との相互作用について,異なるタイプの意味的特徴の影響について検討する。
  論文  参考訳（メタデータ） (2024-02-20T13:47:51Z)
• OCRBench: On the Hidden Mystery of OCR in Large Multimodal Models [122.27878464009181]
  テキスト関連視覚タスクにおいて, GPT4V や Gemini などの大規模マルチモーダルモデルの包括的評価を行った。 OCRBenchには29のデータセットがあり、最も包括的なOCR評価ベンチマークが利用できる。
  論文  参考訳（メタデータ） (2023-05-13T11:28:37Z)
• Entity-Assisted Language Models for Identifying Check-worthy Sentences [23.792877053142636]
  テキスト分類とランキングのための統一的なフレームワークを提案する。 本フレームワークは,文の意味的分析と,文内の識別されたエンティティから得られる追加のエンティティ埋め込みを組み合わせる。 CLEFの2019年と2020年のCheckThat! Labsから公開されている2つのデータセットを使用して、我々のフレームワークの有効性を広く評価する。
  論文  参考訳（メタデータ） (2022-11-19T12:03:30Z)
• FRMT: A Benchmark for Few-Shot Region-Aware Machine Translation [64.9546787488337]
  本稿では、Few-shot Region-aware Machine Translationのための新しいデータセットと評価ベンチマークFRMTを提案する。 このデータセットは、英語からポルトガル語と中国語の2つの地域変種へのプロの翻訳で構成されている。
  論文  参考訳（メタデータ） (2022-10-01T05:02:04Z)
• RuBioRoBERTa: a pre-trained biomedical language model for Russian language biomedical text mining [117.56261821197741]
  ロシア語生物医学テキストマイニングのためのBERTベースのモデルをいくつか提示する。 これらのモデルは、ロシアの生物医学領域で自由に利用できるテキストのコーパスで事前訓練されている。
  論文  参考訳（メタデータ） (2022-04-08T09:18:59Z)
• Russian SuperGLUE 1.1: Revising the Lessons not Learned by Russian NLP models [53.95094814056337]
  本稿では,ロシアNLPモデルのGLUEを改良したベンチマークである,ロシアのSuperGLUE 1.1を提案する。 新バージョンには、技術的、ユーザエクスペリエンス、方法論的改善が多数含まれている。 我々は,ロシアのSuperGLUEをオープンソースモデルMOROCCOの産業的評価のためのフレームワークに統合する。
  論文  参考訳（メタデータ） (2022-02-15T23:45:30Z)
• RussianSuperGLUE: A Russian Language Understanding Evaluation Benchmark [5.258267224004844]
  先進的なロシア語理解評価ベンチマークであるロシア語GLUEを紹介する。 9つのタスクのベンチマークは、SuperGLUEの手法と類似して収集され、ロシア語のスクラッチから開発された。
  論文  参考訳（メタデータ） (2020-10-29T20:31:39Z)
• Dataset for Automatic Summarization of Russian News [0.0]
  ロシアのニュースを要約する最初のデータセットであるGazetaを紹介します。 このデータセットがロシア語のテキスト要約手法の有効なタスクであることを実証する。
  論文  参考訳（メタデータ） (2020-06-19T10:44:06Z)
• Towards Making the Most of Context in Neural Machine Translation [112.9845226123306]
  我々は、これまでの研究がグローバルな文脈をはっきりと利用しなかったと論じている。 本研究では,各文の局所的文脈を意図的にモデル化する文書レベルNMTフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-02-19T03:30:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。