論文の概要: Recent advances in text embedding: A Comprehensive Review of Top-Performing Methods on the MTEB Benchmark

• arxiv url: http://arxiv.org/abs/2406.01607v1
• Date: Mon, 27 May 2024 09:52:54 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-09 15:49:54.111913
• Title: Recent advances in text embedding: A Comprehensive Review of Top-Performing Methods on the MTEB Benchmark
• Title（参考訳）: テキスト埋め込みの最近の進歩:MTEBベンチマークにおけるトップパフォーマンス手法の概観
• Authors: Hongliu Cao,
• Abstract要約: MTEB(Massive Text Embedding Benchmark)におけるテキスト埋め込みの最高性能に着目したユニバーサルテキスト埋め込みモデルの進歩について概説する。 詳細な比較と分析を通じて、この分野における重要な貢献と限界を強調し、将来的な研究の方向性を示唆する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Text embedding methods have become increasingly popular in both industrial and academic fields due to their critical role in a variety of natural language processing tasks. The significance of universal text embeddings has been further highlighted with the rise of Large Language Models (LLMs) applications such as Retrieval-Augmented Systems (RAGs). While previous models have attempted to be general-purpose, they often struggle to generalize across tasks and domains. However, recent advancements in training data quantity, quality and diversity; synthetic data generation from LLMs as well as using LLMs as backbones encourage great improvements in pursuing universal text embeddings. In this paper, we provide an overview of the recent advances in universal text embedding models with a focus on the top performing text embeddings on Massive Text Embedding Benchmark (MTEB). Through detailed comparison and analysis, we highlight the key contributions and limitations in this area, and propose potentially inspiring future research directions.
• Abstract（参考訳）: テキストの埋め込み手法は、様々な自然言語処理タスクにおいて重要な役割を担っているため、産業分野と学術分野の両方で人気が高まっている。 ユニバーサルテキスト埋め込みの重要性はさらに強調され、Retrieval-Augmented Systems (RAGs) のようなLarge Language Models (LLMs) アプリケーションが台頭した。 以前のモデルは汎用化を試みてきたが、タスクやドメインをまたいだ一般化に苦慮することが多い。 しかし、近年の学習データ量、品質、多様性の進歩、LLMからの合成データ生成、およびLLMをバックボーンとして使用することは、普遍的なテキスト埋め込みの追求に大きな改善をもたらす。 本稿では, MTEB(Massive Text Embedding Benchmark)上でのテキスト埋め込みの最高性能に着目した, ユニバーサルテキスト埋め込みモデルの最近の進歩について概説する。 詳細な比較と分析を通じて、この分野における重要な貢献と限界を強調し、将来的な研究の方向性を示唆する。

関連論文リスト

• Capturing research literature attitude towards Sustainable Development Goals: an LLM-based topic modeling approach [0.7806050661713976]
  持続可能な開発目標は2015年に国連によって策定され、2030年までにこれらの世界的な課題に対処した。 自然言語処理技術は、研究文献の中のSDGに関する議論を明らかにするのに役立つ。 我々は,Scopusデータベースからコンテンツを取り出し,SDGの5つのグループ専用のデータセットを作成する,完全に自動化されたパイプラインを提案する。
  論文  参考訳（メタデータ） (2024-11-05T09:37:23Z)
• CUDRT: Benchmarking the Detection of Human vs. Large Language Models Generated Texts [10.027843402296678]
  本稿では,主要なAI生成テキスト検出器を評価するために,中国語と英語の総合的なベンチマークを構築した。 テキスト生成は、Create、Update、Delete、Rewrite、Translateの5つの異なる操作に分類します。 各CUDRTカテゴリに対して,検出性能を徹底的に評価するための広範囲なデータセットを開発した。
  論文  参考訳（メタデータ） (2024-06-13T12:43:40Z)
• Exploring Precision and Recall to assess the quality and diversity of LLMs [82.21278402856079]
  我々はtextscLlama-2 や textscMistral のような大規模言語モデル (LLM) のための新しい評価フレームワークを提案する。 このアプローチにより、コーパスの整合を必要とせず、生成したテキストの品質と多様性を微妙に評価できる。
  論文  参考訳（メタデータ） (2024-02-16T13:53:26Z)
• Large Language Models for Generative Information Extraction: A Survey [89.71273968283616]
  大規模言語モデル(LLM)は、テキスト理解と生成において顕著な能力を示した。 各種IEサブタスクと技術の観点から,これらの作品を分類して概観する。 我々は,最も先進的な手法を実証的に分析し,LLMによるIEタスクの出現傾向を明らかにする。
  論文  参考訳（メタデータ） (2023-12-29T14:25:22Z)
• Measuring Distributional Shifts in Text: The Advantage of Language Model-Based Embeddings [11.393822909537796]
  実運用における機械学習モデル監視の重要な部分は、入力と出力データのドリフトを測定することである。 大規模言語モデル(LLM)の最近の進歩は、意味的関係を捉える上での有効性を示している。 このような埋め込みを利用してテキストデータの分布変化を測定するクラスタリングに基づくアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-12-04T20:46:48Z)
• Striking Gold in Advertising: Standardization and Exploration of Ad Text Generation [5.3558730908641525]
  本稿では,ATG のタスクを標準化するためのベンチマークデータセット CAMERA を提案する。 我々の実験は、現状と残りの課題を示している。 また、ATGの既存の指標とLLMに基づく評価器が人間の評価とどのように一致しているかについても検討する。
  論文  参考訳（メタデータ） (2023-09-21T12:51:24Z)
• Adapting Large Language Models to Domains via Reading Comprehension [86.24451681746676]
  ドメイン固有コーパスの事前学習が大規模言語モデルに与える影響について検討する。 生のコーパスでのトレーニングはドメイン知識でモデルを養うが、問合せ能力を大幅に損なう。 生コーパスを可読テキストに変換する簡単な方法を提案する。
  論文  参考訳（メタデータ） (2023-09-18T07:17:52Z)
• A Survey of Pretrained Language Models Based Text Generation [97.64625999380425]
  テキスト生成は、入力データから人間の言語で可読で読みやすいテキストを生成することを目的としている。 ディープラーニングは、ニューラルジェネレーションモデル、特に事前学習言語モデル(PLM)のパラダイムにより、この分野を大幅に進歩させた。 PLM上でのテキスト生成は、学術と産業の両方において有望な方向と見なされている。
  論文  参考訳（メタデータ） (2022-01-14T01:44:58Z)
• Pretrained Language Models for Text Generation: A Survey [46.03096493973206]
  本稿では、テキスト生成のための事前学習言語モデル(PLM)のトピックにおいて達成された大きな進歩について概説する。 我々は、既存のPLMを異なる入力データに適応させ、生成したテキストの特別な特性を満たす方法について論じる。
  論文  参考訳（メタデータ） (2021-05-21T12:27:44Z)
• SDA: Improving Text Generation with Self Data Augmentation [88.24594090105899]
  自動データ拡張のための自己模倣学習フェーズを組み込むことにより,標準最大確率推定(MLE)パラダイムを改善することを提案する。 既存の文レベルの拡張戦略とは異なり,本手法はより汎用的で,任意のMLEベースの訓練手順に容易に適応できる。
  論文  参考訳（メタデータ） (2021-01-02T01:15:57Z)
• Progressive Generation of Long Text with Pretrained Language Models [83.62523163717448]
  GPT-2のような大量のテキストコーパスで事前訓練された大規模言語モデル(LM)は、強力なオープンドメインテキストジェネレータである。 このようなモデルが、特に小さなコーパス上のターゲットドメインに微調整された場合、コヒーレントな長いテキストパスを生成することは依然として困難である。 本稿では,低解像度から高解像度の画像に触発されて,テキストを段階的に生成する簡易かつ効果的な方法を提案する。
  論文  参考訳（メタデータ） (2020-06-28T21:23:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。