論文の概要: Enhancing Embedding Performance through Large Language Model-based Text Enrichment and Rewriting

• arxiv url: http://arxiv.org/abs/2404.12283v1
• Date: Thu, 18 Apr 2024 15:58:56 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-19 12:12:06.847497
• Title: Enhancing Embedding Performance through Large Language Model-based Text Enrichment and Rewriting
• Title（参考訳）: 大規模言語モデルによるテキストの充実と書き直しによる埋め込み性能の向上
• Authors: Nicholas Harris, Anand Butani, Syed Hashmy,
• Abstract要約: 本稿では,大規模な言語モデル(LLM)を活用して埋め込み処理前に入力テキストを豊かに書き直しすることで,埋め込み性能を向上させる新しい手法を提案する。 このアプローチの有効性は、Banking77 Classification、TwitterSemEval 2015、Amazon Counter-factual Classificationの3つのデータセットで評価されている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Embedding models are crucial for various natural language processing tasks but can be limited by factors such as limited vocabulary, lack of context, and grammatical errors. This paper proposes a novel approach to improve embedding performance by leveraging large language models (LLMs) to enrich and rewrite input text before the embedding process. By utilizing ChatGPT 3.5 to provide additional context, correct inaccuracies, and incorporate metadata, the proposed method aims to enhance the utility and accuracy of embedding models. The effectiveness of this approach is evaluated on three datasets: Banking77Classification, TwitterSemEval 2015, and Amazon Counter-factual Classification. Results demonstrate significant improvements over the baseline model on the TwitterSemEval 2015 dataset, with the best-performing prompt achieving a score of 85.34 compared to the previous best of 81.52 on the Massive Text Embedding Benchmark (MTEB) Leaderboard. However, performance on the other two datasets was less impressive, highlighting the importance of considering domain-specific characteristics. The findings suggest that LLM-based text enrichment has shown promising results to improve embedding performance, particularly in certain domains. Hence, numerous limitations in the process of embedding can be avoided.
• Abstract（参考訳）: 埋め込みモデルは様々な自然言語処理タスクに不可欠であるが、語彙の制限、文脈の欠如、文法的誤りなどによって制限されることがある。 本稿では,大規模な言語モデル(LLM)を活用して埋め込み処理前に入力テキストを豊かに書き直しすることで,埋め込み性能を向上させる新しい手法を提案する。 提案手法は,ChatGPT 3.5を用いて,追加のコンテキスト,正確な不正確さ,メタデータを組み込むことにより,埋め込みモデルの有用性と精度を高めることを目的としている。 このアプローチの有効性は、Banking77 Classification、TwitterSemEval 2015、Amazon Counter-factual Classificationの3つのデータセットで評価されている。 その結果、TwitterSemEval 2015データセットのベースラインモデルに対する大幅な改善が示され、最もパフォーマンスの高いプロンプトは85.34であり、Massive Text Embedding Benchmark (MTEB) Leaderboardでは81.52だった。 しかし、他の2つのデータセットのパフォーマンスは印象的ではなく、ドメイン固有の特性を考慮することの重要性を強調した。 以上の結果から, LLMによるテキストの豊か化は, 組込み性能, 特に特定の領域において有望な結果を示したことが示唆された。 したがって、埋め込みのプロセスにおける多くの制限を回避できる。

関連論文リスト

• Evaluating LLM Prompts for Data Augmentation in Multi-label Classification of Ecological Texts [1.565361244756411]
  大規模言語モデル(LLM)は自然言語処理(NLP)タスクにおいて重要な役割を果たす。 本研究では,ロシアのソーシャルメディアにおけるグリーンプラクティスの言及を検出するために,プロンプトベースのデータ拡張を適用した。
  論文  参考訳（メタデータ） (2024-11-22T12:37:41Z)
• Align-SLM: Textless Spoken Language Models with Reinforcement Learning from AI Feedback [50.84142264245052]
  テキストレス音声言語モデル(SLM)のセマンティック理解を強化するためのAlign-SLMフレームワークを導入する。 提案手法は、与えられたプロンプトから複数の音声継続を生成し、意味的指標を用いて、直接選好最適化(DPO)のための選好データを生成する。 語彙および構文モデリングのためのZeroSpeech 2021ベンチマーク、意味的コヒーレンスのためのStoryClozeデータセットの音声バージョン、GPT4-oスコアや人間評価などの音声生成指標を用いて、フレームワークの評価を行った。
  論文  参考訳（メタデータ） (2024-11-04T06:07:53Z)
• Improving embedding with contrastive fine-tuning on small datasets with expert-augmented scores [12.86467344792873]
  提案手法では,専門的なスコアから派生したソフトラベルをファインチューン埋め込みモデルに適用する。 オンラインショッピングサイトと8つのエキスパートモデルからQ&Aデータセットを用いて,本手法の評価を行った。
  論文  参考訳（メタデータ） (2024-08-19T01:59:25Z)
• Improving Text Embeddings for Smaller Language Models Using Contrastive Fine-tuning [0.9561495813823734]
  我々はNLIデータセットに対して対照的な微調整を行う。 MiniCPMは、平均56.33%のパフォーマンス向上の最も重要な改善を示している。
  論文  参考訳（メタデータ） (2024-08-01T16:31:35Z)
• Language Models for Text Classification: Is In-Context Learning Enough? [54.869097980761595]
  最近の基礎言語モデルでは、ゼロショットや少数ショットの設定で多くのNLPタスクで最先端のパフォーマンスが示されている。 より標準的なアプローチよりもこれらのモデルの利点は、自然言語(prompts)で書かれた命令を理解する能力である。 これにより、アノテーション付きインスタンスが限られているドメインのテキスト分類問題に対処するのに適している。
  論文  参考訳（メタデータ） (2024-03-26T12:47:39Z)
• Improving Sampling Methods for Fine-tuning SentenceBERT in Text Streams [49.3179290313959]
  本研究では,選択的な微調整言語モデルの設計した7つのテキストサンプリング手法の有効性について検討した。 これらの手法がSBERTモデルの微調整に与える影響を, 4つの異なる損失関数を用いて正確に評価する。 その結果,テキストストリームの分類にはソフトマックスの損失とバッチ・オール・トリプレットの損失が特に有効であることが示唆された。
  論文  参考訳（メタデータ） (2024-03-18T23:41:52Z)
• Repetition Improves Language Model Embeddings [68.92976440181387]
  本稿では,2回入力を繰り返して,2回目以降の埋め込みを抽出する「echo Embeddings」を提案する。 MTEBのリーダーボードでは、エコー埋め込みは古典的な埋め込みよりも9%以上ゼロショット、微調整すると約0.7%向上する。
  論文  参考訳（メタデータ） (2024-02-23T17:25:10Z)
• How Well Do Text Embedding Models Understand Syntax? [50.440590035493074]
  テキスト埋め込みモデルが幅広い構文的文脈にまたがって一般化する能力は、まだ解明されていない。 その結果,既存のテキスト埋め込みモデルは,これらの構文的理解課題に十分対応していないことが明らかとなった。 多様な構文シナリオにおけるテキスト埋め込みモデルの一般化能力を高めるための戦略を提案する。
  論文  参考訳（メタデータ） (2023-11-14T08:51:00Z)
• Jina Embeddings: A Novel Set of High-Performance Sentence Embedding Models [4.451741472324815]
  Jina Embeddingsは、テキスト入力を数値表現に変換するのに有効な高性能な文埋め込みモデルである。 本稿では、高品質なペアワイドデータセットとトリプルトデータセットの作成から始まる、Jina Embeddingsの開発について詳述する。 MTEB(Massive Text Embedding Benchmark)を用いた総合的なパフォーマンス評価で結論付けている。
  論文  参考訳（メタデータ） (2023-07-20T20:37:24Z)
• ELEVATER: A Benchmark and Toolkit for Evaluating Language-Augmented Visual Models [102.63817106363597]
  ELEVATERは、事前訓練された言語拡張ビジュアルモデルの比較と評価を行う最初のベンチマークである。 20の画像分類データセットと35のオブジェクト検出データセットで構成され、それぞれが外部知識で拡張されている。 研究コミュニティ向けのツールキットと評価プラットフォームをリリースします。
  論文  参考訳（メタデータ） (2022-04-19T10:23:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。