Fugu-MT 論文翻訳(概要): Enhancing Lexicon-Based Text Embeddings with Large Language Models

論文の概要: Enhancing Lexicon-Based Text Embeddings with Large Language Models

arxiv url: http://arxiv.org/abs/2501.09749v1
Date: Thu, 16 Jan 2025 18:57:20 GMT
ステータス: 翻訳完了
システム内更新日: 2025-01-17 15:11:04.453334
Title: Enhancing Lexicon-Based Text Embeddings with Large Language Models
Title（参考訳）: 大規模言語モデルを用いた辞書ベースのテキスト埋め込みの強化
Authors: Yibin Lei, Tao Shen, Yu Cao, Andrew Yates,
Abstract要約: 近年の大規模言語モデル (LLM) は汎用テキスト埋め込みタスクにおいて例外的な性能を示した。 LENSはトークン埋め込みクラスタリングを通じて語彙空間を集約し、双方向の注意と様々なプール戦略を研究する。 LENS は MTEB (Massive Text Embedding Benchmark) 上での高密度埋め込みよりも優れている
参考スコア（独自算出の注目度）: 19.91595650613768
License:
Abstract: Recent large language models (LLMs) have demonstrated exceptional performance on general-purpose text embedding tasks. While dense embeddings have dominated related research, we introduce the first Lexicon-based EmbeddiNgS (LENS) leveraging LLMs that achieve competitive performance on these tasks. Regarding the inherent tokenization redundancy issue and unidirectional attention limitations in traditional causal LLMs, LENS consolidates the vocabulary space through token embedding clustering, and investigates bidirectional attention and various pooling strategies. Specifically, LENS simplifies lexicon matching by assigning each dimension to a specific token cluster, where semantically similar tokens are grouped together, and unlocking the full potential of LLMs through bidirectional attention. Extensive experiments demonstrate that LENS outperforms dense embeddings on the Massive Text Embedding Benchmark (MTEB), delivering compact feature representations that match the sizes of dense counterparts. Notably, combining LENSE with dense embeddings achieves state-of-the-art performance on the retrieval subset of MTEB (i.e. BEIR).
Abstract（参考訳）: 近年の大規模言語モデル (LLM) は汎用テキスト埋め込みタスクにおいて例外的な性能を示した。密着型埋め込みは関連する研究の中心となっているが、これらのタスクにおいて競争性能を達成するLLMを利用した最初のLexiconベースの EmbeddiNgS (LENS) を紹介する。従来の因果LLMにおける固有のトークン化冗長性問題や一方向の注意制限について、LENSはトークン埋め込みクラスタリングを通じて語彙空間を集約し、双方向の注意と様々なプール戦略を研究する。具体的には、LENSは、各次元を特定のトークンクラスタに割り当て、セマンティックに類似したトークンがグループ化され、双方向の注意を通してLLMの完全なポテンシャルを解放することで、レキシコンマッチングを単純化する。大規模な実験により、LENSはMassive Text Embedding Benchmark (MTEB)上の密埋め込みよりも優れており、密埋め込みのサイズにマッチするコンパクトな特徴表現を提供する。特に、LENSEと密埋め込みを組み合わせることで、MTEB(すなわちBEIR)の検索サブセットにおける最先端の性能が得られる。

関連論文リスト

Improving In-Context Learning with Small Language Model Ensembles [2.3499129784547654]
In-context Learning (ICL) は安価で効率的な代替手段であるが、高度な手法の精度と一致しない。本稿では,複数の微調整小言語モデル(SLM)の専門知識を活用することでICLを強化する新しいアプローチであるEnsemble SuperICLを提案する。
論文参考訳（メタデータ） (2024-10-29T09:02:37Z)
Towards Scalable Semantic Representation for Recommendation [65.06144407288127]
大規模言語モデル(LLM)に基づく意味的IDを構築するために、Mixture-of-Codesを提案する。提案手法は,識別性と寸法の堅牢性に優れたスケーラビリティを実現し,提案手法で最高のスケールアップ性能を実現する。
論文参考訳（メタデータ） (2024-10-12T15:10:56Z)
Scaling Up Summarization: Leveraging Large Language Models for Long Text Extractive Summarization [0.27624021966289597]
本稿では,Large Language Models (LLM) を利用した抽出要約フレームワークであるEYEGLAXSを紹介する。 EYEGLAXSは、事実的および文法的整合性を保証するために抽出的な要約に焦点を当てている。このシステムはPubMedやArXivといった有名なデータセットに新しいパフォーマンスベンチマークを設定する。
論文参考訳（メタデータ） (2024-08-28T13:52:19Z)
ULLME: A Unified Framework for Large Language Model Embeddings with Generation-Augmented Learning [72.90823351726374]
我々は,LLM間の双方向の注目を可能にする,柔軟でプラグアンドプレイな実装であるLULME(Unified framework for Large Language Model Embedding)を紹介した。また,テキスト埋め込みタスクのLLMを向上する新しい微調整手法であるGRL(Generation-augmented Representation Learning)を提案する。フレームワークの柔軟性と有効性を示すために、異なるバックボーンアーキテクチャを持つULLMEから事前訓練された3つのモデルをリリースする。
論文参考訳（メタデータ） (2024-08-06T18:53:54Z)
Bridging the Gap between Different Vocabularies for LLM Ensemble [10.669552498083709]
様々な大言語モデル(LLM)における語彙の相違は、これまでの研究を制約してきた。語彙アライメント(EVA)を用いたLLMのアンサンブル手法を提案する。 EVAは様々なLLM間の語彙ギャップを橋渡しし、各生成ステップで巧妙にアンサンブルすることができる。
論文参考訳（メタデータ） (2024-04-15T06:28:20Z)
RAR: Retrieving And Ranking Augmented MLLMs for Visual Recognition [78.97487780589574]
MLLM(Multimodal Large Language Models)は、細粒度カテゴリの分類において優れている。本稿では,MLLMの検索とランク付けのための拡張手法を提案する。提案手法は, 微粒化認識における固有の限界に対処するだけでなく, モデルの包括的知識基盤も維持する。
論文参考訳（メタデータ） (2024-03-20T17:59:55Z)
Making Large Language Models A Better Foundation For Dense Retrieval [19.38740248464456]
デンス検索では,クエリとドキュメント間の意味的関係を表現するために,識別テキストの埋め込みを学習する必要がある。意味理解におけるLLMの強い能力を考えると、大きな言語モデル(LLM)の使用の恩恵を受けるかもしれない。本稿では,LLaRA (LLM adapted for dense RetrievAl) を提案する。
論文参考訳（メタデータ） (2023-12-24T15:10:35Z)
SSLCL: An Efficient Model-Agnostic Supervised Contrastive Learning Framework for Emotion Recognition in Conversations [20.856739541819056]
会話における感情認識(ERC)は、自然言語処理コミュニティの中で急速に進化している課題である。 We propose a efficient and model-agnostic SCL framework named Supervised Sample-Label Contrastive Learning with Soft-HGR Maximal correlation (SSLCL)。浅い多層パーセプトロンを通して、離散ラベルを密度の高い埋め込みに投影することで、ラベル表現を活用する新しい視点を導入する。
論文参考訳（メタデータ） (2023-10-25T14:41:14Z)
Label Words are Anchors: An Information Flow Perspective for Understanding In-Context Learning [77.7070536959126]
大規模言語モデル(LLM)の有望な能力としてインコンテキスト学習(ICL)が出現する本稿では,情報フローレンズを用いたICLの動作機構について検討する。本稿では,ICL性能向上のためのアンカー再重み付け手法,推論の高速化のための実演圧縮手法,GPT2-XLにおけるICLエラーの診断のための解析フレームワークを提案する。
論文参考訳（メタデータ） (2023-05-23T15:26:20Z)
Inference with Reference: Lossless Acceleration of Large Language Models [97.04200102556551]
LLMAは、参照によるLarge Language Model (LLM)推論を高速化するアクセラレータである。 LLMによる復号結果と実世界の多くのシナリオで利用できる参照との間には、多くの同一のテキストが存在していることが観察の動機となっている。
論文参考訳（メタデータ） (2023-04-10T09:55:14Z)
Evaluating Multilingual Text Encoders for Unsupervised Cross-Lingual Retrieval [51.60862829942932]
本稿では,言語間文書・文検索タスクにおける最先端多言語エンコーダの適合性に着目した体系的実証研究を行う。文レベルのCLIRでは、最先端のパフォーマンスが達成できることを実証する。しかし、ピーク性能は、汎用の多言語テキストエンコーダをオフ・ザ・シェルフで使うのではなく、文の理解タスクにさらに特化したバリエーションに依存している。
論文参考訳（メタデータ） (2021-01-21T00:15:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。