Fugu-MT 論文翻訳(概要): Enhancing Lexicon-Based Text Embeddings with Large Language Models

論文の概要: Enhancing Lexicon-Based Text Embeddings with Large Language Models

arxiv url: http://arxiv.org/abs/2501.09749v1
Date: Thu, 16 Jan 2025 18:57:20 GMT
ステータス: 翻訳完了
システム内更新日: 2025-01-17 15:11:04.453334
Title: Enhancing Lexicon-Based Text Embeddings with Large Language Models
Title（参考訳）: 大規模言語モデルを用いた辞書ベースのテキスト埋め込みの強化
Authors: Yibin Lei, Tao Shen, Yu Cao, Andrew Yates,
Abstract要約: 近年の大規模言語モデル (LLM) は汎用テキスト埋め込みタスクにおいて例外的な性能を示した。 LENSはトークン埋め込みクラスタリングを通じて語彙空間を集約し、双方向の注意と様々なプール戦略を研究する。 LENS は MTEB (Massive Text Embedding Benchmark) 上での高密度埋め込みよりも優れている
参考スコア（独自算出の注目度）: 19.91595650613768
License:
Abstract: Recent large language models (LLMs) have demonstrated exceptional performance on general-purpose text embedding tasks. While dense embeddings have dominated related research, we introduce the first Lexicon-based EmbeddiNgS (LENS) leveraging LLMs that achieve competitive performance on these tasks. Regarding the inherent tokenization redundancy issue and unidirectional attention limitations in traditional causal LLMs, LENS consolidates the vocabulary space through token embedding clustering, and investigates bidirectional attention and various pooling strategies. Specifically, LENS simplifies lexicon matching by assigning each dimension to a specific token cluster, where semantically similar tokens are grouped together, and unlocking the full potential of LLMs through bidirectional attention. Extensive experiments demonstrate that LENS outperforms dense embeddings on the Massive Text Embedding Benchmark (MTEB), delivering compact feature representations that match the sizes of dense counterparts. Notably, combining LENSE with dense embeddings achieves state-of-the-art performance on the retrieval subset of MTEB (i.e. BEIR).
Abstract（参考訳）: 近年の大規模言語モデル (LLM) は汎用テキスト埋め込みタスクにおいて例外的な性能を示した。密着型埋め込みは関連する研究の中心となっているが、これらのタスクにおいて競争性能を達成するLLMを利用した最初のLexiconベースの EmbeddiNgS (LENS) を紹介する。従来の因果LLMにおける固有のトークン化冗長性問題や一方向の注意制限について、LENSはトークン埋め込みクラスタリングを通じて語彙空間を集約し、双方向の注意と様々なプール戦略を研究する。具体的には、LENSは、各次元を特定のトークンクラスタに割り当て、セマンティックに類似したトークンがグループ化され、双方向の注意を通してLLMの完全なポテンシャルを解放することで、レキシコンマッチングを単純化する。大規模な実験により、LENSはMassive Text Embedding Benchmark (MTEB)上の密埋め込みよりも優れており、密埋め込みのサイズにマッチするコンパクトな特徴表現を提供する。特に、LENSEと密埋め込みを組み合わせることで、MTEB(すなわちBEIR)の検索サブセットにおける最先端の性能が得られる。

関連論文リスト

Model Generalization on Text Attribute Graphs: Principles with Large Language Models [14.657522068231138]
グラフ学習には大規模言語モデル(LLM)が導入されており、ラベル付きグラフデータが不足しているタスクにゼロショットの一般化の成功を拡大することを目的としている。本研究では,タスク適応型埋め込みと一般化可能なグラフ情報集約機構に基づく,テキスト分散グラフ(TAG)に対する推論フレームワークを開発する。 11の実世界のTAGベンチマークによる評価は、LLM-BPが既存のアプローチよりも大幅に優れていることを示している。
論文参考訳（メタデータ） (2025-02-17T14:31:00Z)
Following the Autoregressive Nature of LLM Embeddings via Compression and Alignment [69.67015515485349]
本稿では,条件付き確率分布を埋め込んだコントラスト学習手法であるAutoRegEmbedを提案する。本手法は従来のコントラスト学習手法よりも優れていることを示す。
論文参考訳（メタデータ） (2025-02-17T03:36:25Z)
AlignVLM: Bridging Vision and Language Latent Spaces for Multimodal Understanding [63.09928907734156]
AlignVLMは視覚的特徴をテキスト埋め込みの重み付き平均値にマッピングする視覚テキストアライメント手法である。実験の結果,AlignVLMは先行アライメント法と比較して最先端の性能を実現していることがわかった。
論文参考訳（メタデータ） (2025-02-03T13:34:51Z)
Context-Alignment: Activating and Enhancing LLM Capabilities in Time Series [3.453940014682793]
本研究では,Large Language Models (LLMs) に習熟した言語環境において,時系列(TS)データを言語成分と整合させるコンテキストアライメントを提案する。このようなコンテキストレベルのアライメントは、DSCA-GNN(Dual-Scale Context-Alignment GNN)によって達成される構造的アライメントと論理的アライメントを含む。大規模な実験は、特に少数ショットおよびゼロショット予測において、DeCAの有効性とタスク間のコンテキストアライメントの重要性を示している。
論文参考訳（メタデータ） (2025-01-07T12:40:35Z)
Accelerating Multimodal Large Language Models via Dynamic Visual-Token Exit and the Empirical Findings [69.35226485836641]
既存のMultimoal Large Language Models (MLLM) における視覚トークンの過剰使用は、しばしば明らかな冗長性を示し、非常に高価な計算をもたらす。 DyVTE(Dynamic visual-token exit)と呼ばれるMLLMの効率を改善するための簡易かつ効果的な手法を提案する。 DyVTEは軽量なハイパーネットワークを使用して、テキストトークンの状態を認識し、特定のレイヤの後にすべてのビジュアルトークンを削除する。
論文参考訳（メタデータ） (2024-11-29T11:24:23Z)
Towards Scalable Semantic Representation for Recommendation [65.06144407288127]
大規模言語モデル(LLM)に基づく意味的IDを構築するために、Mixture-of-Codesを提案する。提案手法は,識別性と寸法の堅牢性に優れたスケーラビリティを実現し,提案手法で最高のスケールアップ性能を実現する。
論文参考訳（メタデータ） (2024-10-12T15:10:56Z)
Scaling Up Summarization: Leveraging Large Language Models for Long Text Extractive Summarization [0.27624021966289597]
本稿では,Large Language Models (LLM) を利用した抽出要約フレームワークであるEYEGLAXSを紹介する。 EYEGLAXSは、事実的および文法的整合性を保証するために抽出的な要約に焦点を当てている。このシステムはPubMedやArXivといった有名なデータセットに新しいパフォーマンスベンチマークを設定する。
論文参考訳（メタデータ） (2024-08-28T13:52:19Z)
ULLME: A Unified Framework for Large Language Model Embeddings with Generation-Augmented Learning [72.90823351726374]
我々は,LLM間の双方向の注目を可能にする,柔軟でプラグアンドプレイな実装であるLULME(Unified framework for Large Language Model Embedding)を紹介した。また,テキスト埋め込みタスクのLLMを向上する新しい微調整手法であるGRL(Generation-augmented Representation Learning)を提案する。フレームワークの柔軟性と有効性を示すために、異なるバックボーンアーキテクチャを持つULLMEから事前訓練された3つのモデルをリリースする。
論文参考訳（メタデータ） (2024-08-06T18:53:54Z)
Bridging the Gap between Different Vocabularies for LLM Ensemble [10.669552498083709]
様々な大言語モデル(LLM)における語彙の相違は、これまでの研究を制約してきた。語彙アライメント(EVA)を用いたLLMのアンサンブル手法を提案する。 EVAは様々なLLM間の語彙ギャップを橋渡しし、各生成ステップで巧妙にアンサンブルすることができる。
論文参考訳（メタデータ） (2024-04-15T06:28:20Z)
RAR: Retrieving And Ranking Augmented MLLMs for Visual Recognition [78.97487780589574]
MLLM(Multimodal Large Language Models)は、細粒度カテゴリの分類において優れている。本稿では,MLLMの検索とランク付けのための拡張手法を提案する。提案手法は, 微粒化認識における固有の限界に対処するだけでなく, モデルの包括的知識基盤も維持する。
論文参考訳（メタデータ） (2024-03-20T17:59:55Z)
SSLCL: An Efficient Model-Agnostic Supervised Contrastive Learning Framework for Emotion Recognition in Conversations [20.856739541819056]
会話における感情認識(ERC)は、自然言語処理コミュニティの中で急速に進化している課題である。 We propose a efficient and model-agnostic SCL framework named Supervised Sample-Label Contrastive Learning with Soft-HGR Maximal correlation (SSLCL)。浅い多層パーセプトロンを通して、離散ラベルを密度の高い埋め込みに投影することで、ラベル表現を活用する新しい視点を導入する。
論文参考訳（メタデータ） (2023-10-25T14:41:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。