論文の概要: Token Prepending: A Training-Free Approach for Eliciting Better Sentence Embeddings from LLMs

• arxiv url: http://arxiv.org/abs/2412.11556v1
• Date: Mon, 16 Dec 2024 08:42:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-17 14:01:37.489148
• Title: Token Prepending: A Training-Free Approach for Eliciting Better Sentence Embeddings from LLMs
• Title（参考訳）: Token Prepending: LLMからより良い文埋め込みを誘発するためのトレーニング不要アプローチ
• Authors: Yuchen Fu, Zifeng Cheng, Zhiwei Jiang, Zhonghui Wang, Yafeng Yin, Zhengliang Li, Qing Gu,
• Abstract要約: Token Prepending (TP) 技術は、各レイヤのデコードされた文を次のレイヤの入力に埋め込む。 TP技術はプラグアンドプレイおよびトレーニングフリー技術であり、即時ベースの文埋め込み手法とシームレスに統合できる。
• 参考スコア（独自算出の注目度）: 10.213016513358598
• License:
• Abstract: Extracting sentence embeddings from large language models (LLMs) is a promising direction, as LLMs have demonstrated stronger semantic understanding capabilities. Previous studies typically focus on prompt engineering to elicit sentence embeddings from LLMs by prompting the model to encode sentence information into the embedding of the last token. However, LLMs are mostly decoder-only models with causal attention and the earlier tokens in the sentence cannot attend to the latter tokens, resulting in biased encoding of sentence information and cascading effects on the final decoded token. To this end, we propose a novel Token Prepending (TP) technique that prepends each layer's decoded sentence embedding to the beginning of the sentence in the next layer's input, allowing earlier tokens to attend to the complete sentence information under the causal attention mechanism. The proposed TP technique is a plug-and-play and training-free technique, which means it can be seamlessly integrated with various prompt-based sentence embedding methods and autoregressive LLMs. Extensive experiments on various Semantic Textual Similarity (STS) tasks and downstream classification tasks demonstrate that our proposed TP technique can significantly improve the performance of existing prompt-based sentence embedding methods across different LLMs, while incurring negligible additional inference cost.
• Abstract（参考訳）: 大規模言語モデル(LLM)から文の埋め込みを抽出することは有望な方向であり、LLMはより強力な意味理解能力を示している。 従来の研究は、最終トークンの埋め込みに文情報をエンコードするようモデルに促すことで、LLMから文の埋め込みを抽出するエンジニアリングの促進に重点を置いていた。 しかし、LLMは主に因果的注意を持つデコーダのみのモデルであり、文の初期のトークンは後者のトークンには対応できないため、最終復号化トークンに対する文情報のバイアスエンコーディングとカスケード効果が生じる。 そこで本稿では,各レイヤの復号文を次のレイヤの入力の先頭に埋め込むことで,従来のトークンが因果的注意機構の下で完全な文情報に到達できるようにする,新しいToken Prepending(TP)手法を提案する。 提案手法はプラグイン・アンド・プレイフリーの手法であり,様々なプロンプトベースの文埋め込み手法や自己回帰型LLMとシームレスに統合できる。 様々なセマンティックテキスト類似性(STS)タスクと下流分類タスクの広範囲にわたる実験により,提案手法は,既存の命令ベースの文埋め込み手法の性能を大幅に向上すると同時に,無視可能な追加推論コストを発生させることを示した。

関連論文リスト

• FIRP: Faster LLM inference via future intermediate representation prediction [54.897493351694195]
  FIRPはデコードステップ毎に1つではなく複数のトークンを生成する。 いくつかのモデルとデータセットで1.9x-3xのスピードアップ比を示す広範な実験を行った。
  論文  参考訳（メタデータ） (2024-10-27T15:53:49Z)
• SentenceVAE: Enable Next-sentence Prediction for Large Language Models with Faster Speed, Higher Accuracy and Longer Context [49.9628075245959]
  本稿では,文中の複数のトークンを1つのトークンに圧縮する文を含む文変分自動エンコーダ(文変分自動エンコーダ)と,それを再構成する文変分自動エンコーダ(文変分自動エンコーダ)を提案する。 提案手法は, 推定速度を204365%高速化し, パープレキシティ(PPL)を4675%まで低減し, メモリオーバーヘッドを8691%削減する。
  論文  参考訳（メタデータ） (2024-08-01T15:45:19Z)
• Speculative Decoding via Early-exiting for Faster LLM Inference with Thompson Sampling Control Mechanism [35.7077090639665]
  そこで本研究では,非損失加速を用いたEarly-Exiting Speculative Decoding (EESD) という新しい手法を提案する。 EESDは、大きな言語モデル(LLM)のセグメントを使用してドラフトトークンを生成し、最初のN層の後、初期出力構造を取り入れている。 提案手法では,従来の手法と比較して,トークンの復号化速度が著しく向上していることが示されている。
  論文  参考訳（メタデータ） (2024-06-06T08:40:28Z)
• BLSP-KD: Bootstrapping Language-Speech Pre-training via Knowledge Distillation [18.329192763760034]
  BLSP-KD(Bootstrapping Language-Speech Pretraining)を知識蒸留により導入する。 音声入力とテキスト入力に対するLLMの次点予測分布のばらつきを最小化することで、音声テキストアライメントを最適化する。 また、音声を1対1でテキストトークンに対応するトークンに分割し、きめ細かいアライメントを可能にする。
  論文  参考訳（メタデータ） (2024-05-29T12:32:08Z)
• SEP: Self-Enhanced Prompt Tuning for Visual-Language Model [93.94454894142413]
  SEP(Self-Enhanced Prompt Tuning)という新しいアプローチを導入する。 SEPは、テキストレベルの埋め込みと視覚レベルの埋め込みの両方を強化するために、差別的な事前知識を明示的に取り入れている。 様々なベンチマークやタスクの総合的な評価は、プロンプトチューニングにおけるSEPの有効性を確認している。
  論文  参考訳（メタデータ） (2024-05-24T13:35:56Z)
• Prefix Text as a Yarn: Eliciting Non-English Alignment in Foundation Language Model [50.339632513018934]
  教師付き微調整(SFT)は、基礎大言語モデル(LLM)の出力を特定の嗜好に合わせるための単純なアプローチである。 我々はこの仮説を言語間タスクの範囲内で批判的に検証する。 タスク関連トークンを最小化するPreTTYという新しいトレーニングフリーアライメント手法を提案する。
  論文  参考訳（メタデータ） (2024-04-25T17:19:36Z)
• TEAL: Tokenize and Embed ALL for Multi-modal Large Language Models [69.49978333446538]
  TEALは任意のモダリティからの入力をトークンシーケンスとして扱うアプローチである。 トークンシーケンスを学習可能な埋め込み行列で結合埋め込み空間に埋め込む。 実験により、TEALはマルチモーダル理解を大幅に改善することが示された。
  論文  参考訳（メタデータ） (2023-11-08T10:34:16Z)
• Alleviating Over-smoothing for Unsupervised Sentence Representation [96.19497378628594]
  本稿では,この問題を緩和するために,SSCL(Self-Contrastive Learning)というシンプルな手法を提案する。 提案手法は非常に単純で,様々な最先端モデルに拡張して,性能向上を図ることができる。
  論文  参考訳（メタデータ） (2023-05-09T11:00:02Z)
• Enhancing Pre-trained Language Model with Lexical Simplification [41.34550924004487]
  lexical simplification (ls) は、そのような語彙の多様性を減らすための認識された方法である。 テキスト分類におけるPrLMの性能を効果的に向上する新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-12-30T07:49:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。