論文の概要: Contrastive Prompting Enhances Sentence Embeddings in LLMs through Inference-Time Steering

• arxiv url: http://arxiv.org/abs/2505.12831v1
• Date: Mon, 19 May 2025 08:19:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-20 14:57:11.479459
• Title: Contrastive Prompting Enhances Sentence Embeddings in LLMs through Inference-Time Steering
• Title（参考訳）: 推論時間ステアリングによるLLMの文埋め込みを促進させるコントラスト的プロンピング
• Authors: Zifeng Cheng, Zhonghui Wang, Yuchen Fu, Zhiwei Jiang, Yafeng Yin, Cong Wang, Qing Gu,
• Abstract要約: 本稿では,より優れた文の埋め込みを促すために補助的なプロンプトを付加するContrastive Prompting (CP)法を提案する。 補助的なプロンプトと対照的に、CPは文のコアセマンティクスをエンコードする既存のプロンプトを操ることができる。 提案手法は,異なる大規模言語モデル間で既存のプロンプトベースの手法の性能を向上させることができる。
• 参考スコア（独自算出の注目度）: 12.982890198455701
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Extracting sentence embeddings from large language models (LLMs) is a practical direction, as it requires neither additional data nor fine-tuning. Previous studies usually focus on prompt engineering to guide LLMs to encode the core semantic information of the sentence into the embedding of the last token. However, the last token in these methods still encodes an excess of non-essential information, such as stop words, limiting its encoding capacity. To this end, we propose a Contrastive Prompting (CP) method that introduces an extra auxiliary prompt to elicit better sentence embedding. By contrasting with the auxiliary prompt, CP can steer existing prompts to encode the core semantics of the sentence, rather than non-essential information. CP is a plug-and-play inference-time intervention method that can be combined with various prompt-based methods. Extensive experiments on Semantic Textual Similarity (STS) tasks and downstream classification tasks demonstrate that our method can improve the performance of existing prompt-based methods across different LLMs. Our code will be released at https://github.com/zifengcheng/CP.
• Abstract（参考訳）: 大規模言語モデル(LLM)から文の埋め込みを抽出することは、追加データや微調整を必要としないため、実用的な方法である。 従来の研究は LLM を誘導し、文の中核的な意味情報を最後のトークンの埋め込みにエンコードすることに焦点を当てていた。 しかしながら、これらの手法における最後のトークンは、その符号化能力を制限するため、停止語などの重要でない情報を過剰にエンコードしている。 そこで本研究では,より優れた文埋め込みを実現するための補助的プロンプトを導入するContrastive Prompting(CP)手法を提案する。 補助的なプロンプトとは対照的に、CPは非意味的な情報ではなく、文のコアセマンティクスをエンコードする既存のプロンプトを操ることができる。 CPは、様々なプロンプトベースの手法と組み合わせることができる、プラグアンドプレイの推論時間介入法である。 セマンティックテキスト類似性(STS)タスクと下流分類タスクに関する広範囲な実験により,本手法は異なるLCM間で既存のプロンプトベースの手法の性能を向上させることができることを示した。 私たちのコードはhttps://github.com/zifengcheng/CPでリリースされます。

関連論文リスト

• Enhancing Input-Label Mapping in In-Context Learning with Contrastive Decoding [71.01099784480597]
  大規模言語モデル(LLM)は、コンテキスト内学習(ICL)を通じて、様々なタスクで優れる In-Context Contrastive Decoding (ICCD)を導入する。 ICCDは、正と負のインコンテキストの例の出力分布を対比することで、入力ラベルマッピングを強調する。
  論文  参考訳（メタデータ） (2025-02-19T14:04:46Z)
• Token Prepending: A Training-Free Approach for Eliciting Better Sentence Embeddings from LLMs [10.213016513358598]
  Token Prepending (TP) 技術は、各レイヤのデコードされた文を次のレイヤの入力に埋め込む。 TP技術はプラグアンドプレイおよびトレーニングフリー技術であり、即時ベースの文埋め込み手法とシームレスに統合できる。
  論文  参考訳（メタデータ） (2024-12-16T08:42:00Z)
• SentenceVAE: Enable Next-sentence Prediction for Large Language Models with Faster Speed, Higher Accuracy and Longer Context [49.9628075245959]
  本稿では,文中の複数のトークンを1つのトークンに圧縮する文を含む文変分自動エンコーダ(文変分自動エンコーダ)と,それを再構成する文変分自動エンコーダ(文変分自動エンコーダ)を提案する。 提案手法は, 推定速度を204365%高速化し, パープレキシティ(PPL)を4675%まで低減し, メモリオーバーヘッドを8691%削減する。
  論文  参考訳（メタデータ） (2024-08-01T15:45:19Z)
• Multi-Prompting Decoder Helps Better Language Understanding [23.084538462710125]
  本稿では,MaaS適応のためのMPD(Multi-Prompting Decoder)フレームワークを提案する。 提案手法は,複数の自然言語理解データセットに対して,数ショット設定で新たな最先端結果を実現する。
  論文  参考訳（メタデータ） (2024-06-10T13:58:46Z)
• Unlocking Efficiency in Large Language Model Inference: A Comprehensive Survey of Speculative Decoding [46.485363806259265]
  投機的デコーディングは、LLM(Large Language Models)推論のための新しいデコーディングパラダイムとして登場した。 復号処理の各ステップにおいて、この手法はまず、複数の将来のトークンを効率的にドラフトし、それらを並列に検証する。 本稿では,この有望な復号化パラダイムの概観と解析について述べる。
  論文  参考訳（メタデータ） (2024-01-15T17:26:50Z)
• Supporting Vision-Language Model Inference with Confounder-pruning Knowledge Prompt [71.77504700496004]
  視覚言語モデルは、オープンセットの視覚概念を扱うために、画像とテキストのペアを共通の空間に整列させることで事前訓練される。 事前訓練されたモデルの転送可能性を高めるため、最近の研究では、固定または学習可能なプロンプトが採用されている。 しかし、どのようにして、どのプロンプトが推論性能を改善するのかは、まだ不明である。
  論文  参考訳（メタデータ） (2022-05-23T07:51:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。