論文の概要: Focusing Condition: Inference-Time Self-Contrastive Steering Elicits Better Conditional Text Embeddings in LLMs

• arxiv url: http://arxiv.org/abs/2609.32684v1
• Date: Sat, 26 Sep 2026 14:46:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 21:21:57.454988
• Title: Focusing Condition: Inference-Time Self-Contrastive Steering Elicits Better Conditional Text Embeddings in LLMs
• Title（参考訳）: フォーカス条件:LLMにおける推論時間自己コントラストステアリングによるより良い条件テキスト埋め込み
• Abstract要約: そこで本稿では,条件付きテキストの埋め込みを洗練するための,推論時・プラグ・アンド・プレイ型セルフコントラストステアリング(SCS)手法を提案する。 我々は、注意マスクと位置エンコーディングを変更して条件を隠蔽し、不条件のテキスト埋め込みを得る。 提案手法は高効率であり,推論時に1つの追加のマルチヘッド自己アテンションしか必要としない。
• 参考スコア（独自算出の注目度）: 18.322805671352842
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Extracting conditional text embeddings from large language models (LLMs) is a promising paradigm, as it requires neither additional data nor fine-tuning. Existing methods incorporate conditions into prompts to guide LLMs to focus on specific aspects and elicit conditional text embeddings. However, relying solely on prompts often fails to produce high-quality conditional text embeddings, as they remain entangled with general text embeddings, ultimately degrading their quality. To this end, we propose an inference-time, plug-and-play Self-Contrastive Steering (SCS) method that constructs unconditional general text embeddings and uses them to refine conditional text embeddings, making them more focused on the target condition. Specifically, we modify the attention mask and positional encodings to mask the condition, thereby obtaining unconditional text embeddings and intervening in the multi-head self-attention computation process. Notably, our method is highly efficient, requiring only a single additional multi-head self-attention computation at inference time. Extensive experiments on clustering, Semantic Textual Similarity, and triplet alignment datasets demonstrate that our method can seamlessly improve the performance of existing prompt-based methods across different LLMs in a training-free and plug-and-play manner. Our code will be released at https://github.com/zifengcheng/SCS
• Abstract（参考訳）: 大規模言語モデル(LLM)から条件付きテキストの埋め込みを抽出することは、追加のデータや微調整を必要としないため、有望なパラダイムである。 既存の手法では、条件を LLM に誘導し、特定の側面に焦点をあて、条件付きテキストを埋め込むプロンプトに組み込む。 しかしながら、プロンプトのみに依存すると、一般的なテキスト埋め込みと絡み合い、最終的に品質を低下させるため、高品質な条件付きテキスト埋め込みを生成できないことが多い。 そこで本研究では,非条件の汎用テキスト埋め込みを構築し,それらを用いて条件付きテキスト埋め込みを洗練し,ターゲット条件により焦点を絞る,推論時,プラグアンドプレイ型セルフコントラストステアリング(SCS)手法を提案する。 具体的には、アテンションマスクと位置エンコーディングを変更して条件をマスクし、無条件のテキスト埋め込みを取得し、マルチヘッド自己注意計算プロセスに介入する。 特に,本手法は高効率であり,推論時に1つの追加のマルチヘッド自己アテンション計算しか必要としない。 クラスタリング,セマンティックテクスチュアル類似性,トリプレットアライメントデータセットの大規模な実験により,既存のプロンプトベースの手法を学習自由かつプラグ・アンド・プレイでシームレスに改善できることが実証された。 私たちのコードはhttps://github.com/zifengcheng/SCSでリリースされます。

関連論文リスト

• Out-of-the-Box Conditional Text Embeddings from Large Language Models [7.228724224384926]
  PonTEは、新しい教師なし条件付きテキスト埋め込み手法である。 我々はPonTEが有用な条件付きテキスト埋め込みを生成でき、微調整なしで教師付き手法に匹敵する性能が得られることを示す。
  論文  参考訳（メタデータ） (2025-04-23T04:27:15Z)
• CASE -- Condition-Aware Sentence Embeddings for Conditional Semantic Textual Similarity Measurement [28.35953315232521]
  Condition-Aware Sentence Embeddings (CASE) は、条件下で文の埋め込みを作成するための効率的で正確な方法である。 ケースは、既存の標準ベンチマークデータセット上で条件付きセマンティックテキスト類似性(C-STS)メソッドよりも大幅に優れています。 本稿では,LLMをベースとした埋め込みの次元性を低減するだけでなく,性能を著しく向上する,教師付き次元性低減手法を提案する。
  論文  参考訳（メタデータ） (2025-03-21T16:27:12Z)
• PICASO: Permutation-Invariant Context Composition with State Space Models [98.91198288025117]
  State Space Models (SSM) は、コンテキストのデータベースを固定次元の状態にマッピング可能にすることで、有望なソリューションを提供する。 本研究では,SSM力学から導かれる単純な数学的関係を,生のコンテキストトークンの連結効果を効率的に近似する複数の状態に構成する。 我々は,WikiText と MSMARCO をゼロショットと微調整の両方で評価し,平均5.4倍のスピードアップを楽しみながら最強の演奏ベースラインと一致できることを示す。
  論文  参考訳（メタデータ） (2025-02-24T19:48:00Z)
• Following the Autoregressive Nature of LLM Embeddings via Compression and Alignment [84.74716380180428]
  本稿では,条件付き確率分布を埋め込んだコントラスト学習手法であるAutoRegEmbedを提案する。 本手法は従来のコントラスト学習手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2025-02-17T03:36:25Z)
• Improving Text Embeddings with Large Language Models [59.930513259982725]
  合成データと1k以下のトレーニングステップのみを用いて,高品質なテキスト埋め込みを実現するための,新しい簡易な手法を提案する。 我々は、93言語にまたがる数十万のテキスト埋め込みタスクのための多様な合成データを生成するために、プロプライエタリなLLMを活用している。 実験により,ラベル付きデータを使わずに,高度に競争力のあるテキスト埋め込みベンチマークにおいて高い性能が得られることが示された。
  論文  参考訳（メタデータ） (2023-12-31T02:13:18Z)
• Measuring Reliability of Large Language Models through Semantic Consistency [3.4990427823966828]
  我々は,オープンなテキスト出力の比較を可能にする意味的一貫性の尺度を開発した。 我々は,この整合度尺度のいくつかのバージョンを実装し,パラフレーズ化した質問に対して,複数のPLMの性能を評価する。
  論文  参考訳（メタデータ） (2022-11-10T20:21:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。