論文の概要: Reducing Representational Interference in Retrieval Embeddings with Trainable Prefix Tokens
- arxiv url: http://arxiv.org/abs/2611.07298v1
- Date: Thu, 05 Nov 2026 01:30:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-06 21:50:50.485633
- Title: Reducing Representational Interference in Retrieval Embeddings with Trainable Prefix Tokens
- Title(参考訳): トレーニング可能なプレフィックストークンを用いた検索埋め込みにおける表現干渉の低減
- Abstract要約: 組込みモデルトレーニング中に入力にトレーニング可能な[DUMP]トークンをプリペイドする簡単な方法を提案する。
標準検索と長文ベンチマークの実験により,提案手法は微調整されたベースラインよりも常に改善されていることが示された。
- 参考スコア(独自算出の注目度): 31.939453271083405
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Embedding models compress variable-length text into fixed-size vector representations, but this compression can entangle semantic content with residual token-level information, such as artifacts arising from attention sink behavior. We propose a simple method that prepends trainable [DUMP] tokens to the input during embedding model training. The method keeps the model architecture, pooling strategy, and training loss unchanged, while optimizing the added tokens through the standard contrastive retrieval objective. By introducing trainable prefix positions that interact with regular tokens during encoding, [DUMP] tokens help reduce the influence of residual or uninformative token-level signals on the final retrieval representation. Experiments on standard retrieval and long-context benchmarks show that our method consistently improves over finetuned baselines across encoder and decoder embedding models. Further analysis shows that [DUMP] tokens alter token-level activation and attention patterns associated with low-information tokens. These results suggest that trainable prefix tokens provide a lightweight way to improve retrieval representations.
- Abstract(参考訳): 埋め込みモデルは、可変長のテキストを固定サイズのベクトル表現に圧縮するが、この圧縮は、注意シンクの振る舞いから生じるアーティファクトなど、トークンレベルの残りの情報とセマンティックコンテンツを絡み合わせることができる。
組込みモデルトレーニング中に入力にトレーニング可能な[DUMP]トークンをプリペイドする簡単な方法を提案する。
この手法は,標準のコントラスト検索目標を通じて付加トークンを最適化しながら,モデルアーキテクチャ,プーリング戦略,トレーニング損失を一定に保つ。
エンコーディング中に通常のトークンと対話するトレーニング可能なプレフィックス位置を導入することで、[DUMP]トークンは最後の検索表現に対する残差や非形式的なトークンレベルの信号の影響を低減するのに役立つ。
標準検索と長文ベンチマークの実験により,エンコーダとデコーダの埋め込みモデル間のベースラインの微調整が一貫して改善されていることが示された。
さらに分析したところ、[DUMP]トークンは、低情報トークンに関連するトークンレベルのアクティベーションとアテンションパターンを変化させている。
これらの結果は、トレーニング可能なプレフィックストークンが、検索表現を改善するための軽量な方法を提供することを示唆している。
関連論文リスト
- LiteToken: Removing Intermediate Merge Residues From BPE Tokenizers [76.59130257385826]
BPE語彙の中間的なマージ残基は、マージ学習中にしばしば見られ、最終語彙に保持されるが、ほとんどは、トークン化剤の使用中にコーパスをトークン化するときに、さらにマージされる。
本稿では, この現象を, 一般的に使用されているトークン化剤にまたがって系統的に評価し, 残留トークンを除去する簡単な方法である LiteToken を紹介する。
実験によると、LiteTokenはトークンの断片化を減らし、パラメータを減らし、全体的なパフォーマンスを保ちながら、ノイズやスペル入力への堅牢性を改善する。
論文 参考訳(メタデータ) (2026-02-04T16:19:05Z) - Token-level Correlation-guided Compression for Efficient Multimodal Document Understanding [54.532578213126065]
ほとんどの文書理解手法は、サブイメージ内の全てのトークンを保存し、それらを等しく扱う。
これにより、異なる情報性が無視され、画像トークンの数が大幅に増加する。
トークン処理を最適化するためのパラメータフリーかつプラグアンドプレイ手法であるトークンレベルの相関誘導圧縮を提案する。
論文 参考訳(メタデータ) (2024-07-19T16:11:15Z) - Object Recognition as Next Token Prediction [99.40793702627396]
オブジェクト認識を次のトークン予測として提案する。
その考え方は、画像埋め込みからフォームラベルへのテキストトークンの自動回帰予測を行う言語デコーダを適用することである。
論文 参考訳(メタデータ) (2023-12-04T18:58:40Z) - RetroMAE v2: Duplex Masked Auto-Encoder For Pre-Training
Retrieval-Oriented Language Models [3.4523793651427113]
本稿では,[] と通常のトークンの両方のコンテキスト化埋め込みにおける意味表現能力の向上を目標とする,二重マスク付き自動エンコーダ DupMAE を提案する。
DupMAEは単純だが経験的競争力があり、デコードコストが小さいため、モデルの表現能力と転送可能性に大きく貢献する。
論文 参考訳(メタデータ) (2022-11-16T08:57:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。