Fugu-MT 論文翻訳(概要): Your UnEmbedding Matrix is Secretly a Feature Lens for Text Embeddings

論文の概要: Your UnEmbedding Matrix is Secretly a Feature Lens for Text Embeddings

arxiv url: http://arxiv.org/abs/2606.07502v1
Date: Fri, 05 Jun 2026 17:54:32 GMT
ステータス: 翻訳完了
システム内更新日: 2026-06-08 14:33:29.882838
Title: Your UnEmbedding Matrix is Secretly a Feature Lens for Text Embeddings
Title（参考訳）: テキスト埋め込み用レンズ「Un Emmbedding Matrix」
Authors: Songhao Wu, Zhongxin Chen, Yuxuan Liu, Heng Cui, Cong Li, Rui Yan,
Abstract要約: 大規模な言語モデルは、幅広い下流タスクで印象的なゼロショット機能を示す。彼らは市販の埋め込みモデルとして機能するのに苦労し、巨大なテキスト埋め込みベンチマークで最適以下のパフォーマンスを実現した。我々は,LLMから直接テキスト埋め込みを洗練するための単純な線形変換であるEmbedFilterを紹介する。
参考スコア（独自算出の注目度）: 26.256713243355108
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Large language models exhibit impressive zero-shot capabilities across a wide range of downstream tasks. However, they struggle to function as off-the-shelf embedding models, leading to suboptimal performance on massive text embedding benchmarks. In this paper, we identify a potential cause underlying this deficiency. Our motivation stems from an unexpected observation: text embeddings tend to align with frequent but uninformative tokens when projected onto the vocabulary space. We argue that this excessive expression of high-frequency tokens suppresses the model's ability to capture nuanced semantics. To address this, we introduce EmbedFilter, a simple linear transformation designed to refine text embeddings derived from LLMs directly. Specifically, we uncover that the unembedding matrix within LLMs encodes a latent space that is actively writing these frequent tokens into embedding space. By filtering out this subspace, EmbedFilter suppress the influence of high-frequency tokens, thereby enhancing semantic representations. As a compelling byproduct, this enables an inherent dimensionality reduction, lowering index storage and speedup retrieval while fully preserving the refined embedding quality. Our experiments across multiple LLM backbones demonstrate that LLMs equipped with EmbedFilter achieve superior zero-shot downstream performance even with significantly reduced embedding dimensions. We hope our findings provide deeper insights into the mechanisms of LLM-based representations and inspire more principled designs to improve text embeddings training. Our code is available at https://github.com/CentreChen/EmbFilter.
Abstract（参考訳）: 大規模な言語モデルは、幅広い下流タスクで印象的なゼロショット機能を示す。しかし、彼らは市販の埋め込みモデルとして機能するのに苦労し、巨大なテキスト埋め込みベンチマーク上での最適以下のパフォーマンスにつながった。本稿では,この欠損の根底にある潜在的な原因を同定する。テキスト埋め込みは、語彙空間に投影されるとき、頻繁だが非形式的トークンと整合する傾向がある。我々は、この高頻度トークンの過剰な表現は、ニュアンスドセマンティクスを捕捉するモデルの能力を抑制すると論じている。これを解決するために,LLMから直接テキスト埋め込みを洗練するための単純な線形変換である EmbedFilter を導入する。具体的には、LLM内の非埋め込み行列が、これらの頻繁なトークンを埋め込み空間に積極的に書き込む潜在空間を符号化していることを明らかにする。この部分空間をフィルタリングすることで、EmbedFilterは高周波トークンの影響を抑制し、セマンティック表現を強化する。魅力的な副産物として、洗練された埋め込み品質を保ちつつ、本質的な次元減少、インデックス記憶の低下、高速化検索を可能にする。複数のLLMバックボーンを用いた実験により,埋め込み寸法が大幅に小さくても,EmbedFilterを搭載したLLMはより優れたゼロショットダウンストリーム性能が得られることが示された。 LLMに基づく表現のメカニズムについてより深い洞察を提供し、テキスト埋め込みトレーニングを改善するためにより原則化された設計をインスピレーションできることを願っている。私たちのコードはhttps://github.com/CentreChen/EmbFilter.comから入手可能です。

関連論文リスト

What Do Visual Tokens Really Encode? Uncovering Sparsity and Redundancy in Multimodal Large Language Models [9.530137749236617]
マルチモーダル大言語モデル(MLLM)は、言語モデルの埋め込み空間に視覚トークンを投影する。本稿では,新しい探索ツールである $textLenEmbeds$ を特徴とする2次元解析フレームワークについて紹介する。視覚トークンは一貫してシンク、デッド、生きたカテゴリに分けられる。
論文参考訳（メタデータ） (2026-02-28T07:13:36Z)
KV-Embedding: Training-free Text Embedding via Internal KV Re-routing in Decoder-only LLMs [12.949322198287417]
凍結LDMの潜在表現力を活性化するフレームワークであるKV-Embeddingを提案する。提案手法では, 各層における最終トークンのキー値(KV)状態が, シーケンスの圧縮されたビューを符号化する。 KV-Embeddingは,最大4,096個のトークンに対して堅牢な性能を維持しつつ,トレーニング不要のベースラインを最大10%向上させることを示す。
論文参考訳（メタデータ） (2026-01-03T02:55:43Z)
Where MLLMs Attend and What They Rely On: Explaining Autoregressive Token Generation [59.40886078302025]
マルチモーダル大規模言語モデル(MLLM)は、視覚入力と自然言語出力の整合性を示す。しかし、生成したトークンが視覚的モダリティに依存する範囲は、いまだに理解されていない。 MLLMにおける自己回帰トークン生成を説明するための軽量なブラックボックスフレームワークを提案する。
論文参考訳（メタデータ） (2025-09-26T15:38:42Z)
Exploring the Hidden Capacity of LLMs for One-Step Text Generation [3.5785385789441158]
凍結した大きな言語モデルでは、1つのトークン並列フォワードパスで数百の正確なトークンを生成することができることを示す。これらの表現は与えられたテキストに固有のものではないが、埋め込み空間において接続された局所領域を形成する。また、これらの表現は与えられたテキストに固有のものではないが、埋め込み空間において接続された局所領域を形成することを実証的に示す。
論文参考訳（メタデータ） (2025-05-27T13:39:24Z)
ShortV: Efficient Multimodal Large Language Models by Freezing Visual Tokens in Ineffective Layers [70.38258823378557]
MLLM(Multimodal Large Language Models)はその巨大なサイズと多数の視覚トークンのために高い計算コストを被る。本稿では,レイヤの変換が視覚およびテキストトークンに与える影響を定量化する新しいメトリクスであるレイヤ貢献(LC)を紹介する。 LCを利用して非効率なレイヤを識別し,これらのレイヤの視覚的トークン更新を凍結する,トレーニング不要なShortVを提案する。
論文参考訳（メタデータ） (2025-04-01T07:47:55Z)
Discovering the Gems in Early Layers: Accelerating Long-Context LLMs with 1000x Input Token Reduction [47.38471103190534]
大きな言語モデル(LLM)は、長いコンテキスト入力を扱う際、顕著な能力を示してきたが、これは計算リソースとレイテンシの増大によるものである。本研究では,LLM推論を高速化し,GPUメモリ使用量を削減するために,長期的ボトルネックに対する新たなアプローチを提案する。本稿では,LLMの初期レイヤをフィルタとして,入力トークンの選択と圧縮を行うアルゴリズムを提案する。
論文参考訳（メタデータ） (2024-09-25T23:14:47Z)
A Text is Worth Several Tokens: Text Embedding from LLMs Secretly Aligns Well with The Key Tokens [20.37803751979975]
テキストを大きな言語モデルベースの埋め込み器に入力すると、得られたテキストの埋め込みは入力テキストのキートークンと一致させることができる。この現象は普遍的であり,モデルアーキテクチャ,トレーニング戦略,埋め込み手法の影響を受けないことを示す。
論文参考訳（メタデータ） (2024-06-25T08:55:12Z)
Training LLMs over Neurally Compressed Text [55.11828645767342]
本稿では,高度に圧縮されたテキスト上での大規模言語モデル(LLM)の訓練について検討する。テキストをブロックに分割し,それぞれが同じビット長に圧縮する新しい圧縮手法であるEqual-Info Windowsを提案する。提案手法は, 大規模化により向上し, パープレキシティと推論速度のベンチマークにおいて, バイトレベルのベースラインをはるかに上回る, ニューラルネットワークによる効果的な学習を実演する。
論文参考訳（メタデータ） (2024-04-04T17:48:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。