論文の概要: Why Mean Pooling Works: Quantifying Second-Order Collapse in Text Embeddings

• arxiv url: http://arxiv.org/abs/2604.27398v1
• Date: Thu, 30 Apr 2026 04:09:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-01 16:31:53.919954
• Title: Why Mean Pooling Works: Quantifying Second-Order Collapse in Text Embeddings
• Title（参考訳）: テキスト埋め込みで2階の崩壊を定量化する「Mean Pooling」
• Abstract要約: トークンの埋め込みを平均化する平均プールは、テキストの埋め込みを構築するための標準的なアプローチである。 本稿では,実際のモデルにおいて,プールが実際に有効であるかどうかを検討する。
• 参考スコア（独自算出の注目度）: 30.943998879066857
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: For constructing text embeddings, mean pooling, which averages token embeddings, is the standard approach. This paper examines whether mean pooling actually works well in real models. First, we note that mean pooling can collapse information beyond the first-order statistics of the token embeddings, such as second-order statistics that capture their spatial structure, potentially mapping distinct token embedding distributions to similar text embeddings. Motivated by this concern, we propose a simple metric to quantify such a collapse induced by mean pooling. Then, using this metric, we empirically measure how often this collapse occurs in actual models and texts, and find that modern text encoders are robust to this collapse. In particular, contrastive fine-tuned text encoders tend to be less prone to the collapse than their pretrained backbone models. We also find that the robustness of these text encoders lies in the concentration of token embeddings within each text. In addition, we find that robustness to the collapse, as quantified by our proposed metric, correlates with downstream task performance. Overall, our findings offer a new perspective on why modern text encoders remain effective despite relying on seemingly coarse mean pooling.
• Abstract（参考訳）: テキスト埋め込みを構築する場合、平均的なトークン埋め込みである平均プールは標準的なアプローチである。 本稿では,実際のモデルにおいて,プールが実際に有効であるかどうかを検討する。 まず,空間構造を捉えた2次統計や,異なるトークン埋め込み分布を類似したテキスト埋め込みにマッピングする可能性など,トークン埋め込みの1次統計以上の情報をプールすることで,プールが崩壊する可能性があることに留意する。 この懸念に乗じて、平均プーリングによって引き起こされる崩壊を定量化するための簡単な計量法を提案する。 そして、この測定値を用いて、実際のモデルやテキストでこの崩壊の発生頻度を実証的に測定し、現代のテキストエンコーダがこの崩壊に対して堅牢であることを示す。 特に、対照的に微調整されたテキストエンコーダは、事前訓練されたバックボーンモデルよりも崩壊しやすい傾向にある。 また、これらのテキストエンコーダのロバスト性は、各テキストにトークンの埋め込みが集中していることが分かる。 さらに,この崩壊に対するロバスト性は,提案した指標によって定量化され,下流タスク性能と相関することがわかった。 全体として、この発見は、最近のテキストエンコーダが、粗い平均プールに依存しているにもかかわらず、なぜ有効であるのか、新たな視点を提供する。

関連論文リスト

• Does Text Actually Help? Uncovering and Resolving Text Collapse in Multimodal Time Series Forecasting [7.885089945243776]
  テキストの崩壊は時系列予測における基本的な非対称性の結果であると主張する。 textbfREST-TS(textbfResidual-textbf Exclusive textbfSupervision for textbfText in textbfTime textbfSeries)を提案する。
  論文  参考訳（メタデータ） (2026-06-17T15:47:26Z)
• Hacking Generative Perplexity: Why Unconditional Text Evaluation Needs Distributional Metrics [49.443264461057645]
  拡散および連続フローベースの言語モデルは、言語モデリングに対する非自己回帰的な主要な代替手段として現れている。 両方のパラダイムの進歩は、生成的複雑度(gen-PPL)によって圧倒的に追跡される。 我々は、この指標は正しくないと主張している。構築により、gen-PPLは、文法性やセマンティックコヒーレンスではなく、スコアARの下でのみ予測可能性を測定する。
  論文  参考訳（メタデータ） (2026-06-07T02:35:56Z)
• LRANet++: Low-Rank Approximation Network for Accurate and Efficient Text Spotting [118.93173826110815]
  高精度検出のための低ランク近似に基づく新しいパラメータ化テキスト形状法を提案する。 異なるテキストの輪郭間の固有形状相関を利用して、形状表現の一貫性とコンパクト性を実現する。 我々は、LRANet++と呼ばれるエンドツーエンドテキストスポッティングフレームワークを構築するために、拡張検出モジュールを軽量な認識ブランチに統合する。
  論文  参考訳（メタデータ） (2025-11-08T03:08:03Z)
• The Medium Is Not the Message: Deconfounding Document Embeddings via Linear Concept Erasure [98.71456610527598]
  埋め込みベースの類似度メトリクスは、テキストのソースや言語のような刺激的な属性に影響される可能性がある。 本稿では,エンコーダ表現から観測された共同創設者に関する情報を除去するデバイアスアルゴリズムにより,これらのバイアスを最小の計算コストで大幅に低減することを示す。
  論文  参考訳（メタデータ） (2025-07-01T23:17:12Z)
• Dense Retrievers Can Fail on Simple Queries: Revealing The Granularity Dilemma of Embeddings [65.31723739561151]
  埋め込みは、エンコードされたセマンティクス内のきめ細かいエンティティやイベントを認識できないかもしれない。 本稿では,新たな評価データセットであるCapRetrievalを導入し,文節は画像キャプションであり,クエリはエンティティやイベントの概念を多種多様な形式でターゲットとするフレーズである。 我々は提案したデータ生成戦略でエンコーダを微調整し、小さな0.1Bエンコーダで最先端の7Bモデルを上回る性能を実現した。
  論文  参考訳（メタデータ） (2025-06-10T09:00:33Z)
• What Are You Token About? Dense Retrieval as Distributions Over the Vocabulary [68.77983831618685]
  本稿では,2つのエンコーダが生成するベクトル表現を,モデルの語彙空間に投影することで解釈する。 得られたプロジェクションは、リッチな意味情報を含み、それらの間の接続を描画し、スパース検索を行う。
  論文  参考訳（メタデータ） (2022-12-20T16:03:25Z)
• Toward the Understanding of Deep Text Matching Models for Information Retrieval [72.72380690535766]
  本稿では,既存の深層テキストマッチング手法が情報検索の基本的な勾配を満たすかどうかを検証することを目的とする。 具体的には, 項周波数制約, 項識別制約, 長さ正規化制約, TF長制約の4つの属性を用いる。 LETOR 4.0 と MS Marco の実験結果から,研究対象の深層テキストマッチング手法はすべて,統計学において高い確率で上記の制約を満たすことが示された。
  論文  参考訳（メタデータ） (2021-08-16T13:33:15Z)
• Statistically significant detection of semantic shifts using contextual word embeddings [7.439525715543974]
  文脈的単語埋め込みと順列に基づく統計的テストを組み合わせて意味的変化を推定する手法を提案する。 本手法の性能をシミュレーションで実証し,偽陽性を抑圧することにより,一貫して高精度に達成する。 また,SemEval-2020 Task 1 と Liverpool FC subreddit corpus の実際のデータも分析した。
  論文  参考訳（メタデータ） (2021-04-08T13:58:54Z)
• Language Modeling with Reduced Densities [0.0]
  テキストのコーパスに見られるような有限アルファベットからの記号列が確率に富んだカテゴリを形成することを示す。 次に、第2の根本的な疑問に対処する。 この情報は、どのようにしてカテゴリ構造を保存する方法で保存され、モデル化されるのか?
  論文  参考訳（メタデータ） (2020-07-08T00:41:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。