論文の概要: LMK > CLS: Landmark Pooling for Dense Embeddings

• arxiv url: http://arxiv.org/abs/2601.21525v1
• Date: Thu, 29 Jan 2026 10:40:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-30 16:22:49.740209
• Title: LMK > CLS: Landmark Pooling for Dense Embeddings
• Title（参考訳）: LMK > CLS:Dense Embeddingsのランドマークポーリング
• Authors: Meet Doshi, Aashka Trivedi, Vishwajeet Kumar, Parul Awasthy, Yulong Li, Jaydeep Sen, Radu Florian, Sachindra Joshi,
• Abstract要約: ランドマーク(LMK)プーリングを導入し、シーケンスをチャンクに分割し、チャンク間にランドマークトークンを挿入し、ランドマークトークンの埋め込みを平均プールすることで最終表現を形成する。 この単純なメカニズムは、少数の特別なトークンを導入するコストで、局所的な有能な特徴を犠牲にすることなく、長文の外挿を改善する。
• 参考スコア（独自算出の注目度）: 18.49372789918725
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Representation learning is central to many downstream tasks such as search, clustering, classification, and reranking. State-of-the-art sequence encoders typically collapse a variable-length token sequence to a single vector using a pooling operator, most commonly a special [CLS] token or mean pooling over token embeddings. In this paper, we identify systematic weaknesses of these pooling strategies: [CLS] tends to concentrate information toward the initial positions of the sequence and can under-represent distributed evidence, while mean pooling can dilute salient local signals, sometimes leading to worse short-context performance. To address these issues, we introduce Landmark (LMK) pooling, which partitions a sequence into chunks, inserts landmark tokens between chunks, and forms the final representation by mean-pooling the landmark token embeddings. This simple mechanism improves long-context extrapolation without sacrificing local salient features, at the cost of introducing a small number of special tokens. We empirically demonstrate that LMK pooling matches existing methods on short-context retrieval tasks and yields substantial improvements on long-context tasks, making it a practical and scalable alternative to existing pooling methods.
• Abstract（参考訳）: 表現学習は、検索、クラスタリング、分類、ランク付けといった多くの下流タスクの中心である。 最先端のシーケンスエンコーダは通常、可変長のトークンシーケンスをプール演算子を使用して単一のベクトルに分解する。 本稿では,これらのプーリング戦略の系統的弱点を同定する: [CLS] は,シーケンスの初期位置に情報を集中し,分散証拠を下書きする傾向があり,一方,平均プーリングは局所的な局所的な信号の希薄化を招き,時には短コンテキスト性能が悪化する。 これらの問題に対処するために、ランドマークプーリング(LMK)を導入し、シーケンスをチャンクに分割し、チャンク間にランドマークトークンを挿入し、ランドマークトークンの埋め込みを平均プールすることで最終表現を形成する。 この単純なメカニズムは、少数の特別なトークンを導入するコストで、局所的な有能な特徴を犠牲にすることなく、長文の外挿を改善する。 我々は、LMKプーリングが、短文検索タスクの既存のメソッドと一致することを実証的に証明し、長文検索タスクの大幅な改善を実現し、既存のプーリング方法に代わる実用的でスケーラブルな代替手段となることを実証した。

関連論文リスト

• Accelerate Speculative Decoding with Sparse Computation in Verification [49.74839681322316]
  投機的復号化は、複数のドラフトトークンを並列に検証することにより、自動回帰言語モデル推論を加速する。 既存のスペーシフィケーション方式は主にトークン・バイ・トーケンの自己回帰復号化のために設計されている。 そこで本研究では,注目度,FFN,MoEを両立させるスパース検証フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-12-26T07:53:41Z)
• NILC: Discovering New Intents with LLM-assisted Clustering [15.077590298929719]
  新しい意図発見(NID)は、ラベルなしのユーザ発話から、新しい意図と既知の意図の両方を認識することを目指している。 本報告では,NIDに特化して機能する新しいクラスタリングフレームワークであるNILCを提案する。
  論文  参考訳（メタデータ） (2025-11-08T08:18:44Z)
• Long-Context Modeling with Dynamic Hierarchical Sparse Attention for On-Device LLMs [17.499497967319332]
  データ駆動型フレームワークであるDynamic Hierarchical Sparse Attention (DHSA)を導入する。 DHSAは高い注意力と精度を一致させ、プリフィル遅延を20-60%削減し、ピークメモリ使用量を35%削減した。 Needle-in-a-Haystack Test と LongBench を用いたGemma2 実験では,DHSA の精度は高いが,プリフィル遅延は20～60%,ピークメモリ使用量は35%削減された。
  論文  参考訳（メタデータ） (2025-10-28T16:34:18Z)
• Summaries as Centroids for Interpretable and Scalable Text Clustering [0.0]
  我々は,k-NLPmeansとk-LLMmeansを紹介した。 重要なアイデアであるサマリ・アズ・センタロイドは、人間可読で監査可能なクラスタプロトタイプを作成しながら、埋め込み空間におけるk平均の割り当てを保持します。
  論文  参考訳（メタデータ） (2025-02-12T19:50:22Z)
• Semantic Equitable Clustering: A Simple and Effective Strategy for Clustering Vision Tokens [57.37893387775829]
  我々はSemantic Equitable Clustering(SEC)という,高速かつバランスの取れたクラスタリング手法を導入する。 SECは、グローバルなセマンティックな関連性に基づいてトークンを効率的かつ直接的な方法でクラスタ化する。 視覚言語コネクタとして機能する汎用視覚バックボーンであるSECViTを提案する。
  論文  参考訳（メタデータ） (2024-05-22T04:49:00Z)
• SQLNet: Scale-Modulated Query and Localization Network for Few-Shot Class-Agnostic Counting [67.97870844244187]
  CAC(class-agnostic counting)タスクは、最近、任意のクラスの全てのオブジェクトを、入力画像にいくつかの例を付与してカウントする問題を解くために提案されている。 我々は、スケール変調クエリーおよびローカライズネットワーク(Net)と呼ばれる、新しいローカライズベースのCACアプローチを提案する。 クエリとローカライゼーションの段階において、模範者のスケールを完全に探求し、各オブジェクトを正確に位置付けし、その近似サイズを予測することで、効果的なカウントを実現している。
  論文  参考訳（メタデータ） (2023-11-16T16:50:56Z)
• [CLS] Token is All You Need for Zero-Shot Semantic Segmentation [60.06653755695356]
  本稿では,事前学習された視覚言語モデルCLIPに基づく,恥ずかしいほどシンプルで効果的なゼロショットセマンティックセマンティックセマンティックセマンティクス(ZS3)法を提案する。 具体的には、テキストブランチから出力される[text]トークンを補助的なセマンティックプロンプトとして使用し、ViTベースのビジュアルエンコーダの浅い層におけるナビゲーション[text]トークンを置き換える。 提案したZS3法は,SOTA性能を達成し,その数発のセマンティックセマンティックセグメンテーション法と同等である。
  論文  参考訳（メタデータ） (2023-04-13T01:35:07Z)
• Revisiting Deep Local Descriptor for Improved Few-Shot Classification [56.74552164206737]
  textbfDense textbfClassification と textbfAttentive textbfPooling を利用して埋め込みの質を向上させる方法を示す。 広範に使われているグローバル平均プール (GAP) の代わりに, 注意深いプールを施し, 特徴マップをプールすることを提案する。
  論文  参考訳（メタデータ） (2021-03-30T00:48:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。