論文の概要: Selecting What Matters: Semantic Compression-Guided Selective Pooling for Long-Context Embeddings

• arxiv url: http://arxiv.org/abs/2609.37782v1
• Date: Tue, 29 Sep 2026 15:16:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.669482
• Title: Selecting What Matters: Semantic Compression-Guided Selective Pooling for Long-Context Embeddings
• Title（参考訳）: 意味的圧縮誘導型長期埋め込みのための選択プール
• Abstract要約: 長文埋め込みにおける情報化トークン選択にセマンティック圧縮を利用する学習自由フレームワークSCSPを提案する。 SCSPはゼロショットモデルと微調整モデルの両方にプラグイン・アンド・プレイ方式で統合でき、その性能は一貫して改善される。
• 参考スコア（独自算出の注目度）: 15.814244161008347
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) have shown strong potential as training-free text encoders for long-context embeddings. Existing approaches primarily improve information flow under causal attention and typically construct embeddings by uniformly averaging all token representations. However, for long documents, such mean pooling can dilute salient semantic information with abundant redundant or weakly informative content. To this end, we propose SCSP, a training-free framework that leverages semantic compression for informative token selection in long-context embedding. Specifically, SCSP first partitions a document into sentence-aware chunks and appends a semantic compression prompt to each chunk. A prompt-isolated attention mask preserves information flow among document tokens while restricting each prompt to its corresponding local context. We then use the attention patterns elicited by these prompts to estimate token importance, select informative tokens, and aggregate their intermediate-layer representations into the final embedding. Extensive experiments on long-context embedding benchmarks demonstrate that SCSP can be integrated into both zero-shot and fine-tuned models in a plug-and-play manner, consistently improving their performance.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、長文埋め込みのためのトレーニング不要のテキストエンコーダとして強い可能性を示している。 既存のアプローチは、主に因果的注意の下での情報フローを改善し、通常はすべてのトークン表現を均一に平均化することによって埋め込みを構築する。 しかし、長い文書の場合、このような平均的なプール化は、豊富な冗長または弱情報的な内容で有能な意味情報を希薄化することができる。 この目的のために,長文埋め込みにおける情報化トークン選択にセマンティック圧縮を利用する学習自由フレームワークSCSPを提案する。 具体的には、SCSPはまず文書を文対応チャンクに分割し、各チャンクに意味圧縮プロンプトを付加する。 プロンプト分離されたアテンションマスクは、各プロンプトを対応するローカルコンテキストに制限しつつ、文書トークン間の情報フローを保存する。 次に、これらのプロンプトによって引き起こされる注意パターンを用いて、トークンの重要度を推定し、情報的トークンを選択し、それらの中間層表現を最終埋め込みに集約する。 長期コンテキスト埋め込みベンチマークに関する大規模な実験により、SCSPはゼロショットモデルとファインチューニングモデルの両方にプラグイン・アンド・プレイ方式で統合でき、その性能が一貫して向上することを示した。

関連論文リスト

• Beyond Token Scale: Chunk-Level Sparse Autoencoders for Reliable Semantic Feature Discovery [31.533455413979357]
  スパースオートエンコーダ(SAE)は,言語モデルの理解とステアリングを支援する機能を公開するが,忠実な再構築は情報的概念を保証するものではない。 チャンク上の平均プール活性化をエンコードするチャンクレベルのSAEのファミリーを導入します。 一致したトレーニングデータでは、チャンクレベルのSAEは信頼性のあるセマンティック機能を学びながら、強力な解釈可能性ツールのままである。
  論文  参考訳（メタデータ） (2026-09-28T16:11:30Z)
• Token Reduction via Local and Global Contexts Optimization for Efficient Video Large Language Models [61.11154533305096]
  ビデオ大言語モデル(VLLM)は、強力なビデオ理解を示すが、冗長な視覚トークンによる非効率性に悩まされる。 フレーム内およびフレーム間コンテキスト内でトークン textbfAnchors を詳述する新しい視点を提案する。 提案するAOTは,先行するビデオLLMのショート・ビデオベンチマークとロング・ビデオベンチマークの競合性能を比較検討する。
  論文  参考訳（メタデータ） (2026-03-02T03:06:40Z)
• Multi-Vector Index Compression in Any Modality [73.7330345057813]
  後期の相互作用は、テキスト、画像、ビジュアルドキュメント、ビデオにおける情報検索の主要なパラダイムとして現れてきた。 インデックス圧縮には,シーケンスリサイズ,メモリトークン,階層プール,新しいアテンション誘導クラスタリング(AGC)の4つのアプローチを導入する。 AGCは、ドキュメントの最もセマンティックな領域をクラスタセントロイドとして識別し、トークンの集合を重み付けするために注意誘導機構を使用する。
  論文  参考訳（メタデータ） (2026-02-24T18:57:33Z)
• Context Compression via Explicit Information Transmission [25.078241611630585]
  大規模言語モデル(LLM)による長文推論は、二次的な注意とキー値キャッシュの増加によってコストがかかる。 ソフト圧縮を新しいパラダイムに定式化する軽量フレームワークComprExITを提案する。
  論文  参考訳（メタデータ） (2026-02-03T17:44:12Z)
• AdmTree: Compressing Lengthy Context with Adaptive Semantic Trees [66.39371821756649]
  適応的で階層的なコンテキスト圧縮のための新しいフレームワークであるAdmTreeを提案する。 AdmTreeは情報密度に基づいて入力されたセグメントをgistトークンを利用して、可変長のセグメントをセマンティックバイナリツリーの葉として要約する。 グローバルなセマンティックコヒーレンスと共に細かな詳細を保存し、位置バイアスを緩和し、コンテンツに動的に適応することによって、AdmTreeは長いコンテキストのセマンティック情報をしっかりと保持する。
  論文  参考訳（メタデータ） (2025-12-04T08:04:19Z)
• Hierarchical Token Prepending: Enhancing Information Flow in Decoder-based LLM Embeddings [52.49524240846879]
  本稿では,注目レベルの圧縮と読み出しレベルのオーバーシャッシングを緩和する階層型トークンプレッペンディングを提案する。 HTPは、入力をブロックに分割し、ブロックレベルの要約トークンをその後のブロックにプリペンドし、後方情報フローの経路を作成する。 シンプルなアーキテクチャに依存しない方法として、HTPはゼロショットモデルと微調整モデルの両方を強化し、優れた長期文書埋め込みへのスケーラブルなルートを提供する。
  論文  参考訳（メタデータ） (2025-11-18T19:37:40Z)
• Context-Aware Hierarchical Merging for Long Document Summarization [56.96619074316232]
  本論文では,階層的なマージをソース文書からコンテキストと統合する手法を提案する。 法的および物語的領域を表すデータセットの実験結果は、文脈的拡張がゼロショットと階層的な融合ベースラインを一貫して上回っていることを示している。
  論文  参考訳（メタデータ） (2025-02-03T01:14:31Z)
• Reconstruct Before Summarize: An Efficient Two-Step Framework for Condensing and Summarizing Meeting Transcripts [32.329723001930006]
  本稿では,効率的なミーティング要約のための2段階のフレームワークであるReconstruct before Summarize (RbS)を提案する。 RbSは、まず自己管理パラダイムを利用して、ミーティングの書き起こしを再構築することで、本質的な内容に注釈を付ける。 次に,相対的な位置バケット化(RPB)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-05-13T19:54:46Z)
• Summarize, Outline, and Elaborate: Long-Text Generation via Hierarchical Supervision from Extractive Summaries [46.183289748907804]
  長文生成のためのアウトライン化,アウトライン化,エラボレートを行うパイプラインシステムSOEを提案する。 SOEは、より高速な収束速度とともに、非常に優れた品質の長いテキストを生成する。
  論文  参考訳（メタデータ） (2020-10-14T13:22:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。