論文の概要: Beyond Position Bias: Shifting Context Compression from Position-Driven to Semantic-Driven
- arxiv url: http://arxiv.org/abs/2605.09463v1
- Date: Sun, 10 May 2026 10:27:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-12 23:28:50.263894
- Title: Beyond Position Bias: Shifting Context Compression from Position-Driven to Semantic-Driven
- Title（参考訳）: 位置バイアスを超えて - コンテキスト圧縮を位置駆動から意味駆動に移行する
- Authors: Jiwei Tang, Zhijing Huang, Xinyu Zhang, Chen Jason Zhang, Jianxing Yu, Libin Zheng, Rui Meng, Jian Yin,
- Abstract要約: 本研究では,セマンティック一貫性コンテキスト圧縮(SeCo)を提案し,文脈圧縮を位置駆動から意味駆動にシフトさせる。
SeCoはセマンティックスペースに直接圧縮をアンロックし、クエリ関連トークンをセマンティックセンタとして選択し、一貫性に富んだマージを通じて残りのトークンを集約する。
2つのバックボーンモデルにわたる14のベンチマークの実験では、SeCoはダウンストリームタスク、推論レイテンシ、ドメイン外ロバスト性において一貫して優位性を示している。
- 参考スコア（独自算出の注目度）: 29.529567988660872
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large Language Models (LLMs) have demonstrated exceptional performance across diverse tasks. However, their deployment in long-context scenarios faces high computational overhead and information redundancy. While soft prompt compression has emerged as a promising way to mitigate these costs by compressing sequences into compact embeddings, existing paradigms remain fundamentally constrained by position bias: they primarily rely on learnable tokens insertion at fixed positions or group tokens according to their physical token layout, thereby inducing performance instability and semantic fragmentation. To overcome this bottleneck, we propose Semantic Consistency Context Compression (SeCo), a method that shifts context compression from position-driven to semantic-driven. Rather than constraint by physical token layout, SeCo dynamically anchors compression directly in the semantic space by selecting query-relevant tokens as semantic centers and aggregating remaining tokens via consistency-weighted merging. This design inherently preserves semantic consistency while eliminating position bias. Extensive experiments on 14 benchmarks across two backbone models demonstrate that SeCo consistently shows superiority in downstream tasks, inference latency, and out-of-domain robustness. The code is available at https://anonymous.4open.science/r/seco-EE5E.
- Abstract（参考訳）: 大規模言語モデル(LLM)は、様々なタスクにまたがる例外的なパフォーマンスを示している。
しかし、長いコンテキストシナリオにおけるそれらの展開は、高い計算オーバーヘッドと情報冗長性に直面している。
ソフトプロンプト圧縮は、シーケンスをコンパクトな埋め込みに圧縮することでこれらのコストを軽減するための有望な方法として現れてきたが、既存のパラダイムは、位置バイアスによって基本的に制約されている。
このボトルネックを克服するために、文脈圧縮を位置駆動から意味駆動にシフトさせるセマンティック一貫性コンテキスト圧縮(SeCo)を提案する。
物理的なトークンレイアウトによって制約されるのではなく、セコは、クエリ関連トークンをセマンティックセンタとして選択し、一貫性に富んだマージを通じて残りのトークンを集約することで、セマンティックスペースに直接圧縮をアンロックする。
この設計は、位置バイアスを排除しながら意味的一貫性を本質的に保持する。
2つのバックボーンモデルにわたる14のベンチマークに関する大規模な実験は、SeCoがダウンストリームタスク、推論レイテンシ、ドメイン外ロバスト性において一貫して優位性を示していることを示している。
コードはhttps://anonymous.4open.science/r/seco-EE5Eで公開されている。
関連論文リスト
- Evading Visual Aphasia: Contrastive Adaptive Semantic Token Pruning for Vision-Language Models [52.78477729846771]
本稿では,COAST(Contrastive Adaptive Semantic Token Pruning)について紹介する。
COASTはトークン予算をまたいだ強力なプルーニングベースラインを一貫して上回り、複数のLVLMファミリをまたいだ一般化を実現している。
論文 参考訳（メタデータ） (2026-05-10T09:07:04Z) - Density-aware Soft Context Compression with Semi-Dynamic Compression Ratio [19.375601589555327]
本稿では,Semi-Dynamic Context Compressionフレームワークを紹介する。
本手法では,固有情報密度に基づいて圧縮目標を予測する離散比セレクタを特徴とする。
私たちのフレームワークは、静的なベースラインを一貫して上回ります。
論文 参考訳（メタデータ） (2026-03-26T21:36:55Z) - SemantiCache: Efficient KV Cache Compression via Semantic Chunking and Clustered Merging [14.82266992933174]
SemantiCacheはセマンティックな整合性を維持する新しい圧縮フレームワークである。
まず、キャッシュを意味的に一貫性のあるチャンクに分割します。
各チャンク内には,トークンをセマンティッククラスタにグループ化するGreedy Seed-Based Clustering (GSC)アルゴリズムが導入されている。
これらのクラスタはさらにセマンティックコアにマージされ、Proportional Attentionメカニズムによって強化される。
論文 参考訳（メタデータ） (2026-03-15T09:36:25Z) - CORE: Context-Robust Remasking for Diffusion Language Models [51.59514489363897]
我々は、推論時リビジョンのためのトレーニング不要フレームワークであるContext-Robust Remasking (CORE)を提案する。
静的トークンの確率を信頼するのではなく、COREは、ターゲットとなるマスク付きコンテキストの摂動に対する感受性を示すことによって、コンテキスト不安定なトークンを識別する。
LLaDA-8B-Baseでは、COREは推論とコードベンチマークの間で一貫した改善を行い、計算に適合したベースラインを上回り、MBPPを最大9.2%改善した。
論文 参考訳（メタデータ） (2026-02-04T00:12:30Z) - Beyond Tokens: Semantic-Aware Speculative Decoding for Efficient Inference by Probing Internal States [14.780400014944926]
大規模言語モデル(LLM)は多くのタスクで高いパフォーマンスを達成するが、自動回帰復号化による高い推論遅延に悩まされる。
トークンの代わりにセマンティックシークエンス全体を検証するセマンティックス(SemanticSpec)を提案する。
論文 参考訳（メタデータ） (2026-02-03T16:30:30Z) - Semantic Compression via Multimodal Representation Learning [18.229658255981505]
マルチモーダル表現学習は、共有潜在空間における様々なモダリティを整列させる埋め込みを生成する。
鍵となるオープンな問題は、セマンティック圧縮を実現する方法であり、マルチモーダル埋め込みのメモリフットプリントを減らすことである。
学習後セマンティック圧縮の実現可能性とモダリティギャップの低減との間には,強い関係があることを実証する。
論文 参考訳（メタデータ） (2025-09-29T08:16:38Z) - Semantic Concentration for Self-Supervised Dense Representations Learning [103.10708947415092]
イメージレベルの自己教師型学習(SSL)は大きな進歩を遂げているが、パッチの密度の高い表現を学ぶことは依然として難しい。
この研究は、画像レベルのSSLが暗黙のセマンティックな集中を伴って過分散を避けることを明らかにしている。
論文 参考訳（メタデータ） (2025-09-11T13:12:10Z) - Hierarchical Semantic Compression for Consistent Image Semantic Restoration [62.97519327310638]
生成モデルから固有意味空間内で純粋に機能する新しい階層意味圧縮(HSC)フレームワークを提案する。
実験の結果,提案したHSCフレームワークは人間の視力に対する主観的品質と一貫性に関する最先端の性能を実現することが示された。
論文 参考訳（メタデータ） (2025-02-24T03:20:44Z) - DAST: Context-Aware Compression in LLMs via Dynamic Allocation of Soft Tokens [20.044306399439265]
LLM(Large Language Models)は、長いコンテキスト入力を扱う際に、計算の非効率性と冗長な処理に直面する。
我々は,LLMの文脈関連性に関する本質的な理解を活用して圧縮を誘導する簡易かつ効果的な手法であるDAST(Dynamic Allocation of Soft Tokens)を提案する。
複数のベンチマークでの実験結果から、DASTが最先端の手法を超越していることが示されている。
論文 参考訳（メタデータ） (2025-02-17T06:55:13Z) - Position IDs Matter: An Enhanced Position Layout for Efficient Context Compression in Large Language Models [34.92897341188079]
文脈情報を圧縮するために特別なトークンを使うことは、大規模言語モデル(LLM)の一般的な慣習である。
位置IDの調整のみでLLMの文脈圧縮能力を向上させる手法であるtextbfEnhanced Position Layout (EPL) を提案する。
論文 参考訳（メタデータ） (2024-09-22T08:51:18Z) - Spatial Semantic Recurrent Mining for Referring Image Segmentation [63.34997546393106]
高品質なクロスモーダリティ融合を実現するために,Stextsuperscript2RMを提案する。
これは、言語特徴の分散、空間的意味的再帰的分離、パーセマンティック・セマンティック・バランシングという三部作の作業戦略に従う。
提案手法は他の最先端アルゴリズムに対して好適に機能する。
論文 参考訳（メタデータ） (2024-05-15T00:17:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。