論文の概要: A Voronoi Cell Formulation for Principled Token Pruning in Late-Interaction Retrieval Models

• arxiv url: http://arxiv.org/abs/2603.09933v1
• Date: Tue, 10 Mar 2026 17:28:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-11 15:25:24.502374
• Title: A Voronoi Cell Formulation for Principled Token Pruning in Late-Interaction Retrieval Models
• Title（参考訳）: 遅延相互作用検索モデルにおける原理的トーケンプルーニングのためのボロノイセルの定式化
• Authors: Yash Kankanampati, Yuxuan Zong, Nadi Tomeh, Benjamin Piwowarksi, Joseph Le Roux,
• Abstract要約: ColBERTのような後期インタラクションモデルでは、各ドキュメントトークンに密着した埋め込みを格納する必要がある。 過去の研究は、統計的および経験的尺度に基づいて、低重要トークンの埋め込みを創り出すことによって、この問題に対処している。 埋め込み空間におけるボロノイセル推定問題として,超空間幾何学と鋳型トークンプルーニングを基礎としたフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 8.112078916511518
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Late-interaction models like ColBERT offer a competitive performance across various retrieval tasks, but require storing a dense embedding for each document token, leading to a substantial index storage overhead. Past works address this by attempting to prune low-importance token embeddings based on statistical and empirical measures, but they often either lack formal grounding or are ineffective. To address these shortcomings, we introduce a framework grounded in hyperspace geometry and cast token pruning as a Voronoi cell estimation problem in the embedding space. By interpreting each token's influence as a measure of its Voronoi region, our approach enables principled pruning that retains retrieval quality while reducing index size. Through our experiments, we demonstrate that this approach serves not only as a competitive pruning strategy but also as a valuable tool for improving and interpreting token-level behavior within dense retrieval systems.
• Abstract（参考訳）: ColBERTのような後期インタラクションモデルは、さまざまな検索タスク間で競合するパフォーマンスを提供するが、各ドキュメントトークンに密着した埋め込みを格納する必要があるため、インデックスストレージのオーバーヘッドはかなり大きい。 過去の研究は、統計的および経験的尺度に基づく低重要トークンの埋め込みを創り出すことによってこの問題に対処したが、それらはしばしば正式な根拠を欠いているか、効果がないかのどちらかである。 これらの欠点に対処するために、埋め込み空間におけるボロノイセル推定問題として、ハイパースペース幾何学とキャストトークンプルーニングを基盤としたフレームワークを導入する。 トークンの影響をボロノイ地域の指標として解釈することにより,索引サイズを小さくしながら,検索品質を保ちつつ,原則的プルーニングを可能にする。 実験により,本手法は,競争力のある刈り取り戦略だけでなく,高密度検索システムにおけるトークンレベルの振る舞いを改良・解釈するための貴重なツールとしても機能することを示した。

関連論文リスト

• Greedy Is Enough: Sparse Action Discovery in Agentic LLMs [11.62669179647184]
  経験的証拠は、少数のアクションだけが、所定のデプロイメントのパフォーマンスに有意義に影響を及ぼすことを示唆している。 この観察によって動機づけられた行動が構造化された空間性仮定によって制御される文脈線形報酬モデルについて検討する。 本研究は,スパース行動発見を大アクション意思決定の基礎となる基本原理とみなす。
  論文  参考訳（メタデータ） (2026-01-13T07:15:32Z)
• Bayesian Pliable Lasso with Horseshoe Prior for Interaction Effects in GLMs with Missing Responses [0.0]
  そこで本研究では,馬靴などの疎水性前駆体を主作用と相互作用効果の両方に配置する,信頼性の高いラッソを提案する。 我々の枠組みは、スパース、解釈可能な相互作用構造、および不確実性の原則的尺度を導出する。 本手法は,Githubで公開されている Texttthspliable パッケージに実装されている。
  論文  参考訳（メタデータ） (2025-09-09T08:28:21Z)
• Multiply Robust Conformal Risk Control with Coarsened Data [0.0]
  コンフォーマル予測(CP)は近年,膨大な関心を集めている。 本稿では、粗いデータから得られる結果に対して、分布自由な有効予測領域を得るという一般的な問題について考察する。 半パラメトリック理論の原則的利用は、フレキシブルな機械学習手法の促進の鍵となる利点を持つ。
  論文  参考訳（メタデータ） (2025-08-21T12:14:44Z)
• Beyond Progress Measures: Theoretical Insights into the Mechanism of Grokking [50.465604300990904]
  グロキング(Grokking)とは、オーバーフィッティングの拡張後のテスト精度の急激な改善を指す。 本研究では、素数演算のタスクにおいて、Transformerの基盤となるグルーキング機構について検討する。
  論文  参考訳（メタデータ） (2025-04-04T04:42:38Z)
• Anti-Collapse Loss for Deep Metric Learning Based on Coding Rate Metric [99.19559537966538]
  DMLは、分類、クラスタリング、検索といった下流タスクのための識別可能な高次元埋め込み空間を学習することを目的としている。 埋め込み空間の構造を維持し,特徴の崩壊を避けるために,反崩壊損失と呼ばれる新しい損失関数を提案する。 ベンチマークデータセットの総合実験により,提案手法が既存の最先端手法より優れていることを示す。
  論文  参考訳（メタデータ） (2024-07-03T13:44:20Z)
• Predictive Inference in Multi-environment Scenarios [18.324321417099394]
  有効な信頼区間を構築するという課題に対処し、複数の環境にまたがる予測の問題に対処する。 我々は、非伝統的で階層的なデータ生成シナリオにおいて、分散のないカバレッジを得る方法を示すために、Jackknifeとsplit-conformalメソッドを拡張します。 コントリビューションには、非実測値応答の設定の拡張、これらの一般的な問題における予測推論の一貫性の理論、条件付きカバレッジの限界に関する洞察が含まれる。
  論文  参考訳（メタデータ） (2024-03-25T00:21:34Z)
• A Fixed-Point Approach to Unified Prompt-Based Counting [51.20608895374113]
  本研究の目的は,ボックス,ポイント,テキストなど,さまざまなプロンプト型で示されるオブジェクトの密度マップを生成することができる包括的プロンプトベースのカウントフレームワークを確立することである。 本モデルは,クラスに依存しない顕著なデータセットに優れ,データセット間の適応タスクにおいて優れた性能を示す。
  論文  参考訳（メタデータ） (2024-03-15T12:05:44Z)
• Adaptive Cross Batch Normalization for Metric Learning [75.91093210956116]
  メトリクス学習はコンピュータビジョンの基本的な問題である。 蓄積した埋め込みが最新であることを保証することは、同様に重要であることを示す。 特に、蓄積した埋め込みと現在のトレーニングイテレーションにおける特徴埋め込みとの間の表現的ドリフトを回避する必要がある。
  論文  参考訳（メタデータ） (2023-03-30T03:22:52Z)
• ROME: Robustifying Memory-Efficient NAS via Topology Disentanglement and Gradient Accumulation [106.04777600352743]
  微分可能なアーキテクチャサーチ(DARTS)は、スーパーネット全体がメモリに格納されているため、メモリコストが大幅に低下する。 シングルパスのDARTSが登場し、各ステップでシングルパスのサブモデルのみを選択する。 メモリフレンドリーだが、計算コストも低い。 RObustifying Memory-Efficient NAS (ROME) と呼ばれる新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-11-23T06:34:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。