論文の概要: EigenLI: Spectral Approximations to Late Interaction
- arxiv url: http://arxiv.org/abs/2609.07561v1
- Date: Mon, 07 Sep 2026 14:41:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-10 19:44:08.446096
- Title: EigenLI: Spectral Approximations to Late Interaction
- Title（参考訳）: EigenLI: 遅延相互作用に対するスペクトル近似
- Abstract要約: ColBERTのような後期相互作用モデルは、多くのトークンレベルのベクトルで各ドキュメントを表現することで、強力な効果を達成する。
遅延相互作用表現は本質的な低ランク構造を示す。
文書固有の低次元部分空間を介して遅延相互作用表現を圧縮するフレームワークであるEigenLIを紹介する。
- 参考スコア（独自算出の注目度）: 13.000297745808107
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Late-interaction models such as ColBERT achieve strong effectiveness by representing each document with many token-level vectors, but this expressivity leads to large indexing cost, storage footprints and expensive MaxSim scoring. We show that late-interaction representations exhibit an intrinsic low-rank structure: document token embeddings concentrate in a low-dimensional subspace that preserves most of the retrieval signal. Leveraging this observation, we introduce EigenLI, a spectral approximation framework that compresses late-interaction representations via document-specific low-dimensional subspaces. Unlike clustering or pooling methods, EigenLI identifies the dominant eigendirections of each document and uses them to construct reduced interaction representations. Empirically, $k$-EigenLI with $k \le 32$ outperforms k-means and Ward clustering based pooling methods on ColBERTv2 and AnswerAI-ColBERT-small; GTE-ModernColBERT exhibits a different tradeoff at $k=32$, where clustering methods perform better. The same spectral construction also yields EigenLI-SV, an ANN-compatible single-vector representation derived from the second-order summary of the reduced structure. Across multiple datasets and all three text models, EigenLI-SV consistently outperforms comparable single-vector surrogates such as MUVERA.
- Abstract（参考訳）: ColBERTのような後期相互作用モデルは、各文書を多くのトークンレベルのベクトルで表すことで強力な効果を発揮するが、この表現性はインデックス作成コスト、ストレージフットプリント、高価なMaxSimスコアに繋がる。
文書トークンの埋め込みは、検索信号のほとんどを保存する低次元部分空間に集中している。
この観察を生かしたEigenLIは、文書固有の低次元部分空間を介して遅延相互作用表現を圧縮するスペクトル近似フレームワークである。
クラスタリングやプール法とは異なり、EigenLIは各ドキュメントの優越的な固有方向を識別し、それらを使用して、縮小された相互作用表現を構築する。
実証的に、$k$-EigenLI with $k \le 32$は、ColBERTv2とAnswerAI-ColBERT-small上のk-meansとWardクラスタリングベースのプールメソッドより優れている。
同じスペクトル構成により、縮小された構造の2階の要約から派生したANN互換の単ベクトル表現であるEigenLI-SVが得られる。
複数のデータセットと3つのテキストモデルにまたがって、EigenLI-SVはMUVERAのような同等の単一ベクトルサロゲートを一貫して上回っている。
関連論文リスト
- Hyper-Fold: Exploring the Expressive Limit of Sequence-Geometry Learning for Proteins via Hypergraph Modeling [55.36837305276515]
コンテント幾何学的外積に対する完全双線型作用素、すなわち2階の相互作用の十分統計は、表現的天井であることを示す。
次に、メッセージパッシングコストで天井に近づく、ランク-K分離可能な畳み込みバックボーンであるHyper-Foldを紹介します。
論文 参考訳（メタデータ） (2026-08-29T11:43:25Z) - Weight-Informed Self-Explaining Clustering for Mixed-Type Tabular Data [63.62853416081748]
WISEは表現、特徴重み付け、クラスタリング、解釈を統一するフレームワークである。
クラスタリングを駆動する同じプリミティブに根ざした、忠実で人間解釈可能な説明を生成する。
論文 参考訳（メタデータ） (2026-04-07T13:18:31Z) - Multi-Vector Index Compression in Any Modality [73.7330345057813]
後期の相互作用は、テキスト、画像、ビジュアルドキュメント、ビデオにおける情報検索の主要なパラダイムとして現れてきた。
インデックス圧縮には,シーケンスリサイズ,メモリトークン,階層プール,新しいアテンション誘導クラスタリング(AGC)の4つのアプローチを導入する。
AGCは、ドキュメントの最もセマンティックな領域をクラスタセントロイドとして識別し、トークンの集合を重み付けするために注意誘導機構を使用する。
論文 参考訳（メタデータ） (2026-02-24T18:57:33Z) - CSMCIR: CoT-Enhanced Symmetric Alignment with Memory Bank for Composed Image Retrieval [54.15776146365823]
Composed Image Retrieval (CIR)では、ユーザーは参照画像と操作テキストの両方を使用してターゲットイメージを検索できる。
CSMCIRは3つの相乗的コンポーネントを通して効率的なクエリターゲットアライメントを実現する統一表現フレームワークである。
論文 参考訳（メタデータ） (2026-01-07T09:21:38Z) - From Graphs to Hypergraphs: Enhancing Aspect-Based Sentiment Analysis via Multi-Level Relational Modeling [0.04349640169711269]
サンプル固有階層クラスタリングによりアスペクトオピニオン構造を誘導する動的ハイパーグラフフレームワークであるHyperABSAを提案する。
3つのベンチマークの実験では、強力なグラフベースラインよりも一貫した改善が見られた。
論文 参考訳（メタデータ） (2025-11-18T05:01:25Z) - Sharper Error Bounds in Late Fusion Multi-view Clustering Using Eigenvalue Proportion [19.46433323866636]
マルチビュークラスタリング(MVC)は、クラスタリング性能を向上させるために、複数のビューから補完的な情報を統合することを目的としている。
本稿では,複数カーネル$k$-meansの一般化誤差境界を解析するための新しい理論的枠組みを提案する。
雑音と冗長性を軽減するために,複数線形$k$-meansフレームワーク内の低域グラフフィルタリング方式を提案する。
論文 参考訳（メタデータ） (2024-12-24T06:24:08Z) - Semantic Equitable Clustering: A Simple and Effective Strategy for Clustering Vision Tokens [57.37893387775829]
我々はSemantic Equitable Clustering(SEC)という,高速かつバランスの取れたクラスタリング手法を導入する。
SECは、グローバルなセマンティックな関連性に基づいてトークンを効率的かつ直接的な方法でクラスタ化する。
視覚言語コネクタとして機能する汎用視覚バックボーンであるSECViTを提案する。
論文 参考訳（メタデータ） (2024-05-22T04:49:00Z) - Efficient and Effective Deep Multi-view Subspace Clustering [9.6753782215283]
E$2$MVSC(Efficient and Effective Deep Multi-View Subspace Clustering)と呼ばれる新しいディープフレームワークを提案する。
パラメータ化されたFC層の代わりに、より計算効率のよいサンプル数からネットワークパラメータスケールを分離するRelation-Metric Netを設計する。
E$2$MVSCは既存のメソッドに匹敵する結果を出し、様々なタイプのマルチビューデータセットで最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2023-10-15T03:08:25Z) - Revisiting the Evaluation of Image Synthesis with GANs [55.72247435112475]
本研究では, 合成性能の評価に関する実証的研究を行い, 生成モデルの代表としてGAN(Generative Adversarial Network)を用いた。
特に、表現空間におけるデータポイントの表現方法、選択したサンプルを用いた公平距離の計算方法、各集合から使用可能なインスタンス数など、さまざまな要素の詳細な分析を行う。
論文 参考訳（メタデータ） (2023-04-04T17:54:32Z) - Adaptively-weighted Integral Space for Fast Multiview Clustering [54.177846260063966]
線形複雑度に近い高速マルチビュークラスタリングのための適応重み付き積分空間(AIMC)を提案する。
特に、ビュー生成モデルは、潜在積分空間からのビュー観測を再構成するために設計されている。
いくつかの実世界のデータセットで実施された実験は、提案したAIMC法の優位性を確認した。
論文 参考訳（メタデータ） (2022-08-25T05:47:39Z) - Contrastive Multi-view Hyperbolic Hierarchical Clustering [33.050054725595736]
対比多視点ハイパーボリック階層クラスタリング(CMHHC)を提案する。
マルチビューアライメント学習、アライメントされた特徴類似学習、連続的な双曲的階層的クラスタリングという3つのコンポーネントで構成されている。
5つの実世界のデータセットに対する実験結果から,提案手法の有効性が示された。
論文 参考訳（メタデータ） (2022-05-05T12:56:55Z) - Auto-weighted low-rank representation for clustering [46.37795101850834]
クラスタリングのためのより好ましい類似度グラフ (SG) を構築するために, 自動重み付き低ランク表現 (ALRR) を提案する。
特にALRRは、マルチサブスペース構造を捕捉し、同時にサラエント特徴を抽出することにより、SGの識別性を高めます。
論文 参考訳（メタデータ） (2021-04-26T01:37:26Z) - Spatial-Spectral Clustering with Anchor Graph for Hyperspectral Image [88.60285937702304]
本稿では、HSIデータクラスタリングのための空間スペクトルクラスタリングとアンカーグラフ(SSCAG)という新しい非監視アプローチを提案する。
提案されたSSCAGは最先端のアプローチと競合する。
論文 参考訳（メタデータ） (2021-04-24T08:09:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。