論文の概要: FLINT: Fixed-budget Late Interaction

• arxiv url: http://arxiv.org/abs/2610.27273v1
• Date: Mon, 19 Oct 2026 20:46:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.498549
• Title: FLINT: Fixed-budget Late Interaction
• Title（参考訳）: FLINT: 固定予算の遅延インタラクション
• Abstract要約: ColBERTのようなマルチベクター検索モデルは、トークンレベルでクエリとドキュメントをマッチングすることで、同等のスケールの単一ベクターモデルより優れていることが多い。 FLINTは、各クエリとドキュメントを一定数の埋め込みベクトルで表現するために、アテンションベースのプーリングを使用するアーキテクチャである。
• 参考スコア（独自算出の注目度）: 28.251222421114758
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multi-vector retrieval models such as ColBERT often outperform single-vector models of comparable scale by matching queries and documents at the token level. However, retaining a vector for every token substantially increases storage requirements and slows retrieval compared to single-vector bi-encoders, limiting their scalability. We introduce FLINT (Fixed-budget Late INTeraction), an architecture that uses attention-based pooling to represent each query and document with a fixed number of embedding vectors. Unlike architectures that pool only document representations while retaining token-level queries, FLINT applies pooling symmetrically to both sides, limiting document storage and the number of vector comparisons needed during retrieval. FLINT achieves comparable ranking effectiveness to the closest baselines on BEIR and outperforms them on several benchmarks with longer and more complex queries, including BrowseComp+, CRUMB, and TREC Tip-of-the-Tongue 2025. We demonstrate that FLINT's effectiveness-efficiency benefits extend across encoder architectures, testing it on two separate backbones (BERT and ModernBERT). On long-query corpora, FLINT delivers 1.5-2.8 times faster end-to-end retrieval than ConstBERT, the closest baseline. FLINT also reduces index size by 5.3-9.3 times relative to token-level late-interaction models such as ColBERTv2.
• Abstract（参考訳）: ColBERTのようなマルチベクター検索モデルは、トークンレベルでクエリとドキュメントをマッチングすることで、同等のスケールの単一ベクターモデルより優れていることが多い。 しかし、トークンごとにベクトルを保持することでストレージ要件が大幅に増加し、単一ベクトルバイエンコーダに比べて検索が遅くなり、スケーラビリティが制限される。 FLINT (Fixed-budget Late INTeraction) は、各クエリとドキュメントを一定数の埋め込みベクトルで表現するためにアテンションベースのプーリングを使用するアーキテクチャである。 トークンレベルのクエリを保持しながら文書表現のみをプールするアーキテクチャとは異なり、FLINTは文書ストレージの制限と検索に必要なベクトル比較の回数を制限して、両側に対称にプールを適用する。 FLINTはBEIRの最も近いベースラインに匹敵する性能を達成し、BrowseComp+、CRUMB、TREC Tip-of-the-Tongue 2025など、より長く複雑なクエリを持つベンチマークで性能を向上している。 FLINTの有効性と効率性はエンコーダアーキテクチャ全体にわたって拡張され、2つの異なるバックボーン(BERTとModernBERT)でテストされる。 長周期コーパスでは、FLINTは最も近いベースラインであるConstBERTよりも1.5-2.8倍高速なエンドツーエンド検索を提供する。 FLINTはまた、ColBERTv2のようなトークンレベルの遅延処理モデルと比較してインデックスサイズを5.3-9.3倍削減する。

関連論文リスト

• Graph-to-Table Interfaces Control Relational Generalisation [57.54393003704323]
  1つのコンポーネントに関する結論は、他のコンポーネントが変更されたときに変わる可能性があることを示す。 CLUTRRでは、絶対位置符号化は評価されたクエリ間の全ての区別を維持し、ショートパス設定にほぼ完全に適合する。 GraphLogでは、エンコーダの好みはデコーダに依存し、関係数表現はCatBoostツリーの深さが増加するにつれて低下する。
  論文  参考訳（メタデータ） (2026-10-19T08:18:32Z)
• Cascaded Retrieval with Cross-Modal Query Refinement for Efficient Visual Document Search [54.48124421246385]
  現在の視覚言語レトリバーは、コーパスサイズとともに成長し、スケールすることができないクエリ時間コストを発生させる。 本稿では,検索性能を徹底検索から分離する2トラック検索フレームワークSCOUTを提案する。 SCOUTを4つの主要なベンチマークで評価し、最高のベースラインに対して80.7倍(平均28.8倍)のクエリ時間遅延改善を観測した。
  論文  参考訳（メタデータ） (2026-10-14T15:40:27Z)
• Col-Bandit: Zero-Shot Query-Time Pruning for Late-Interaction Retrieval [2.159285655678094]
  Col-Banditは、Pop-K$識別問題として再ランク付けすることで、この計算負担を軽減するクエリ時プルーニングアルゴリズムである。 ドキュメント全体やトークンをオフラインにプルークする粗い粒度のアプローチとは異なり、Col-Banditはオンザフライで相互作用行列をスペーサーする。 実験の結果、Col-Bandit は MaxSim FLOPs を最大 5$times$ まで下げながらランキングの忠実さを保っていることがわかった。
  論文  参考訳（メタデータ） (2026-02-02T21:27:01Z)
• Hierarchical Token Prepending: Enhancing Information Flow in Decoder-based LLM Embeddings [52.49524240846879]
  本稿では,注目レベルの圧縮と読み出しレベルのオーバーシャッシングを緩和する階層型トークンプレッペンディングを提案する。 HTPは、入力をブロックに分割し、ブロックレベルの要約トークンをその後のブロックにプリペンドし、後方情報フローの経路を作成する。 シンプルなアーキテクチャに依存しない方法として、HTPはゼロショットモデルと微調整モデルの両方を強化し、優れた長期文書埋め込みへのスケーラブルなルートを提供する。
  論文  参考訳（メタデータ） (2025-11-18T19:37:40Z)
• DGAI: Decoupled On-Disk Graph-Based ANN Index for Efficient Updates and Queries [14.147837695174722]
  オンディスクグラフに基づくインデックスは、大規模で高次元のベクトルに対する近接近接探索システム(ANN)において広く使われている。 インデックス内にベクトルを格納する従来の結合ストレージ方式は、インデックス更新に非効率である。 本稿では,疎結合型ストレージアーキテクチャを提案するが,疎結合型アーキテクチャはクエリ性能を低下させる。
  論文  参考訳（メタデータ） (2025-10-29T11:20:10Z)
• Efficient Document Ranking with Learnable Late Interactions [73.41976017860006]
  クロスエンコーダ(CE)とデュアルエンコーダ(DE)モデルは,情報検索におけるクエリドキュメント関連性の2つの基本的なアプローチである。 関連性を予測するため、CEモデルは共同クエリドキュメントの埋め込みを使用し、DEモデルは分解クエリとドキュメントの埋め込みを維持している。 近年、DEM構造と軽量スコアラを用いて、より好ましいレイテンシ品質のトレードオフを実現するために、遅延相互作用モデルが提案されている。
  論文  参考訳（メタデータ） (2024-06-25T22:50:48Z)
• CITADEL: Conditional Token Interaction via Dynamic Lexical Routing for Efficient and Effective Multi-Vector Retrieval [72.90850213615427]
  マルチベクター検索法はスパース(例えばBM25)と高密度(例えばDPR)レトリバーの利点を組み合わせたものである。 これらの手法は桁違いに遅く、単ベクトルの手法に比べてインデックスを格納するのにはるかに多くのスペースを必要とする。 動的語彙ルーティング(CITADEL)による条件付きトークンの相互作用を,効率的かつ効率的なマルチベクタ検索のために提案する。
  論文  参考訳（メタデータ） (2022-11-18T18:27:35Z)
• Long Document Summarization with Top-down and Bottom-up Inference [113.29319668246407]
  本稿では、2つの側面の要約モデルを改善するための原則的推論フレームワークを提案する。 我々のフレームワークは、トップレベルが長距離依存性をキャプチャするドキュメントの階層的な潜在構造を前提としています。 本稿では,様々な要約データセットに対して提案手法の有効性を示す。
  論文  参考訳（メタデータ） (2022-03-15T01:24:51Z)
• ColBERT: Efficient and Effective Passage Search via Contextualized Late Interaction over BERT [24.288824715337483]
  ColBERTは、ディープLMを効率的な検索に適応させる新しいランキングモデルである。 我々は最近の2つの経路探索データセットを用いてColBERTを広範囲に評価した。
  論文  参考訳（メタデータ） (2020-04-27T14:21:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。