論文の概要: ColBERT-Att: Late-Interaction Meets Attention for Enhanced Retrieval

• arxiv url: http://arxiv.org/abs/2603.25248v1
• Date: Thu, 26 Mar 2026 09:51:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-27 20:52:48.223218
• Title: ColBERT-Att: Late-Interaction Meets Attention for Enhanced Retrieval
• Title（参考訳）: ColBERT-Att: 遅延インタラクションが検索の強化に留意
• Authors: Raj Nath Patel, Sourav Dutta,
• Abstract要約: この研究はColBERT-Attを提案し、注意機構を遅延相互作用フレームワークに明示的に統合し、検索性能を向上する。 ColBERT-Att の実証評価では、MS-MARCO や BEIR や LoTTE のベンチマークデータセットでのリコール精度の改善が示されている。
• 参考スコア（独自算出の注目度）: 2.9253839262300687
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Vector embeddings from pre-trained language models form a core component in Neural Information Retrieval systems across a multitude of knowledge extraction tasks. The paradigm of late interaction, introduced in ColBERT, demonstrates high accuracy along with runtime efficiency. However, the current formulation fails to take into account the attention weights of query and document terms, which intuitively capture the "importance" of similarities between them, that might lead to a better understanding of relevance between the queries and documents. This work proposes ColBERT-Att, to explicitly integrate attention mechanism into the late interaction framework for enhanced retrieval performance. Empirical evaluation of ColBERT-Att depicts improvements in recall accuracy on MS-MARCO as well as on a wide range of BEIR and LoTTE benchmark datasets.
• Abstract（参考訳）: 事前訓練された言語モデルからのベクトル埋め込みは、知識抽出タスクの多岐にわたるニューラル情報検索システムのコアコンポーネントを形成する。 ColBERTで導入された遅延インタラクションのパラダイムは、実行効率とともに高い精度を示している。 しかし、現在の定式化は、クエリとドキュメントの用語の注意重みを考慮せず、それら間の類似点の「重要」を直感的に捉え、クエリとドキュメント間の関連性をよりよく理解する可能性がある。 この研究はColBERT-Attを提案し、注意機構を遅延相互作用フレームワークに明示的に統合し、検索性能を向上する。 ColBERT-Att の実証評価では、MS-MARCO や BEIR や LoTTE のベンチマークデータセットでのリコール精度の改善が示されている。

関連論文リスト

• Multi-hop Reasoning via Early Knowledge Alignment [68.28168992785896]
  アーリー・ナレッジ・アライメント(EKA)は、大規模言語モデルと文脈的に関連づけられた知識を整合させることを目的としている。 EKAは検索精度を大幅に改善し、カスケードエラーを低減し、性能と効率を向上する。 EKAは、大規模モデルにシームレスにスケールする、多目的でトレーニング不要な推論戦略として有効である。
  論文  参考訳（メタデータ） (2025-12-23T08:14:44Z)
• A Knowledge Graph and a Tripartite Evaluation Framework Make Retrieval-Augmented Generation Scalable and Transparent [0.0]
  本研究では,知識グラフとベクトル探索を用いて,文脈に富んだ応答を提供する検索型拡張生成(RAG)を提案する。 この研究の中心的な革新はRAG評価(RAG-Eval)の導入である。 RAG-Evalは、事実のギャップとクエリミスマッチを確実に検出し、高要求でデータ中心の環境への信頼を高める。
  論文  参考訳（メタデータ） (2025-09-23T16:29:22Z)
• Knowledge Graph Completion with Relation-Aware Anchor Enhancement [50.50944396454757]
  関係認識型アンカー強化知識グラフ補完法(RAA-KGC)を提案する。 まず、ヘッダーのリレーショナル・アウェア・エリア内でアンカー・エンティティを生成します。 次に、アンカーの近傍に埋め込まれたクエリを引っ張ることで、ターゲットのエンティティマッチングに対してより差別的になるように調整する。
  論文  参考訳（メタデータ） (2025-04-08T15:22:08Z)
• ReAct: Temporal Action Detection with Relational Queries [84.76646044604055]
  本研究は,アクションクエリを備えたエンコーダ・デコーダフレームワークを用いて,時間的行動検出(TAD)の進展を図ることを目的とする。 まず,デコーダ内の関係注意機構を提案し,その関係に基づいてクエリ間の関心を誘導する。 最後に、高品質なクエリを区別するために、推論時に各アクションクエリのローカライズ品質を予測することを提案する。
  論文  参考訳（メタデータ） (2022-07-14T17:46:37Z)
• Distilling Dense Representations for Ranking using Tightly-Coupled Teachers [52.85472936277762]
  我々は最近提案された後期相互作用ColBERTモデルを改善するために知識蒸留を適用した。 ColBERT の表現型 MaxSim 演算子から知識を抽出し、関連度スコアを単純な点積に変換する。 提案手法はクエリ待ち時間を改善し,ColBERTの面倒なストレージ要件を大幅に削減する。
  論文  参考訳（メタデータ） (2020-10-22T02:26:01Z)
• Improving Attention Mechanism with Query-Value Interaction [92.67156911466397]
  本稿では,問合せ対応の注目値を学習可能な問合せ-値相互作用関数を提案する。 我々のアプローチは、多くの注意に基づくモデルの性能を一貫して改善することができる。
  論文  参考訳（メタデータ） (2020-10-08T05:12:52Z)
• Attention improves concentration when learning node embeddings [1.2233362977312945]
  検索クエリテキストでラベル付けされたノードを考えると、製品を共有する関連クエリへのリンクを予測したい。 様々なディープニューラルネットワークを用いた実験では、注意機構を備えた単純なフィードフォワードネットワークが埋め込み学習に最適であることが示されている。 本稿では,クエリ生成モデルであるAttESTを提案する。このモデルでは,製品とクエリテキストの両方を,潜在空間に埋め込まれたベクトルとして見ることができる。
  論文  参考訳（メタデータ） (2020-06-11T21:21:12Z)
• ColBERT: Efficient and Effective Passage Search via Contextualized Late Interaction over BERT [24.288824715337483]
  ColBERTは、ディープLMを効率的な検索に適応させる新しいランキングモデルである。 我々は最近の2つの経路探索データセットを用いてColBERTを広範囲に評価した。
  論文  参考訳（メタデータ） (2020-04-27T14:21:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。