論文の概要: Contrastive Retrieval Heads Improve Attention-Based Re-Ranking

• arxiv url: http://arxiv.org/abs/2510.02219v1
• Date: Thu, 02 Oct 2025 17:03:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-03 16:59:21.239089
• Title: Contrastive Retrieval Heads Improve Attention-Based Re-Ranking
• Title（参考訳）: コントラスト検索ヘッドは、注意に基づくリランキングを改善する
• Authors: Linh Tran, Yulong Li, Radu Florian, Wei Sun,
• Abstract要約: 対照的なスコアリング基準によって同定された検索ヘッドの小さなセットであるCoReヘッドを紹介する。 CoReヘッドは中間層に集中しており、ネイティブレイヤのプルーニングは精度を保ちながら、推論時間とメモリ使用量を大幅に削減する。
• 参考スコア（独自算出の注目度）: 15.328949252709451
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The strong zero-shot and long-context capabilities of recent Large Language Models (LLMs) have paved the way for highly effective re-ranking systems. Attention-based re-rankers leverage attention weights from transformer heads to produce relevance scores, but not all heads are created equally: many contribute noise and redundancy, thus limiting performance. To address this, we introduce CoRe heads, a small set of retrieval heads identified via a contrastive scoring metric that explicitly rewards high attention heads that correlate with relevant documents, while downplaying nodes with higher attention that correlate with irrelevant documents. This relative ranking criterion isolates the most discriminative heads for re-ranking and yields a state-of-the-art list-wise re-ranker. Extensive experiments with three LLMs show that aggregated signals from CoRe heads, constituting less than 1% of all heads, substantially improve re-ranking accuracy over strong baselines. We further find that CoRe heads are concentrated in middle layers, and pruning the computation of final 50% of model layers preserves accuracy while significantly reducing inference time and memory usage.
• Abstract（参考訳）: 最近のLarge Language Models(LLM)の強力なゼロショットと長期コンテキスト機能により、高度に効率的な再ランクシステムへの道が開かれた。 注意に基づくリランカは、トランスフォーマーヘッドからの注意重みを利用して関連性スコアを生成するが、すべてのヘッドが等しく生成されるわけではない。 これを解決するために,我々は,関連文書と相関する高い注意力を持つノードをダウンプレイしながら,関連文書と相関する高い注意力を持つハイアテンションヘッドを明示的に報酬する,コントラッシブスコアメトリックを用いて同定された少数の検索ヘッドであるCoReヘッドを導入した。 この相対的なランク基準は、最も差別的な首を選別し、最先端のリストワイド・リランカを得る。 3つのLLMによる大規模な実験により、CoReヘッドからの集約された信号は全ヘッドの1%未満であり、強いベースラインよりも精度が大幅に向上した。 さらに、CoReヘッドは中間層に集中しており、モデル層の最終50%の計算は精度を保ちながら、推論時間とメモリ使用量を著しく削減する。

関連論文リスト

• ProxyAttn: Guided Sparse Attention via Representative Heads [59.03412871683236]
  より正確なブロック推定を実現する訓練不要なスパースアテンションアルゴリズムであるProxyAttnを提案する。 本稿では,ProxyAttnが最大10.3倍の注意加速度と2.4倍の事前充足加速度を実現できることを示す。
  論文  参考訳（メタデータ） (2025-09-29T13:10:39Z)
• ERank: Fusing Supervised Fine-Tuning and Reinforcement Learning for Effective and Efficient Text Reranking [33.25740773392183]
  ERankは、多種多様な関連シナリオにまたがるLLMから構築された、非常に効率的で効率的なポイントワイド・リランカである。 スーパーバイザードファインチューニング(SFT)から始まる新しい2段階トレーニングパイプラインを提案する。 この段階では、二進ラベルを超えてモデルを生成的に訓練し、微粒な整数スコアを出力し、妥当性の識別を大幅に向上させる。 BRIGHT, FollowIR, TREC DL, BEIRベンチマークにおけるERankリランカの評価を行い, 既存手法と比較して優れた有効性と堅牢性を示した。
  論文  参考訳（メタデータ） (2025-08-30T14:56:53Z)
• ReasonRank: Empowering Passage Ranking with Strong Reasoning Ability [83.16850534680505]
  本稿では,自動推論集約型トレーニングデータ合成フレームワークを提案する。 自己整合性データフィルタリング機構は、データ品質を保証するために設計されている。 トレーニングされた推論集約型リランカ textbfReasonRank は,BRIGHT のリーダボード上での最先端 (SOTA) のパフォーマンス40.6 を達成する。
  論文  参考訳（メタデータ） (2025-08-09T17:26:18Z)
• PEAR: Position-Embedding-Agnostic Attention Re-weighting Enhances Retrieval-Augmented Generation with Zero Inference Overhead [24.611413814466978]
  検索拡張生成(RAG)により強化された大言語モデル(LLM)は、Web検索のための新しいパラダイムを導入した。 既存のコンテキスト認識を強化する方法は、しばしば非効率であり、推論中に時間やメモリオーバーヘッドが発生する。 そこで我々は,LLMの文脈認識をゼロ推論オーバーヘッドで向上する位置埋め込み非依存再重み付け(PEAR)を提案する。
  論文  参考訳（メタデータ） (2024-09-29T15:40:54Z)
• Semi-Supervised Unconstrained Head Pose Estimation in the Wild [57.11798881492183]
  本研究では,最初の半教師なしヘッドポーズ推定手法であるSemiUHPEを提案する。 本手法は, 前回のランドマークに基づくアフィンアライメントよりも, 野生の頭部のアスペクト比不変収穫が優れているという観測に基づいている。 提案手法は, 汎用物体回転回帰法や3次元頭部再構成法など, その他の密接に関連する問題を解く上でも有用である。
  論文  参考訳（メタデータ） (2024-04-03T08:01:00Z)
• Finding the Pillars of Strength for Multi-Head Attention [35.556186723898485]
  最近の研究は、MHA(Multi-Head Attention)の問題を明らかにしている。 我々は,グループ・アテンション・ヘッドを用いた自己監督型グループ・制約によって訓練されたグループ・ヘッド・アテンションを提案する。 また、冗長なヘッドを除去するVoting-to-Stay法を提案し、より軽量なトランスを実現する。
  論文  参考訳（メタデータ） (2023-05-22T03:44:44Z)
• ReAct: Temporal Action Detection with Relational Queries [84.76646044604055]
  本研究は,アクションクエリを備えたエンコーダ・デコーダフレームワークを用いて,時間的行動検出(TAD)の進展を図ることを目的とする。 まず,デコーダ内の関係注意機構を提案し,その関係に基づいてクエリ間の関心を誘導する。 最後に、高品質なクエリを区別するために、推論時に各アクションクエリのローカライズ品質を予測することを提案する。
  論文  参考訳（メタデータ） (2022-07-14T17:46:37Z)
• Open-Set Recognition: A Good Closed-Set Classifier is All You Need [146.6814176602689]
  分類器が「ゼロ・オブ・ア・ア・ア・ベ」決定を行う能力は、閉集合クラスにおける精度と高い相関関係があることが示される。 この相関を利用して、閉セット精度を向上させることにより、クロスエントロピーOSR'ベースライン'の性能を向上させる。 また、セマンティックノベルティを検出するタスクをより尊重する新しいベンチマークを構築した。
  論文  参考訳（メタデータ） (2021-10-12T17:58:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。