論文の概要: Learning to Route Queries to Heads for Attention-based Re-ranking with Large Language Models

• arxiv url: http://arxiv.org/abs/2604.24608v1
• Date: Mon, 27 Apr 2026 15:36:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-28 17:12:08.122173
• Title: Learning to Route Queries to Heads for Attention-based Re-ranking with Large Language Models
• Title（参考訳）: 大規模言語モデルを用いたアテンションベースリグレードのためのクエリーをヘッドにルーティングする学習
• Authors: Yuxing Tian, Fengran Mo, Zhiqi Huang, Weixu Zhang, Jian-Yun Nie,
• Abstract要約: 本稿では,大規模言語モデルを用いたアテンションベース再ランク付けのためのクエリ依存型ヘッドセレクション手法であるRouteHeadを提案する。 我々は、各クエリを最適なヘッドセットにマッピングできる軽量ルータを学習し、関連スコアはこれらのヘッドからのアグリゲーション信号によって計算される。 多様なベンチマークと複数のLCMバックボーンの実験により、提案手法は強いベースラインを一貫して上回ることを示した。
• 参考スコア（独自算出の注目度）: 25.83277662723952
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) have recently been explored as fine-grained zero-shot re-rankers by leveraging attention signals to estimate document relevance. However, existing methods either aggregate attention signals across all heads or rely on a statically selected subset identified by heuristic rules. This solution can be suboptimal because the informative heads can vary across queries or domains. Moreover, naively combining multiple heads can degrade performance due to redundancy or conflicting ranking signals. In this paper, we propose a query-dependent head selection method, RouteHead, for attention-based re-ranking with LLMs. Specifically, we learn a lightweight router that can map each query to an optimal head set, and relevance scores are computed by aggregating attention signals only from these heads. Since query-to-head optimal labels are unavailable, we first construct pseudo labels via an offline search. The router represents each head with a learnable embedding and represents each query using an embedding extracted from the hidden states of the frozen LLM. Then it is trained on the pseudo labels with a sparsity regularizer. Experiments on diverse benchmarks and multiple LLM backbones show that the proposed method consistently outperforms strong baselines.
• Abstract（参考訳）: 大規模言語モデル (LLM) は, 文書関連性を推定するために注意信号を活用することで, きめ細かいゼロショット・リランカとして最近研究されている。 しかし、既存の手法では、すべてのヘッドにアテンション信号を集約するか、あるいはヒューリスティックルールによって特定された静的に選択されたサブセットに依存している。 インフォメーションヘッドはクエリやドメインによって異なるため、このソリューションは準最適である。 さらに、複数のヘッドを組み合わせることで、冗長性や競合するランキング信号により性能が低下する可能性がある。 本稿では,LLMを用いたアテンションベース再ランク付けのためのクエリ依存型ヘッドセレクション手法であるRouteHeadを提案する。 具体的には、各クエリを最適なヘッドセットにマッピングできる軽量ルータを学習し、関連スコアはこれらのヘッドからのアグリゲーション信号によって計算される。 クエリ・ツー・ヘッドの最適ラベルは利用できないため、まずオフライン検索により擬似ラベルを構築する。 ルータは、各ヘッドを学習可能な埋め込みで表現し、凍結LDMの隠れ状態から抽出された埋め込みを用いて各クエリを表現する。 その後、スパシティ正規化器で擬似ラベルでトレーニングされる。 多様なベンチマークと複数のLCMバックボーンの実験により、提案手法は強いベースラインを一貫して上回ることを示した。

関連論文リスト

• Diagnosing LLM Reranker Behavior Under Fixed Evidence Pools [0.17188280334580197]
  ランク付け評価は、上流レトリバーが返却した候補者をリランカがどのように注文するかを調査する。 この設定は、ランキングの動作と検索品質を結合するので、出力の差はランキングのポリシーだけでは対応できない。 複数Newsクラスタを固定エビデンスプールとして使用することで再ランク付けを分離する制御診断手法を提案する。
  論文  参考訳（メタデータ） (2026-02-20T21:07:32Z)
• Think When Needed: Model-Aware Reasoning Routing for LLM-based Ranking [25.69863022367215]
  推論プロンプトはランキングユーティリティを向上させることができるが、その利点は一貫性がなく、かなりの計算コストがかかる。 本稿では, 直接推論 (Non-Think) と推論 (Think) を用いるかを決定するために, 軽量なプラグアンドプレイルータヘッドを用いた推論ルーティングフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-01-26T05:09:07Z)
• Provably Learning Attention with Queries [15.606567893781367]
  出力にブラックボックスアクセスを持つトランスフォーマーに基づくシーケンスモデルを学習する際の問題点について検討する。 この設定では、学習者は任意のベクトル列でオラクルを適応的にクエリし、対応する実数値出力を観察することができる。
  論文  参考訳（メタデータ） (2026-01-23T16:28:22Z)
• Lookahead Routing for Large Language Models [24.082620717301477]
  Lookaheadは、潜在的なモデル出力を"予測"し、これらの予測を使ってモデル選択をガイドするルーティングフレームワークである。 7つの公開ベンチマークに対する実証的な評価は、Lookaheadが既存のルーティングベースラインを一貫して上回っていることを示している。
  論文  参考訳（メタデータ） (2025-10-22T12:00:21Z)
• Threading the Needle: Reweaving Chain-of-Thought Reasoning to Explain Human Label Variation [60.18907916989796]
  大規模言語モデル(LLM)は最終答を出す前に思考の連鎖(CoT)を生成する。 本稿では,各回答オプションに対するサポート文と反対文を抽出するために,言語的に接頭した談話セグメンタを付加した新しいパイプラインを提案する。 また、正確なスコアよりも回答のランクを優先するランクベースHLV評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-29T11:47:18Z)
• RAG over Tables: Hierarchical Memory Index, Multi-Stage Retrieval, and Benchmarking [63.253294691180635]
  現実世界のシナリオでは、純粋なテキスト以外では、かなりの量の知識がテーブルに格納される。 まず、階層型メモリインデックス、多段階検索、グラフ認識プロンプトからなるテーブルコーパス対応RAGフレームワークT-RAGを提案する。
  論文  参考訳（メタデータ） (2025-04-02T04:24:41Z)
• Rank-R1: Enhancing Reasoning in LLM-based Document Rerankers via Reinforcement Learning [76.50690734636477]
  ランキングタスクを実行する前にユーザクエリと候補文書の両方を推論する新しいLCMベースのリランカである Rank-R1 を導入する。 TREC DL と BRIGHT データセットを用いた実験により,Ranc-R1 が特に複雑なクエリに対して非常に有効であることが判明した。
  論文  参考訳（メタデータ） (2025-03-08T03:14:26Z)
• Zero-Shot Listwise Document Reranking with a Large Language Model [58.64141622176841]
  本稿では,タスク固有の学習データを用いることなく,言語モデル(LRL)を用いたリスワイズ・リランカを提案する。 3つのTRECウェブサーチデータセットの実験により、LRLは第1段検索結果の再ランク付け時にゼロショットポイントワイズ法より優れるだけでなく、最終段再ランカとしても機能することが示された。
  論文  参考訳（メタデータ） (2023-05-03T14:45:34Z)
• LEAPS: End-to-End One-Step Person Search With Learnable Proposals [50.39493100627476]
  LEAPSという学習可能な提案を用いたエンドツーエンドのワンステップ人物探索手法を提案する。 スパースと学習可能な提案のセットが与えられた後、LEAPSは動的人物検索ヘッドを使用して、非最大抑圧後処理なしで直接人物検出および対応するre-id特徴生成を行う。
  論文  参考訳（メタデータ） (2023-03-21T13:59:32Z)
• Online Learning of Optimally Diverse Rankings [63.62764375279861]
  ユーザのフィードバックのみに基づいて最適なリストを効率よく学習するアルゴリズムを提案する。 我々は、$T$クエリの後に、LDRの後悔は$O((N-L)log(T))$としてスケールする。
  論文  参考訳（メタデータ） (2021-09-13T12:13:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。